Intel三条线优化阿里云通义千问2模型：720亿参数轻松拿捏

快科技6月7日消息，Intel官方宣布，旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2（Qwen2）的全球发布提供支持，已取得ModelScope、阿里云PAI、OpenVINO等诸多创新成果。

为了最大限度地提升诸通义千问2等大模型的效率，Intel进行了全面的软件优化，包括高性能融合算子、平衡精度和速度的先进量化技术等。

Intel还采用KV Caching、PagedAttention机制和张量并行，提高推理效率。

Intel的硬件也可利用软件框架和工具包进行加速，并获得出色的大模型推理性能，包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging Face库、vLLM。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！