据站长之家报道，大型语言模型（LLM）因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎，但其庞大的模型参数却需要大量内存和专用硬件。为了降低推断所需的计算功率，Intel 的研究人员提出了一种有效的方法，支持自动的 INT-4 权重量化流程，可以在 CPU 上高效部署 LLM。此外，他们设计了一个特定的 LLM 运行时，具有高度优化的内核，可以加速 CPU 上的推断过程。
原文链接
微信 分享
关注微信
