Intel 研究人员提出新 AI 方法，更高效地在 CPU 上部署 LLM

发表评论
4 views

A+

据站长之家报道，大型语言模型（LLM）因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎，但其庞大的模型参数却需要大量内存和专用硬件。为了降低推断所需的计算功率，Intel 的研究人员提出了一种有效的方法，支持自动的 INT-4 权重量化流程，可以在 CPU 上高效部署 LLM。此外，他们设计了一个特定的 LLM 运行时，具有高度优化的内核，可以加速 CPU 上的推断过程。

免责声明

发文时比特币价格：$31249

当前比特币价格：[crypto coins=”BTC” type=”text” show=”price”]

当前比特币涨幅：[crypto coins=”BTC” type=”text” show=”percent”]

免责声明：

本文不代表路远网立场，且不构成投资建议，请谨慎对待。用户由此造成的损失由用户自行承担，与路远网没有任何关系；

路远网不对网站所发布内容的准确性，真实性等任何方面做任何形式的承诺和保障；

网站内所有涉及到的区块链（衍生）项目，路远网对项目的真实性，准确性等任何方面均不做任何形式的承诺和保障；

网站内所有涉及到的区块链（衍生）项目，路远网不对其构成任何投资建议，用户由此造成的损失由用户自行承担，与路远网没有任何关系；

路远区块链研究院声明：路远区块链研究院内容由路远网发布，部分来源于互联网和行业分析师投稿收录，内容为路远区块链研究院加盟专职分析师独立观点，不代表路远网立场。