据站长之家报导，大型言语模型（LLM）因在文本生成、言语了解和文本摘要等使命中的杰出体现而备受欢迎，但其巨大的模型参数却需求很多内存和专用硬件。为了下降揣度所需的核算功率，Intel 的研究人员提出了一种有用的办法，支撑主动的 INT-4 权重量化流程，能够在 CPU 上高效布置 LLM。此外，他们规划了一个特定的 LLM 运行时，具有高度优化的内核，能够加快 CPU 上的揣度进程。 原文链接...