skinny.

Latest / 每日AI

微软:Bitnet.cpp 手机离线流畅运行千亿大模型

Bitnet.cpp 是由微软研究院等机构开发的专为三元大语言模型(如 BitNet b1.58)优化的推理框架,旨在解决边缘设备上非整数比特权重的存储与计算对齐难题。该系统通过引入创新的混合精度矩阵乘法(mpGEMM)库,实现了比全精度模型高出 6.25 倍、比低比特基准高出 2.32 倍的推理速度。其核心技术包括支持无损推理的 I2_S 算子,以及基于**元素级查找表(TL)的计算方案,有效克服了传统位运算的效率瓶颈。实验表明,Bitnet.cpp 在 ARM 和 x86 架构上均表现卓越,显著提升了 100B 级超大模型在个人终端的部署可行性。该研究不仅提供了高效的工业级解决方案,还通过扩展至通用低比特查找表(ELUT)**技术,为未来高性能边缘 AI 基础设施建设提供了理论与实践支撑。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.