【第478期】Intelligence Per Watt：本地人工智能的智能功耗效率测量

Seventy3 · Jan 20, 2026 · 14m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

今天的主题是：

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

Summary

大语言模型（LLM）的查询目前主要由集中式云基础设施上的前沿模型来处理。需求的快速增长正在给这一范式带来压力，云服务提供商也难以按同样的速度扩展其基础设施。两项进展使我们能够重新思考这一范式：其一，小型语言模型（≤200 亿活跃参数）如今在许多任务上已能达到与前沿模型相当的性能；其二，本地加速器（如 Apple M4 Max）能够以交互式延迟运行这些模型。这引出了一个问题：本地推理是否能够可行地将需求从集中式基础设施中重新分配出来？要回答这一问题，需要衡量本地语言模型是否能够准确回答真实世界的查询，以及它们在受功耗约束的设备（即笔记本电脑）上是否具备足够的效率以实现实际应用。

我们提出“每瓦智能”（Intelligence Per Watt，IPW）这一指标，即任务准确率除以单位功耗，用于评估不同模型–加速器组合下本地推理的能力与效率。我们开展了一项大规模实证研究，覆盖 20 余个最先进的本地语言模型、8 种加速器，以及一组具有代表性的 LLM 流量：100…