
【第744期】将推理折旧为技能:通过语料库蒸馏降低大模型推理成本
今天的这篇的主题是: Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。
如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。
联系小助手微信:eccstartup(加群/投稿论文)
Summary
语言模型的推理模式(reasoning modes)在多步 Agent 任务上的表现优于其非推理版本,但每个 Episode 都会多付出 3 到 6 倍的输出 Token 溢价——其中很大一部分消耗在了重新推导同一领域不同 Episode 之间所共享的流程上。我们证明了这种重复发生的成本是可以被分摊(amortized)的:一个编程 Agent 分析来自训练集分割(training…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.