【第725期】隐性推理：大模型中不可见的计算过程
今天的这篇的主题是： Not All LLM Reasoning is Visible in the Chain-of-Thought
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
AI 安全面临的一个关键问题在于，语言模型是否在其输出 token 中表达了其全部的推理过程。我们展示了一种具体的失效模式（failure mode）：前沿模型通过利用在语义上无关的填充 token（filler tokens）来提升在合成推理任务上的性能，从而表现出了“隐形推理”（invisible reasoning）。
我们在三项任务上评估了 13 个前沿语言模型，发现许多模型能从填充 token 中显著获益，准确率提升最高可达 13…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.