【第573期】AutoHarness：自动合成大模型智能体代码外壳

Seventy3 · Apr 25, 2026 · 17m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

AutoHarness: improving LLM agents by automatically synthesizing a code harness

Summary

尽管过去几年语言模型取得了显著进步，但当其作为智能体使用时，这些模型经常会尝试执行一些操作，这些操作不仅对给定状态而言并非最优，而且在外部环境中是被严格禁止的。例如，在最近的 Kaggle GameArena 象棋比赛中，Gemini-2.5-Flash 有 78% 的失利归因于违规移动。通常，人们会通过手动编写“保护罩（harnesses）”封装在 LLM 周围来防止此类失败。

在本文中，我们证明了 Gemini-2.5-Flash 可以根据（游戏）环境的反馈，通过几轮代码迭代优化，自动合成这种代码保护罩。由此产生的保护罩在 145 种不同的 TextArena 游戏（包括单人型和双人型）中完全杜绝了所有违规操作，使得较小的 Gemini-2.5-Flash 模型能够超越…