【第745期】Harness-IF：评估编程智能体的指令遵循能力

Seventy3 · Oct 14, 2026 · 23m

今天的这篇的主题是： Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：eccstartup（加群/投稿论文）

Summary

当编程 Agent 遵循一条规则时，它可能原本就打算这么做。现有的指令遵循基准测试无法区分这其中的差别：它们将规则集中在用户回合（user turn），而编程 Agent 的基准测试则侧重于任务的最终成功。

我们推出了 Harness-IF，它通过执行证据对操作规则进行逐一打分：包含来自 642 条规则库的 60 个真实的多回合编程项目、其中 256 条规则获得了裁决，这些规则被布置在部署后的 Agent…