
#604.OpenAI Noam Brown:模型评估方式,正在错过 AI 真正的能力上限
📝 本期播客简介
本期我们克隆了:知名科技播客《No Priors》的节目《Why Traditional Benchmarks Fail Modern AI Models with OpenAI Research Scientist Noam Brown》
原内容更新时间:2026-06-26
本期嘉宾是 OpenAI 研究科学家 Noam Brown,主持人是硅谷知名投资人、Conviction 创始人 Sarah Guo。Noam 是 AI 推理领域的先驱,也是推动“测试时计算扩展”这一概念进入主流视野的关键人物。三年前他第一次上节目时,很多人还没意识到让模型“多想想”意味着什么;三年后,推理时扩展已经成为行业最核心的竞争维度之一,但评估体系却远远没有跟上。
这期节目围绕 Noam 刚发表的一篇引发广泛共鸣的文章展开,核心论点直指行业痛点:传统的静态基准测试表格已经彻底失灵。当模型的能力本质上是你投入多少算力预算的函数时,用单一数字去比较模型就变得毫无意义。Noam 用 OpenAI 内部模型推翻 Erdős 单位距离猜想的案例说明,当前这代模型的能力上限远未被充分探索——如果你愿意花 10 万美元的推理预算,可能早在几个月前就能做出突破性成果。
如果你关心 AI…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.