Latest / StellaxAmy·自定義 Podcast

[全英文] Next Level AI Evals for 2026
這是 Stella 最近與 Hugo Bowne-Anderson 和 Eddie Landesberg 在 Vanishing Gradients Podcast 上的一次對話,圍繞當下真實產品環境中的 AI evals(AI評測)展開。
在這期節目中,我們從實踐出發,分享了為什麼 AI evals 在產品中如此關鍵:
一方面,它是開發階段的“指南針”,幫助團隊不斷迭代、建立有效的反饋閉環;
另一方面,它又是發佈前的“關卡”,支持團隊做出系統是否可以上線或進入實驗階段的決策。
我們討論了:
1. 團隊協同的 AI 評測(Team-Centric AI Evals)
如何讓產品經理、數據科學家以及領域專家(SMEs)協同參與評測過程,
在“統一決策者”(benevolent dictator)或去中心化模式之間找到平衡,
從而構建更全面、更有效的評測體系。
2. 定制化評測指標(Custom Evaluation Metrics)
為什麼不能只依賴工具廠商提供的通用指標,
而需要回到原始數據,識別具體的失敗模式(failure modes),
避免用“看起來不錯”的指標掩蓋真實問題。
3. AI評測作為“策略評測”(AI as Policy Evaluation)
將評測問題轉化為因果推斷問題:
評測不同“策略”(如prompt、模型)的反事實表現(counterfactual…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.