skinny.

Latest / StellaxAmy·自定義 Podcast

[全英文] Next Level AI Evals for 2026

這是 Stella 最近與 Hugo Bowne-Anderson 和 Eddie Landesberg 在 Vanishing Gradients Podcast 上的一次對話,圍繞當下真實產品環境中的 AI evals(AI評測)展開。

在這期節目中,我們從實踐出發,分享了為什麼 AI evals 在產品中如此關鍵:

一方面,它是開發階段的“指南針”,幫助團隊不斷迭代、建立有效的反饋閉環;

另一方面,它又是發佈前的“關卡”,支持團隊做出系統是否可以上線或進入實驗階段的決策。

我們討論了:

1. 團隊協同的 AI 評測(Team-Centric AI Evals)

如何讓產品經理、數據科學家以及領域專家(SMEs)協同參與評測過程,

在“統一決策者”(benevolent dictator)或去中心化模式之間找到平衡,

從而構建更全面、更有效的評測體系。

2. 定制化評測指標(Custom Evaluation Metrics)

為什麼不能只依賴工具廠商提供的通用指標,

而需要回到原始數據,識別具體的失敗模式(failure modes),

避免用“看起來不錯”的指標掩蓋真實問題。

3. AI評測作為“策略評測”(AI as Policy Evaluation)

將評測問題轉化為因果推斷問題:

評測不同“策略”(如prompt、模型)的反事實表現(counterfactual…

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.