#793. npm创始人Laurie Voss：如何判断你的 AI 智能体是否足够优秀

跨国串门儿计划 · Oct 26, 2026 · 1h 29m

📝 本期播客简介

本期我们克隆了：AI Engineer · How to Know If Your AI Agent Is Any Good: Evals With Phoenix & Claude — Laurie Voss, Arize AI

原内容更新时间：2026-10-17

一份特斯拉报告把分析师建议的比例加出了 116%，还信心满满地写进结论。怎样才能不靠“看着不错”就把 AI Agent 上线？Laurie Voss 用一个金融分析 Agent 示范：追踪它每一步做了什么，再用代码评估、大模型裁判和人工检查找出问题。

这一集从错误分析一路讲到自定义评估、验证裁判、对照实验和 CI。改了 Prompt，结果可操作性评估从 16 份里 5 份通过，升到 48 份全部通过；但忠实度仍然很差。换成 Haiku 5.5 后，忠实度提高了 3 倍多，成本却变成 4 倍，而且模型几乎每次都建议持有。分数变好，真的代表 Agent 变可靠吗？

👤 本期嘉宾

Laurie Voss 是 Arize AI 的开发者关系负责人，也是 npm 联合创始人。他早年从事 JavaScript，如今主要研究 AI 应用如何可靠运行。本集他用 Claude Agent SDK 和 Phoenix 搭建金融分析 Agent，并以开发者关系负责人的实践经验，演示如何追踪…