
GeneBench:多阶段基因组学与定量生物学AI Agent评估
GeneBench 是由 OpenAI 研究人员开发的全新基准测试,旨在评估 AI 智能体在基因组学和定量生物学领域处理复杂、多阶段科学数据分析的能力。与以往侧重知识检索的测试不同,该基准包含 103 个评估项目,模拟了从原始杂乱数据到最终科研决策的完整过程,涵盖数据清洗、统计模型选择及结果诊断。研究显示,即使是领先的 GPT 系列模型在应对此类需要连续推理和纠错的任务时仍面临挑战,表现出明显的“观察与行动脱节”现象。该基准通过模拟真实世界的科研障碍,衡量 AI 在处理具有挑战性的推断链时的可靠性。它填补了现有生物学评估的空白,为推动 AI 自动化端到端科学发现提供了关键的衡量工具。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.