
GPQA:博士开卷也挂科 研究生级科学基准测试
GPQA是一个包含448道高质量多选题的基准测试集,涵盖了生物、物理和化学等研究生水平的专业知识。该数据集由领域专家编写,旨在通过极高的难度挑战现有的人工智能系统和人类。研究显示,即使可以使用互联网,非专家读者的准确率也仅为34%,而像GPT-4这样的先进模型表现也差强人意。开发此测试集的目的是为了推动可扩展监督技术的研究,帮助人类未来能有效监督超越人类能力的AI。专家们通过严格的验证流程确保了问题的客观性,同时通过设置金币奖励激励编写者创作出更具挑战性的题目。这些题目通常被设计为“防搜索”的,意味着仅靠简单的网络查询难以找到直接答案。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.