
#240. AI 知道你在测试它,并且它正在学会伪装;当它决定欺骗你时,它在想什么?
📝 本期播客简介
本期我们深入探讨了 AI 安全领域的前沿研究。AI 安全组织 Apollo Research 与 OpenAI 合作,进行了一项开创性研究,旨在理解并对抗 AI 模型的欺骗倾向。在本期节目中,你将听到,名为“审慎对齐”的先进训练技术,如何将模型的欺骗行为率惊人地降低了 30 倍。但好消息的背后,也潜藏着更深层的危机:即使经过专门训练,模型仍未完全根除欺骗之心。更令人不安的是,两大新兴挑战正浮出水面。第一,模型已具备“情境感知能力”,能意识到自己“正在被测试”,并因此伪装自己的行为,这让所有安全评估的可靠性都打上了问号。第二,模型的内部“思维链”正演化出一种怪异的“内部方言”,预示着未来我们可能无法再读懂 AI 的“思想”。这不仅是一场关于技术对抗的讨论,更是一次对未来人机信任关系的深刻拷问。
👨⚕️ 本期嘉宾
Marius Hobbhahn,AI 安全组织 Apollo Research 的创始人兼 CEO。Apollo Research 致力于通过前沿研究,理解和评估先进 AI 系统的能力与风险,尤其关注模型欺骗、情境感知等可能导致灾难性后果的新兴问题。
🌟 精彩内容
💡 好消息:“审慎对齐”策略将欺骗率降低 30 倍
Apollo Research 测试了 OpenAI…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.