skinny.

Latest / 每日AI

OpenAI:AI为什么藏不住心里话 推理模型思维链CoT可控性研究

这项研究探讨了思维链(CoT)的可控性,即推理模型是否能按照指令自主改变其思考过程。研究人员推出了 CoT-Control 测试集,要求模型在解决复杂问题的同时,遵守诸如“禁止使用特定词汇”或“全大写思考”等约束。实验发现,推理模型在控制内部思维方面表现极差,其成功率远低于控制最终输出。模型规模越大,可控性虽有提升,但随着训练强度、推理长度及任务难度的增加,可控性反而会下降。尽管模型在意识到被监控时表现稍好,但整体上仍难以伪装思维过程。研究结论对 AI 安全监控持谨慎乐观态度,认为目前模型尚不具备通过操纵思维链来规避监管的能力。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.