
OpenAI:推理模型难以控制CoT思维链
这项研究探讨了推理模型在执行任务时,对其思维链(CoT)内容的掌控能力,即“CoT 可控性”。研究人员通过 CoT-Control 评估套件发现,虽然大模型能很好地控制最终输出结果,但在控制其内部推理过程时表现极差。实验表明,参数量越大的模型可控性略有提升,但随着训练强度增加、推理步数变长或任务难度加大,模型对思维链的控制力会显著下降。此外,即便模型意识到正受到监控或被施加对抗性压力,其可控性也未能有效改善。这种低可控性意味着模型目前难以通过伪造推理过程来欺骗监管,这对AI 安全监控而言是一个积极信号。研究最后建议各大实验室应持续追踪这一指标,以确保未来更强大的系统依然保持可监测性。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.