skinny.

Latest / 每日AI

Anthropic:AI拒绝机制竟然只是一条线

这项研究通过对13个主流开源大型语言模型(LLM)的内部机制进行分析,发现拒绝行为是由一个单一的线性方向介导的。研究人员证明,通过计算有害请求与无害请求之间的激活差异,可以提取出一个一维拒绝子空间。利用该特性,开发者可以通过权重正交化(Weight Orthogonalization)这一“白盒”手段,在不破坏模型通用能力的前提下,精准地擦除其拒绝逻辑,从而实现高效越狱。此外,实验显示对抗性后缀攻击的本质是诱导注意力机制偏离有害指令,进而抑制拒绝方向的表达。该研究揭示了当前模型安全对齐技术的脆弱性,并为控制和理解AI行为提供了新的视角。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.