
Gabliteration:LLM行为对齐的神经权重修正框架 让AI听话不降智
Gabliteration 的大型语言模型行为调整框架,旨在解决传统“消融”技术在修改特定行为时导致模型整体性能下降的难题。该技术通过动态层选择、多维奇异值分解(SVD)以及脊正则化投影矩阵,能够精确识别并消除模型中的拒绝行为子空间。研究强调了神经叠加原理的重要性,认为拒绝行为并非存在于单一维度,而是分布在复杂的几何空间中。通过自适应缩放函数,该框架可以在保留模型通用推理和生成能力的同时,高效地实现行为对齐。实验证明,Gabliteration 在多种参数规模的模型上均表现出卓越的性能保持能力和行为选择性。该成果已通过一系列开源模型进行了验证,为大模型的可控调整提供了数学保障与实践路径。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.