skinny.

Latest / 每日AI

Tencent:DRPO LLM强化学习的散度正则化策略 解决大模型推理崩塌

这项研究介绍了一种名为 DRPO 的新型大语言模型强化学习优化方法。针对现有方法如 PPO 和 SPO 在处理长尾词汇时因依赖重要性比率而导致的不稳定问题,DRPO 采用了一种基于绝对概率偏移的平滑二次正则化器。该方法不仅保留了 DPPO 在散度控制上的几何优势,还通过连续的梯度权重解决了硬掩码机制带来的信号中断问题。实验证明,DRPO 在多种模型规模、架构及精度设定下,均能显著提升训练的稳定性与效率。研究强调,在设计正则化项时,诱导出的梯度形式相比单纯的散度指标对优化效果更为关键。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.