【第535期】SDPO：通过自我蒸馏强化丰富反馈学习

Seventy3 · Mar 18, 2026 · 17m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你有自己的论文要解读，或者推荐论文，请留言。

今天的主题是：

Reinforcement Learning via Self-Distillation

Summary

大型语言模型越来越多地在可验证领域（如代码与数学）中通过强化学习后训练。然而，当前用于具有可验证奖励的强化学习（RLVR）的方法通常只从每次尝试得到的单一标量结果奖励中学习，从而造成了严重的信用分配（credit assignment）瓶颈。事实上，许多可验证环境能够提供丰富的文本反馈，例如运行时错误信息或评测器（judge）的评估，这些反馈可以解释一次尝试为何失败。我们将这一设定形式化为具有丰富反馈的强化学习（reinforcement learning with rich feedback），并提出 Self-Distillation Policy Optimization（SDPO）。该方法能够在无需外部教师模型或显式奖励模型的情况下，将token 化的反馈转化为密集的学习信号。SDPO 将当前模型在给定反馈条件下的输出视为一种自教师（self-teacher），并把其基于反馈生成的下一 token 预测蒸馏回策略模型中。通过这种方式，SDPO…