skinny.

Latest / 每日AI

Tsinghua:On-Policy Distillation LLM 在线蒸馏方法与优化

本文深入探讨了大型语言模型中的在线蒸馏(OPD)技术,分析了其成功的核心要素、作用机制及实践优化策略。研究指出,OPD 的有效性取决于思维模式的一致性以及教师模型是否具备学生未掌握的新知识,而非仅仅依靠更高的跑分。通过代币级(Token-level)分析,作者发现成功的蒸馏表现为学生与教师在高概率预测上的渐进式对齐。针对训练失败的情况,论文提出了离线预热冷启动和教师对齐提示词选择两种改进方案。最后,文章揭示了 OPD 存在的局限性,即监督信号的质量会随生成长度增加而退化,这为长程推理和智能体场景的优化提供了重要启示。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.