#180. AI Engineer研讨会：强化学习、核方法、推理、量化与智能体 — Daniel Han

跨国串门儿计划 · Jul 21, 2025 · 2h 1m

📝 本期播客简介

本期克隆了 AI Engineer 的一场关于强化学习的 Workshop

他们邀请到了 Unsloth 的作者 Daniel Han，为我们深入浅出地拆解了当下大语言模型训练中最前沿、也最复杂的领域：强化学习（RL）。Daniel 从 Llama 模型泄露引发的开源浪潮讲起，回顾了开源社区在追赶闭源模型时经历的“开源之旱”，并详细阐述了从预训练、监督微调（SFT）到强化学习（RLHF/GRPO）的完整技术路径。他用 Yann LeCun 著名的“蛋糕比喻”生动解释了不同训练阶段的意义，并核心拆解了 PPO 与 DeepSeek-R1 所使用的 GRPO 算法的异同，揭示了后者如何通过扔掉“价值模型”实现效率翻倍。更重要的是，他反复强调了一个反直觉的观点：强化学习的成功很大程度上“全靠运气”，而真正的难点在于设计精巧的“奖励函数”。最后，他还分享了关于模型量化的独到见解，并提出了一个惊人论断：由于数值精度的物理限制，我们可能正迎来 GPU 性能飞跃的“终局之战”。这不仅是一堂硬核的技术课，更是一场充满洞见的行业观察。

👨‍⚕️ 本期嘉宾

Daniel Han，开源项目 Unsloth 的作者。Unsloth 是一个广受欢迎的开源库，致力于让大语言模型的微调训练速度提升 2 倍，内存占用减少 70%，极大地降低了个人和小型团队进行模型训练的门槛。Unsloth 在…