AI前沿：从数学推理到记忆注入

AI可可AI生活 · May 2, 2025 · 9m

本期播客精华汇总

Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in MathPhi-4-Mini-Reasoning：探索小型数学推理语言模型的极限通过四阶段训练（大规模蒸馏、微调、偏好优化、强化学习），仅38亿参数的Phi-4-Mini-Reasoning在数学推理上超越70亿-80亿参数模型，揭示小模型需“量体裁衣”的训练策略，反直觉地发现朴素高质量数据可能有害。

ParamΔ for Direct Weight Mixing: Post-Train Large Language Model at Zero Cost直接权重混合的 ParamΔ：零成本训练后的大型语言模型ParamΔ通过简单权重差值加法，将后训练能力零成本迁移到新基座模型，性能达官方版的95%，为开源社区提供高效模型更新方案，揭示参数空间的代数结构潜力。

Model Connectomes: A Generational Approach to Data-Efficient Language Models模型连接组：一种面向数据高效的语言模型的方法受生物进化启发，提出“模型连接组”作为稀疏先验，仅用1亿词数据即可实现高性能语言学习，展现结构先验在数据效率和人脑对齐上的潜力。

Memorization…