skinny.

Latest / 每日AI

AI为什么说话越来越像LLM Post-training输出多样性研究

这项研究探讨了大语言模型在训练后阶段(Post-training)出现输出多样性崩溃的根源。通过对 Olmo 3 模型家族不同训练路径的对比,研究发现多样性的丧失主要由训练数据构成决定,而非特定的训练算法。例如,使用窄分布的“思维链”数据进行微调会导致多样性过早骤降,而这种崩溃植根于模型权重,无法在推理时通过禁用思维链格式来修复。此外,输出的简化在不同任务中表现不同:在数学和代码任务中主要体现为错误答案的消除,但在创意写作中则表现为语义表达的单一化。研究强调,多样性的流失限制了自我一致性采样等推理技术的有效性。最终结论指出,开发者必须在训练阶段通过引入多源、广义的教师数据来缓解这种多样性损失。Where does output diversity collapse in post-training?

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.