AI前沿：高效LLM分布式训练、训练数据质量大提升

AI可可AI生活 · Feb 2, 2025 · 14m

本期《TAI快报》为大家解读了五篇最新的AI研究论文，揭示了AI领域的前沿进展和未来趋势：

[CL] Streaming DiLoCo with overlapping communication：Towards a Distributed Free Lunch

提出了Streaming DiLoCo算法，通过部分参数同步、通信计算重叠和梯度量化等技术，显著降低了分布式训练大型语言模型所需的通信带宽，朝着实现分布式训练的“免费午餐”迈进。

[CL] R.I.P.：Better Models by Survival of the Fittest Prompts

提出了Rejecting Instruction Preferences (RIP)方法，通过分析拒绝回复的质量和奖励差距来筛选低质量指令数据，有效提升了指令微调数据的质量和模型性能。

[LG] Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge

提出了EvalPlanner框架，将LLM-as-a-Judge的评估过程解耦为规划和推理阶段，通过迭代自训练和偏好优化，提升了AI模型作为评估者的性能，尤其是在复杂评估任务上表现突出。

[CL] People who frequently use ChatGPT for writing…