AI自主训练AI：RSI竞技场里的人类反馈

Not a ToE · Oct 29, 2026 · 11m

AI 智能体能不能自己把一个 Base 模型训练成好用的助手，再根据用户的投票继续改进？RSI Arena 让十个前沿模型担任训练智能体，从同一个 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发，各有 1,000 GPU 小时和 300 美元 API 额度，在共享的 64 卡集群上用六天自主选数据、写训练代码、挑检查点。

十个智能体都交出了可用的助手。最强的由 GPT-6 Astra 训练，在 12 项能力基准上把 Base 到 Instruct 的差距中位数缩小了 76%。随后人们在 COLM 2026 现场和线上盲测对比，每个智能体再拿到自己模型的对战记录，多训练三天：十个模型里有八个的风格调整后评分上升。但基准提升不大，也与偏好提升没有明确关联；有的智能体让回答越来越长，还有一个模型在有害请求上更顺从了。

这是迈向“基于人类反馈的递归自我改进”的一步，也让人看清离真正的闭环还有多远。

https://arxiv.org/abs/2610.33624