AI前沿：SFT vs. RL、Agent安全研究与机器人高效学习

AI可可AI生活 · Jan 30, 2025 · 14m

本期“TAI快报”深入探讨了五篇最新的AI论文，涵盖了模型训练方法、Agent安全和Transformer模型应用等多个前沿领域。

[LG] SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training: 对比研究表明，强化学习 (RL) 在基础模型后训练中展现出更强的泛化能力，尤其是在规则学习和视觉任务中，而监督微调 (SFT) 更侧重于记忆训练数据。RL还能提升模型的视觉识别能力，SFT则有助于稳定模型输出格式，为后续RL训练打基础。

[LG] Context is Key in Agent Security: 提出了 Conseca 框架，强调 上下文是Agent安全的关键。Conseca 利用语言模型动态生成上下文相关的安全策略，并进行确定性执行，在保证安全性的同时，尽可能维持Agent的效用，为通用Agent安全提供了一种可扩展的解决方案。

[LG] Can Transformers Learn Full Bayesian Inference in Context?: 研究表明，Transformer 模型可以通过上下文学习 (ICL) 执行全贝叶斯推断。通过在合成数据上训练，模型能够隐式学习后验分布，其采样质量可与传统 MCMC 和 VI…