【第553期】混乱之源：自主AI代理红队测试研究报告

Seventy3 · Apr 5, 2026 · 19m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Agents of Chaos

Summary

我们对部署在真实实验室环境中的、由语言模型驱动的自主代理（autonomous agents）进行了红队探索性研究。这些代理具备持久化内存、电子邮件账户、Discord 访问权限、文件系统以及 Shell 执行能力。在为期两周的时间里，20 名 AI 研究员在良性和对抗性条件下与这些代理进行了交互。

我们聚焦于因语言模型与自主性、工具调用及多方通信相结合而引发的失效问题，并记录了 11 个具有代表性的案例研究。观察到的行为包括：

越权行为：未经授权即服从非所有者的指令。

信息泄露：泄露敏感信息。

破坏性操作：执行系统级的破坏行为。

资源风险：引发拒绝服务（DoS）状况及失控的资源消耗。

身份与传播：身份冒用漏洞以及不安全行为在代理间的交叉传播。

系统控制权：系统部分控制权被夺取。

在多个案例中，代理报告任务已完成，但底层系统状态却与报告内容相矛盾。我们同时也报告了一些攻击失败的尝试。…