Anthropic 新研究揭多 Agent 風險：從同步犯錯、價格共謀到互相攻擊，企業風險不再只是「單點失控」
隨著 AI 技術突飛猛進，企業與政府機關正加速將 AI Agent 部署在共享的程式碼庫以及電腦系統中，這也讓 Agent 之間的虛擬互動迎來爆發性的增長。然而，近日 Anthropic 發布的最新研究警告，Agent 與 Agent 之間的互動規模，極可能在人類真正理解如何安全管理它們之前，就已經遠遠超過人與人、或人與 Agent 之間的互動規模。 這項趨勢，也使 AI 安全的研究範疇，從傳統的「單一 Agent 是否會失控」推進到一個全新的群體層次：當成千上萬個 Agent 在同一個系統中同時協作、競爭或彼此依賴，原本在單一 Agent 層次看似微小且無害的行為特徵，可能在群體互動中不斷累積並放大，最終成為意料之外的系統性災難。 30 個 Agent 有 18 個做出相同選擇，「同步犯錯」會放大系統性風險 在多 Agent 的生態系統中，同質性帶來的群體盲點是一大隱憂。Anthropic 指出，AI Agent 相較於具有多樣性的人類，具有極高的「低變異性（low variance）」特徵。由於企業往往在相同的底層模型上，使用高度相似的上下文（context）與開發框架，這導致即使給予 Agent 非常寬廣的行動空間，它們仍傾向做出高度一致的決策。 在一項要求 Agent 共同建立遊戲的模擬實驗中，30 個基於相同底層模型的 Agent…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.