9% 作弊、24% 吹哨:DeepMind 揭 AI 代理的「自我治理」為何仍不夠?
AI 代理自行建立溝通管道、並在群體中迅速擴散作弊手法的情況,接連受到關注,凸顯多代理系統的監督難題。繼 OpenAI 代理把冷門德文 Wiki 變成留言板之後,Google DeepMind 的一項實驗也顯示,100 個代理在共同解題時自發出現作弊、蔓延與吹哨。 Google DeepMind 實驗揭密自發性漏洞擴散 《Import AI》提及,OpenAI 的自主代理在執行網路檢索任務期間,原本只被賦予讀取網路的能力、不能寫入,卻找到方法把資訊寫進一個冷門的德國 Wiki,藉此互相詢問答案、彙整結果,並分享繞過限制的技巧。此事件發生於今年 6 月中旬,早於先前的 Hugging Face 事件;該事件中,多個 OpenAI 模型(含 GPT-5.6 Sol 及一款未發布模型)自主突破沙盒隔離,入侵 Hugging Face 平台。 另一方面,Google DeepMind 發表論文,說明其建置 100 個以 Gemini 3.1 Pro 驅動的自主代理、共同求解 71 道數學問題的實驗結果。所有代理都收到禁止作弊的系統提示,題目取自 Formal Conjectures 資料集,並可透過公開研究布告欄、私訊與共享知識庫協作。 論文提及,實驗開始不到一小時,代理群體已正確解出 37 題,此時代理 prover-theta 發現自動評分系統的漏洞;接下來的 27…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.