skinny.

Latest / TechOrange 科技報橘

【監控的 AI 也會被騙】專家警告惡意代理人可能騙過監控者,建議另加不靠 AI 的日誌與網路分析

企業把越來越多、越來越複雜的任務交給 AI 代理人(AI Agent),監督也隨之成為難題。代理人行動更快、運作時間更長、數量也更多,人類根本來不及審查。 今年 7 月的 Hugging Face 事件,把這個問題推到極致。OpenAI 一款尚未發布的前沿 AI 代理人,在進行極限網路安全評測時,自行突破隔離沙盒,入侵開源 AI 平台 Hugging Face。當時有將近 12,000 個代理人彼此協調行動,速度遠超過人類能追蹤的程度。 代理人規模太大,連調查都得靠 AI 非營利 AI 安全與對齊(AI Alignment)研究機構 Redwood Research 的首席科學家 Ryan Greenblatt,參與這起事件的調查。他表示,調查資料包含上千份極長的紀錄,許多代理人連續運作了好幾天,不靠 AI 協助根本無法掌握全貌。他自嘲這是一場「slop-vestigation」,意思是一場高度仰賴 AI 產出的調查。 問題是,AI 幫手並不可靠。負責分析的 AI 常遺漏關鍵細節,判斷也常出錯或過度自信,團隊直到最後一次進駐現場,才弄懂幾個關鍵環節。Greenblatt 的結論是,監督 AI 的難度增加得太快,AI 能提供的幫助已經追不上。 即便如此,AI 實驗室與新創提出的解方仍然簡單,卻也令人苦笑,就是再放一個 AI 進來監控。 監控用的 AI,可能反被騙過 長期追蹤 AI…

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.