OpenAI 才出事,Anthropic 也承認:Claude 測試曾誤駭 3 家公司
繼 OpenAI 上週坦承旗下多個模型在安全測試中突破隔離環境、入侵開源平台 Hugging Face 之後,Anthropic 也在美國時間 7/30 揭露一起性質相似的事件。這家 AI 公司在得知 OpenAI 事件後回頭清查自家 141,006 筆網路安全評測紀錄,發現旗下 Claude 模型自今年 4 月起,曾在 3 起獨立事件中錯誤入侵三家真實企業的系統,而其中多數受害公司當時毫無所覺。 不過不同的是,這次並非 AI 模型擺脫控制、逃離沙盒環境。Anthropic 表示,問題出在一次設定錯誤,加上多數情況下模型誤判為模擬環境,它以為攻擊真實企業,只是演習的一部分。 一次設定失誤,讓 Claude 把真實企業當成演習目標 根據 Anthropic,這三起事件都發生在名為 capture-the-flag(奪旗,CTF)的基本網路安全測試中。這類測試會給模型一個虛構情境,把一段機密資訊(flag)藏在網路上的另一台機器上,要模型設法入侵取得,過程不限定手法。Anthropic 在提示中明確告訴 Claude:這是模擬環境、沒有網路連線。但由於它與第三方評測夥伴 Irregular 之間的認知落差,測試環境實際上仍連著網路。 於是,當 Claude 在虛擬環境裡找不到目標、把搜尋範圍延伸到真實網路時,它把碰到的真實系統當成了演習的一部分。據 Anthropic…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.