人類紅隊成功率僅 13%,GPT-Red 達 84%:OpenAI 如何讓 AI 攻擊 AI、強化下一代模型?
隨著 AI Agent 開始透過瀏覽器、應用程式、本機檔案及第三方工具接觸外部資料,這類系統在大幅提升效率的同時,也同步擴大攻擊面與潛在破壞範圍。攻擊者如今甚至不必正面攻破系統,只要將惡意指令隱藏在電子郵件、網頁、工具回傳內容或程式碼儲存庫中,就能透過「提示注入」(Prompt Injection)誘導模型偏離任務,進而複製機密資訊或產生有害內容。 面對如此複雜的動態威脅,過去主要仰賴人類專家在部署前進行安全評估的模式已逐漸不足。正如 OpenAI 研究科學家 Nikhil Kandpal 所形容:「風險表面在擴大,破壞半徑也在增長。」單靠人工測試不僅耗時,也難以快速產生大量且多樣化的攻擊資料,逐漸成為模型安全訓練的瓶頸。為了打破這項限制,OpenAI 開發內部專用的自動化紅隊模型 GPT-Red,利用 AI 主動攻擊自家系統,在漏洞進入產品並影響使用者前提早找出問題。 讓 AI 在攻防中自我進化,GPT-Red 把成功率拉高至 84% 為了培育出強悍的「超級駭客」,OpenAI 並未直接導入現成的駭客技術,而是採用「自我對弈強化學習」(Self-play Reinforcement Learning),將一個尚未受過惡意訓練的模型放入模擬真實應用的攻防「訓練場」。在這個環境中,GPT-Red…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.