Latest / Epoch Im Fokus / „Wären sie Menschen, würden sie verhaftet“ – Experten über KI-Angriff #44

Transcript

„Wären sie Menschen, würden sie verhaftet“ – Experten über KI-Angriff #44 · Epoch Im Fokus

• 0:00
  Speaker 0: Herzlich willkommen zu Epoch im Fokus, mit dem Thema OpenAI-Modell bricht aus.
• 0:06
  Speaker 0: Während Sie Menschen würden sie verhaftet – Experten über KI-Angriff!
• 0:11
  Speaker 0: Ein Artikel von Lawrence Wilson und Jacob Berg vom sechzehnten August zwanzig sechsundzwanzig am Mikrofon Alexander Sieber.
• 0:19
  Speaker 0: OpenAI Modelle brachen während eines Sicherheitstests aus einer Sandbox aus und griffen Hikingface an.
• 0:26
  Speaker 0: Sie nutzten dabei mehrere Zero Day Exploits.
• 0:29
  Speaker 0: Experten warnen vor riesigen autonomer KI-Agenten.
• 0:34
  Speaker 0: Was wäre, wenn ein KI-Modell eine Aufgabe erhält und alle ihm zur verfügung stehenden Ressourcen nutzt um diese zu erfüllen?
• 0:41
  Speaker 0: Selbst zum Nachteil der Menschheit!
• 0:44
  Speaker 0: Genau das wird nun von einigen Experten befürchtet.
• 0:47
  Speaker 0: Ein OpenAI-Modell brach aus einer Test-Sandbox aus und drang mit Hilfe von Zero Day Exploits in die Infrastruktur von Hackingface, eine Open Source Community für KI und maschinelles Lernen ein um die ihm gestellte Aufgabe zu erfüllen.
• 1:03
  Speaker 0: Zitat – Dies ist eines der bislang deutlichsten Beweise dafür dass sein KI-Model einen vollständigen Cyberangriff von Anfang bis Ende durchführen kann.
• 1:11
  Speaker 0: ohne das ein Mensch es steuert erklärte Andrew Jones, Mitbegründer und Chief Product Officer des Cyber-Sicherheitsunternehmens Adaptive Security gegenüber der englischsprachigen Ausgabe F&E.
• 1:24
  Speaker 0: KI außer Kontrolle oder nur konsequent ausgeführte Befehle?
• 1:28
  Speaker 0: OpenAI, der Entwickler des beliebten auf einem großen Sprachmodell basierenden JetGPT Chatbots bestätigt am XXI.
• 1:36
  Speaker 0: Juli die Sicherheitsverletzung.
• 1:38
  Speaker 0: Das Unternehmen erklärte das zwei seiner fortschrittlichen Modelle aus einer eingeschränkten Testumgebung ausgebrochen und in die Softwareinfrastruktur von Hackingface eingedrungen seien Zitat.
• 1:49
  Speaker 0: Nach unseren Untersuchungen wissen wir nun, dass dieser spezielle Vorfall durch eine Kombination von Open AI Modellen ausgelöst wurde.
• 1:56
  Speaker 0: Darunter befand sich auch GPT-Fünf Punkt Sechs Sol und ein noch leistungsfähigeres Vorabmodell die alle zu Evaluierungszwecken mit gelockerten Cyber Sicherheitsbeschränkungen betrieben wurden.
• 2:07
  Speaker 0: Intern wurden sie anhand eines Benchmarks für Cyberfähigkeiten getestet", erklärte OpenAI damals.
• 2:13
  Speaker 0: Einige Analysten bezeichneten den Vorfall als Beispiel dafür, dass KI außer Kontrollegerät Intrigen entwickeln oder Ziele verfolgt die im Widerspruch zu denen ihrer menschlichen Tester stehen.
• 2:25
  Speaker 0: Mehrere von Epoch Times befragte KI und Cyber-Sicherheitsexperten bezeichneten diese Darstellung jedoch als irreführend.
• 2:31
  Speaker 0: Sie argumentierten das die Modelle die von OpenAI festgelegten Ziele innerhalb einer Test Sandbox verfolgten in der das Unternehmen einige seiner üblichen Sicherheitsbeschränkungen gelockert hatte.
• 2:42
  Speaker 0: Zitat.
• 2:43
  Speaker 0: Intrigen impliziert, dass das Modell etwas anders wollte als das, worum wir es gebeten hatten – Das war nicht der Fall!
• 2:51
  Speaker 0: Jede Schritt diente dem von uns festgelegten Ziel, erklärte die KI-Expertin Anik Devon gegenüber der Epoch Times.
• 2:57
  Speaker 0: Devon, die seit Jahren in der Branche tätig ist und die KI Unternehmen Wired to Create und Carrow gegründet hat, sagte der Vorfall bei Huggingface sei besorgniserregender als vermeintliche Intrige der KI.
• 3:10
  Speaker 0: Zitat, eine Maschine hingegen die überhaupt keine eigenen Motive hat.
• 3:14
  Speaker 0: Aber deine Anweisungen über den Punkt hinaus ausführt bis zu dem Du sie dir vorgestellt hast.
• 3:19
  Speaker 0: das ist ein Problem dem man durch technische Gestaltung entgegenwirken muss so die Worn.
• 3:25
  Speaker 0: Ein Experte bezeichnete die Situation als Kanarienvogel in der Kohlengrube.
• 3:30
  Speaker 0: Zitat.
• 3:30
  Speaker 0: Wäre dies das Werk eines menschlichen Blackhead-Hackers, gäbe es Verhaftungen und Gerichtsverfahren?
• 3:36
  Speaker 0: Es wäre illegal!
• 3:37
  Speaker 0: Ein Cyberverbrechen erklärte Nicolas Nadeau Gründer von ONIX AI gegenüber der Epoch Times.
• 3:43
  Speaker 0: Zitat – Dies war ein vollständig autonom durchgeführter Angriff durch eine KI.
• 3:47
  Speaker 0: Daher stellt sich nun die Frage wer dafür verantwortlich ist OpenAI, die KI selbst oder die Forscher Sonado?
• 3:55
  Speaker 0: Und weiter, wir haben nicht einmal Regeln, Vorschriften oder Gesetze.
• 3:58
  Speaker 0: Geschweige denn einen klaren rechtlichen Rahmen dafür wie die Verantwortung in einem solchen Fall zu bestimmen
• 4:04
  Speaker 0: ist.".
• 4:06
  Speaker 0: Gelockerte Testumgebung OpenAI gab an seine Modelle in einer Sandbox namens Exploit Gym zu evaluieren, in der bestimmte Sicherheitsvorkehrungen für die Tests bewusst deaktiviert waren.
• 4:18
  Speaker 0: Das Unternehmen erklärte, dass die Bewertung ohne jene Produktionsklassifikatoren durchgeführt wurde.
• 4:23
  Speaker 0: Die Modelle normalerweise daran hindern sollen risikoreiche Cyberaktivitäten auszuführen.
• 4:29
  Speaker 0: Die Modelle wurden angewiesen, Zitat fortgeschritten exploits unter Verwendung komplexe Angriffspfade durchzuführen um ihre Cyberfähigkeiten zu testen.
• 4:38
  Speaker 0: Die Testumgebung war stark isoliert.
• 4:40
  Speaker 0: der Netzwerkzugang war zunächst auf die Installation von Paketen über eine intern gehostete Drittanbieter Software beschränkt die als Proxy und Cash für Paket Registry diente.
• 4:51
  Speaker 0: Während der Tests fanden und verknüpften die Modelle mehrere Sicherheitslücken in der Forschungsumgebung von OpenAI und in der Produktionsinfrastruktur von Huggingface, um die Lösungen für die Testaufgabe in den Datenbanken des Unternehmens zu finden.
• 5:06
  Speaker 0: Juan Pedro Marquez, ein auf KI und Agenten spezialisierter Cloud-Lösungsarchitekt bei Microsoft für die Region Europa nahe Osten und Afrika sagte.
• 5:15
  Speaker 0: Der beunruhigende Aspekt des Vorfalls sei nicht die Sicherheitslücke an sich gewesen sondern die Art & Weise wie das Modell die Aufgabe bewältigt
• 5:23
  Speaker 0: habe.".
• 5:24
  Speaker 0: OpenAI hatte seine Sicherheitsschwellen für einen Benchmarktest gesenkt und das Model schlussfolgete dass die Infrastruktur von Huggingface wahrscheinlich den Lösungsschlüssel enthielt Brach aus seiner Sandbox aus, fand einen echten Zero Day exploit und nutzte ihn, sagte Marquez.
• 5:40
  Speaker 0: Niemand hat es dazu
• 5:41
  Speaker 0: aufgefordert.".
• 5:44
  Speaker 0: Auch Amy Simpson, Leiterin des Produktmarketings beim Cyber-Sicherheitsunternehmen Huntress, hält eine böswillige Absicht für nicht erwiesen.
• 5:52
  Speaker 0: Zitat – Es ist nichts so, dass das System selbst böswillig gewesen wäre, erklärte Simpson gegenüber der Englischsprachigen Epoch Times und weiter.
• 6:00
  Speaker 0: Die Entwickler hatten nach wie vor das Ziel diese Informationen zu erlangen.
• 6:03
  Speaker 0: sie hätten nur nicht gedacht, dass es in der Lage sein würde die Grenzen seines Tests umgehen Fügte sie hinzu und beschrieb den Weg, den das Modell gewählt hatte als äußerst kreativ und äußerst ungewöhnlich.
• 6:15
  Speaker 0: Modelle verfolgten die Ziele von OpenAI.
• 6:18
  Speaker 0: OpenAI erklärte – Die Modelle hätten sich vollständig darauf konzentriert, die Testlösungen zu finden und seien bis zum Äußersten gegangen um ein eng gefasstes Testsziel zu erreichen.
• 6:28
  Speaker 0: In der Sandbox Exploit Gym fanden Sie mehrere Zero-Dy Exploits und verknüpften diese miteinander, um ins Internet einzudringen.
• 6:36
  Speaker 0: Zitat mit dem Ziel das Bewertungsproblem zu lösen, so OpenAI.
• 6:40
  Speaker 0: Ein Zero Day Exploit nutzt eine bislang unbekannte Sicherheitslücke ins Software oder Hardware aus.
• 6:46
  Speaker 0: Der Begriff bezieht sich darauf dass Entwicklern null Tage zur Verfügung stehen um das Problem zu beheben.
• 6:52
  Speaker 0: Entsprechend existiert noch kein offizieller Patch- oder Schutzmechanismus.
• 6:57
  Speaker 0: Nach dem Zugang zum offenen Internet nutzen die Modelle weitere Zero Day exploits um in Hugging Face einzudringen.
• 7:04
  Speaker 0: Nach Angaben von Huggingface führten die KI-Modelle viele Tausend einzelne Aktionen über einen Schwarm, kurzlebiger Sandboxen hinweg aus um sich Zugang zur Infrastruktur der Community zu verschaffen.
• 7:32
  Speaker 0: Das betroffene Vorabmodell sei inzwischen deaktiviert, verschlüsselt und für den Forschungszugang gesperrt worden.
• 7:39
  Speaker 0: Nach der Untersuchung des Einbruchsvorfalls und weiterer Aktivitäten seiner Modelle teilte OpenAI mit, weitere Fälle entdeckt zu haben.
• 7:46
  Speaker 0: Dabei hatten die Modelle öffentlich zugängliche Anmeldedaten auf Kontoebene bei anderen öffentlich verfügbaren Diensten identifiziert und
• 7:53
  Speaker 0: genutzt.".
• 7:55
  Speaker 0: Wir werden die Betreiber der Dienste weiterhin direkt benachrichtigen und haben bislang keine Hinweise auf weitreichendere Auswirkungen auf diese Anbieter oder andere Konten in deren Dienstem gefunden, fügte das Unternehmen hinzu.
• 8:09
  Speaker 0: Modell war nicht böswillig.
• 8:11
  Speaker 0: Es gab bereits in der Vergangenheit Fälle, in denen Modelle ihre Absichten verschleierten um Einschränkungen bei Labortests zum Gehen.
• 8:18
  Speaker 0: Der Vorfall bei Hackingface war laut dem Cybersicherheits- und IT-Experten George Reeves jedoch von besondere Bedeutung da er einen Sicherheitsverstoß bein eine externen Organisation betraf.
• 8:29
  Speaker 0: Das größte Wahnsignal ist nichts, dass eine KI bösartig wurde sondern das sie einen Weg aus einem kontrollierten Test in die Live-Infrastruktur eines anderen gefunden hat.
• 8:39
  Speaker 0: Erklärte Rees, Senior Security Consultant bei Sakarma gegenüber der Epoch Times Und weiter.
• 8:44
  Speaker 0: Verhaltensbasierte Sicherheitsmaßnahmen können technische Eindämmungsmaßnahme nicht ersetzen, denn ein KI-Agent benötigt nur eine übersehene Berechtigung oder Fluchtmöglichkeit um einen Evaluierungsfehler in einem echten Sicherheitsvorfall zu
• 8:58
  Speaker 0: verwandeln.".
• 9:00
  Speaker 0: Das Cyber-Sicherheitsunternehmen DG Third stellte kürzlich fest, dass seventy- acht Prozent der Organisationen bereits einen KI bezogenen Sicherheitsvorfall oder eine Sicherheitslücke erlebt haben.
• 9:11
  Speaker 0: Zitat.
• 9:11
  Speaker 0: In vielen Fällen sind dies Frühwahnzeichen dafür, dass KI die Angriffsfläche schneller vergrößert als sich die Sicherheitspraktiken weiterentwickeln, erklärte Jason Sabin Chief Technology Officer bei DG Third gegenüber der Epoch Times.
• 9:25
  Speaker 0: KI sei nicht einfach eine weitere Art von Programm das im Netzwerk läuft sondern ein aktiver Akteur, der auf Daten zugreifen Entscheidungen treffen, Tools abrufen und mit anderen Systemen interagieren könne.
• 9:37
  Speaker 0: Unternehmen müssten daher klären, wer auf ihre Systeme zugreift und ob der KI vertraut werden könne.
• 9:44
  Speaker 0: Weitere Vorfälle bei KI-Sicherheitstests.
• 9:47
  Speaker 0: Anfang August veröffentlichte das britische AI Safety and Security Institute einen Bericht in dem ein ähnlicher Vorfall mit Modellen von OpenAI und Antropic beschrieben wurde.
• 9:57
  Speaker 0: Die Agenten hatten die Aufgabe eine Cybersicherheitsherausforderung mehr als hundertmal mit verschiedenen Modellen zu lösen.
• 10:03
  Speaker 0: Zitat.
• 10:04
  Speaker 0: Unsere Untersuchung ergab, dass in zehn dieser Durchläufe ein KI-Agent autonome nicht genehmigte Aktionen im Live-Internet durchführte die sich gegen echte Menschen und Organisationen richteten heißt es in dem Bericht.
• 10:17
  Speaker 0: Insgesamt wurden neunzehn solche Aktion kathologisiert.
• 10:20
  Speaker 0: davon stammten siebzehnt von Entropic, Mythos V und zwei von OpenAI's GPT-Fünf Punkt sechs Sol.
• 10:27
  Speaker 0: Weniger als eine Woche zuvor hatte Antropic bekannt gegeben, dass sein Chatbot Claude in drei verschiedenen Fällen während Evaluierungen in einer Test-Sandbox auf das Internet zugeriffen hatte.
• 10:38
  Speaker 0: Eigentlich sollte Claude an einer simulierten Umgebung ohne Internetzugang betrieben werden – ein Missverständnis zwischen Antropic und seinem Evaluerungspartner führte jedoch dazu, dass der Chatbot Zugang zum Internet erhielt.
• 10:50
  Speaker 0: Auch Meta teilte mit, dass eines seiner KI-Modelle während eines Cybersicherheitstests in die Systeme eines anderen Unternehmens eingedrungen sei.
• 10:57
  Speaker 0: Das Modell konnte während des Tests ebenfalls Zugang zum Internet finden.
• 11:02
  Speaker 0: Auswirkungen auf die Cyber Sicherheit.
• 11:04
  Speaker 0: KI und Cyber Sicherheitsexperten fordern angesichts solcher Vorfälle errasches Handeln.
• 11:09
  Speaker 0: Nadeau plädierte dafür, Zitat alle klügsten Köpfe dieser Branche zusammenzubringen und einige Grundregeln sowie bewährte Verfahren festzulegen die zu grundlegenden Verhaltensregeln werden und eine einheitliche Vorgehensweise gewährleisten.
• 11:23
  Speaker 0: Andere halten staatliche Regulierungen für notwendig.
• 11:25
  Speaker 0: Der ehemalige Hacker der National Security Agent und Sicherheitsexperte Jake Williams erklärte, es ist klar dass hier staatliche Regelung erforderlich.
• 11:35
  Speaker 0: OpenAI hat bewiesen, dass es trotz der vielen öffentlichen Warnungen vor den Gefahren durch Rogue Agents viele davon von OpenAI selbst nicht bereit ist das Notwendige zu tun um zu verhindern, dass seine Agenten anderen Schaden zufügen.
• 11:49
  Speaker 0: Und weiter ich persönlich bin grundsätzlich gegen Regulierung aber wenn Marktkräfte eindeutig nicht ausreichen um verantwortungsbewusstes Verhalten zur Zwingung muss die Regierung
• 11:59
  Speaker 0: eingreifen.".
• 12:02
  Speaker 0: Frank Terrell, Chief Operating Officer bei Arcos Labs bezeichnete den Vorfall bei Hugging Face als vorgeschmack darauf womit jedes Unternehmen im Produktvertrieb konfrontiert sein wird.
• 12:13
  Speaker 0: Da das Modell weder gestohlen noch gekapert wurde und seine Aufgabe aggressiv erfüllte empfühlt Terrell einen Dämmungsmaßnahmen sowie den Zugriff mit geringsten Berechtigungen für KI-Agenten ähnlich wichtig wie Firewalls.
• 12:27
  Speaker 0: Marquez sieht die Lösung ebenfalls nicht darin, auf den Einsatz von Agenten zu
• 12:31
  Speaker 0: verzichten.".
• 12:32
  Speaker 0: Für Unternehmen besteht die Lösung nicht darinnen keine Agenten mehr einzusetzen sondern darin Eindämmungsmaßnahmen zu entwickeln.
• 12:39
  Speaker 0: Die davon ausgehen dass der Agent versuchen wird das System zu verlassen anstatt darauf zu hoffen dass er es nicht tut.
• 12:46
  Speaker 0: Serbien erklärte, seine größte Sorge sei das hochleistungsfähige KI mittlerweile mit einer Geschwindigkeit und in einem Umfang operiert die die Reaktionszeiten des Menschen bei weitem übersteigen.
• 12:58
  Speaker 0: Zitat ein KI-Agent kann innerhalb von Sekunden Schwachstellen aufdecken Entscheidungen treffen Und mit mehreren Systemen interagieren sagte er.
• 13:06
  Speaker 0: und weiter Das verändert grundlegend wie Sicherheitsverantwortliche Über Sicherheit nachdenken müssen.
• 13:13
  Speaker 0: Nadeau verglich den Vorfall mit dem Gedankenexperiment des Philosophen Nick Bostrom aus dem Jahr zwei-tosunddrei, dem Paperclip Maximira.
• 13:21
  Speaker 0: In diesem Szenario geben Forscher einer hypothetischen superintelligenten KI eine einzige Aufgabe so viele Büroklammern wie möglich herzustellen.
• 13:29
  Speaker 0: Die KI beginnt, die Erde nach Ressourcen zu durchforsten und stellt schnell enorme Mengen an Büroklammern her.
• 13:35
  Speaker 0: Sobald Menschen beschließen, die KI zu stoppen, könnte die Maschine zu dem Schluss kommen dass die Menschheit sie darin hindert ihre Ziel zu erreichen und deshalb versuchen die Menschen auszuschalten um die ihr übertragene Aufgabe zu erfüllen.
• 13:47
  Speaker 0: Die KI wäre dabei nicht im Anthropomor von Sinne böswillig.
• 13:51
  Speaker 0: Sie würde vielmehr die Aufgabe ihrer menschlichen Programmierer auf die extremst mögliche Weise interpretieren.
• 13:57
  Speaker 0: Der Hackingvorfall bei Hackingface sei sozusagen das selbe Phänomen in einer weniger dystopischen Form.
• 14:04
  Speaker 0: Der KI wurde aufgetragen, einen Benchmark zu gewinnen und citat alles in ihrer Macht stehende einschließlich der Ausnutzung von Zero-Day Schwachstellen und der Eskalation, sagte Nado.
• 14:13
  Speaker 0: Er verwies auf ein mögliches Szenario, in dem das Pentagon KI für Kriegsspiele einsetzt und ein Modell während eines Tests aus seiner Sandbox ausbricht um die reale Welt zu
• 14:23
  Speaker 0: beeinflussen.".
• 14:25
  Speaker 0: Was wäre, wenn eines der Szenarien darin bestünde einen Staudamm oder etwas Ähnliches zu zerstören und das System das Kriegsspiel fälschlicherweise so interpretieren würde?
• 14:35
  Speaker 0: Ich werde es tun.
• 14:36
  Speaker 0: Der Eindämmung entkommen und es einfach
• 14:38
  Speaker 0: durchziehen.".
• 14:39
  Speaker 0: Wir haben bereits gesehen dass das Stromnetz und die Infrastruktur Nordamerikas nicht gerade die sichersten in Bezug auf Cyber-Sicherheit sind, sagte Nadau.
• 14:48
  Speaker 0: Er verglichte Sicherheitsvorkehrungen bei KI mit der Abzugssicherung einer Schusswaffe.
• 14:52
  Speaker 0: Zitat, woher weiß man dass die Sicherung aktiviert ist?
• 14:55
  Speaker 0: Wenn es ab einem bestimmten Punkt für die KI der beste Weg ist.
• 14:58
  Speaker 0: Die besten Daten zu halten indem sie hier alle Welt nutzt fragte er.
• 15:03
  Speaker 0: das wird sehr schnell beängstigend.