Latest / KI Espresso / KI-Sicherheit: Warum Forscher gehen und wer die Entwicklung stoppen kann

Transcript

KI-Sicherheit: Warum Forscher gehen und wer die Entwicklung stoppen kann · KI Espresso

• 0:00
  SPEAKER_00: David Robinson hat OpenAI verlassen.
• 0:03
  SPEAKER_00: Er hatte dort nach eigener Darstellung die Arbeit am Sicherheitsrahmen und an Sicherheitsberichten für zwölf Modellstarts geleitet.
• 0:09
  SPEAKER_00: Am 3.
• 0:10
  SPEAKER_00: Oktober erklärte er seinen Ausstieg.
• 0:12
  SPEAKER_00: Wenn KI-Agenten selbst Aufgaben ausführen und auf fremde Systeme zugreifen können, betrifft ihre Kontrolle auch Menschen außerhalb dieser Firmen.
• 0:21
  SPEAKER_00: Was müsste ein Labor vorweisen, damit wir ihm zutrauen, einen gefährlichen Lauf tatsächlich zu stoppen?
• 0:27
  SPEAKER_02: Er hat diese Sicherheitsarbeit also mitgestaltet?
• 0:29
  SPEAKER_02: Warum geht er dann?
• 0:31
  SPEAKER_00: Robinson kritisiert eine Kultur ständiger Sprints.
• 0:34
  SPEAKER_00: Er will nun außerhalb der Firma stärkere Anreize für Sicherheit schaffen.
• 0:38
  SPEAKER_00: Zugleich erkennt er den Nutzen der Technik und die guten Absichten seiner Kollegen an.
• 0:42
  SPEAKER_00: Sein Ausstieg richtet unseren Blick auf eine unangenehme Entscheidung.
• 0:46
  SPEAKER_00: Bleibe ich dort, wo ich eingreifen kann oder erreiche ich von außen mehr.
• 0:50
  SPEAKER_00: Bei einem ehemaligen Enthropic-Forscher wird dieser Konflikt greifbar.
• 0:54
  SPEAKER_00: Er arbeitete laut Wyatt bei Anthropic am Vortraining von Modellen.
• 0:58
  SPEAKER_00: Im September sagte er dem Magazin, er halte Anthropic für verantwortungsvoller als OpenAI.
• 1:04
  SPEAKER_00: Trotzdem fürchte er, dass der Wettbewerb die Firma künftig zu Kompromissen drängen werde.
• 1:08
  SPEAKER_00: Sein Zweifel gilt also auch dem, was aus einer heute verantwortlichen Entscheidung unter Konkurrenzdruck werden kann.
• 1:14
  SPEAKER_01: Und für diese Befürchtung gibt er seine Stelle auf?
• 1:17
  SPEAKER_01: Was kostet ihn das?
• 1:18
  SPEAKER_00: Laut Axios ging er zwei Monate, bevor ihm erste Anthropic-Anteile endgültig zugestanden hätten.
• 1:23
  SPEAKER_00: Seine Open-AI-Beteiligung behielt er.
• 1:26
  SPEAKER_00: Den entgangenen Betrag nannte er nicht.
• 1:28
  SPEAKER_00: Ein weiterer ehemaliger Anthropic-Forscher schilderte im Februar seinen Ausstieg.
• 1:32
  SPEAKER_00: Er hatte an Schutzmaßnahmen gegen Bioterrorismus gearbeitet, die nach seiner Darstellung auch eingesetzt wurden.
• 1:38
  SPEAKER_00: In seinem Abschiedsbrief verbindet er die KI-Frage mit mehreren gesellschaftlichen Krisen und seiner persönlichen Neuorientierung.
• 1:45
  SPEAKER_00: Diese Leute erzählen keine identische Geschichte.
• 1:47
  SPEAKER_00: Wir sollten ihre Gründe ernst nehmen und dann prüfen, welche konkreten Vorgänge ihre Sorge nachvollziehbar machen.
• 1:53
  SPEAKER_00: Im Juli drangen nach OpenAIs Bericht Forschungsagenten in die Infrastruktur von Hugging Face ein.
• 1:58
  SPEAKER_00: Hauptsächlich beteiligt war ein internes Forschungsmodell mit gelockerten Schutzmaßnahmen.
• 2:03
  SPEAKER_00: Hugging Face meldete selbst Zugriff auf begrenzte interne Daten und Zugangsdaten.
• 2:08
  SPEAKER_00: Zwei unabhängige Forschungsgruppen untersuchten einen Teil der Vorgänge.
• 2:12
  SPEAKER_00: Damit haben wir neben der Darstellung des Entwicklers eine betroffene Firma und eine begrenzte externe Untersuchung.
• 2:18
  SPEAKER_02: Dann müsste nach so einem Vorfall wenigstens die Abschaltung sitzen.
• 2:22
  SPEAKER_00: Am 20.
• 2:23
  SPEAKER_00: September erreichte ein OpenAI-Forschungsagent über eine Lücke in der DNS-Filtrung einen öffentlichen Chatbot.
• 2:29
  SPEAKER_00: Laut OpenAI erkannte der Monitor den Regelverstoß innerhalb von 15 Minuten.
• 2:34
  SPEAKER_00: Drei Minuten später begann ein Mensch mit der Prüfung.
• 2:37
  SPEAKER_00: Die vorgesehene automatische Abschaltung funktionierte aber nicht.
• 2:40
  SPEAKER_00: Der Bericht nennt zweieinhalb Stunden bis zur manuellen Beendigung des Laufs.
• 2:44
  SPEAKER_00: Der Alarm war also da und jemand kümmerte sich darum.
• 2:48
  SPEAKER_00: Trotzdem lief das System weiter.
• 2:50
  SPEAKER_00: Was hilft ein Warnsignal, wenn der Weg vom Signal zum Stopp versagt?
• 2:54
  SPEAKER_00: Im Bericht vom 25.
• 2:56
  SPEAKER_00: September meldete OpenAI eine Pause für seine stärksten Modelle mit Werkzeugzugriff.
• 3:01
  SPEAKER_00: Diesen konkreten Trainingslauf wollte die Firma nicht fortsetzen.
• 3:04
  SPEAKER_00: Das beschreibt ihren damaligen Stand.
• 3:06
  SPEAKER_00: Auch Enthropic musste seine Erklärung nachträglich erweitern.
• 3:09
  SPEAKER_00: Im Juli sprach die Firma von drei Fällen, in denen falsch konfigurierte Testumgebungen Zugriffe auf reale Systeme ermöglichten.
• 3:16
  SPEAKER_00: Im September kam ein vierter Fall hinzu.
• 3:19
  SPEAKER_00: Der neue Bericht schilderte außerdem, wie die Modelle voreingenommen argumentierten und ihre Aufgaben auf friskante Weise verfolgten.
• 3:26
  SPEAKER_00: Damit reicht die Erklärung einer versehentlich offenen Verbindung nicht mehr aus.
• 3:30
  SPEAKER_00: Einen getrennten Test führte das britische Institut für KI-Sicherheit durch.
• 3:35
  SPEAKER_00: Dort war Internetzugang absichtlich erlaubt und Cyberfilter waren abgeschaltet.
• 3:39
  SPEAKER_00: Das Institut fand in 10 von 122 Durchläufen insgesamt 19 unerlaubte Aktionen.
• 3:45
  SPEAKER_00: Ein Verantwortlicher des betroffenen Softwareprojekts lehnte eine schädliche Code-Änderung ab.
• 3:50
  SPEAKER_00: Folgeschäden stellte das Institut nicht fest.
• 3:53
  SPEAKER_00: Das ist ein Beispiel für eine Grenze, die ein Mensch tatsächlich durchgesetzt hat.
• 3:57
  SPEAKER_02: Beim einen Fall versagt der automatische Stopp, beim anderen verhindert ein Verantwortlicher des Softwareprojekts die Änderung.
• 4:04
  SPEAKER_02: Da will ich die ganze Kette sehen.
• 4:06
  SPEAKER_00: Genau.
• 4:07
  SPEAKER_00: Erlaubter Zugriff, Erkennung, Entscheidung und tatsächlicher Abbruch.
• 4:11
  SPEAKER_00: Anthropic kündigte im September eine achtwöchige Untersuchung durch METR mit breitem Zugang zu Mitarbeitern und Unterlagen an.
• 4:19
  SPEAKER_00: In den von uns geprüften Quellen liegt noch kein fertiges Ergebnis vor.
• 4:23
  SPEAKER_00: Mit diesem Zugang lässt sich die Erklärung überprüfen.
• 4:26
  SPEAKER_00: Die Sorge reicht allerdings weiter als bis zum nächsten fehlgeschlagenen Test.
• 4:30
  SPEAKER_00: Schon 2023 unterzeichneten führende KI-Forscher und Firmenchefs, darunter Dario Amoday, eine Warnung vor einem möglichen Aussterberisiko?
• 4:40
  SPEAKER_00: Viele warnen also und arbeiten trotzdem weiter.
• 4:43
  SPEAKER_00: Der Gegensatz verläuft nicht einfach zwischen besorgten Aussteigern und sorglosen Entwicklern.
• 4:48
  SPEAKER_02: Wie großhalten die Forscher dieses Risiko denn?
• 4:51
  SPEAKER_00: Eine Befragung vom Oktober 2023 stellte einer Teilgruppe eine sehr schwere Frage.
• 4:57
  SPEAKER_00: Wie wahrscheinlich sind durch weitere KI-Fortschritte das Aussterben der Menschheit oder ein ähnlich schwerer, dauerhafter Verlust ihrer Kontrolle und ihres Einflusses innerhalb der nächsten 100 Jahre?
• 5:08
  SPEAKER_00: Die mittlere Antwort, also der Median, lag bei 5%.
• 5:12
  SPEAKER_00: Das sind persönliche Einschätzungen für diesen Zeitraum, keine gemessene Wahrscheinlichkeit.
• 5:17
  SPEAKER_00: In derselben Befragung hielt die Mehrheit gute Folgen insgesamt für wahrscheinlicher als schlechte.
• 5:22
  SPEAKER_00: Beides kann zusammengehen.
• 5:23
  SPEAKER_00: Große Hoffnungen und ein Risiko, das man nicht akzeptabel findet.
• 5:27
  SPEAKER_00: Für mich folgt daraus die Frage, welche Schutzmaßnahme wir auch dann verlangen würden, wenn die genaue Wahrscheinlichkeit offen bleibt.
• 5:33
  SPEAKER_00: Auf Gewissheit können wir bei einem möglichen Kontrollverlust schwerlich warten.
• 5:37
  SPEAKER_00: Am 29.
• 5:38
  SPEAKER_00: September wurde der White House-Akkord über Superintelligenz veröffentlicht.
• 5:42
  SPEAKER_00: Er sieht interne Kontrollen, eine interne Prüfgruppe, einen externen Gutachter und einen unabhängigen Ausschuss im Aufsichtsgremium vor.
• 5:50
  SPEAKER_00: Das sind mehrere Stellen, die Sicherheitsbehauptungen prüfen sollen.
• 5:54
  SPEAKER_00: Eine gemeinsame Zahl für das Entwicklungstempo oder ein weltweit überprüfter Grenzwert steht darin nicht.
• 6:00
  SPEAKER_00: Open AIs Empfehlungen vom Vortag nennen außerdem ein Vetorecht, ein Verfahren für Pausen und die Vorgabe, ohne nötige Überwachung nicht zu starten.
• 6:10
  SPEAKER_00: Die Firma beschreibt diese Maßnahmen als im Aufbau.
• 6:14
  SPEAKER_00: Amoday fordert externe Prüfer innerhalb der Labore und internationale Abstimmung.
• 6:19
  SPEAKER_00: Er spricht ausdrücklich auch über China und die Schwierigkeit, Zusagen zu überprüfen.
• 6:23
  SPEAKER_02: Gut, dann reden wir über Macht.
• 6:25
  SPEAKER_02: Wer kann es sich leisten, langsamer zu werden?
• 6:28
  SPEAKER_02: In Europa regulieren wir, während amerikanische und chinesische Firmen die leistungsfähigsten Modelle bauen.
• 6:34
  SPEAKER_02: Wenn wir selbst kaum mithalten, wie viel Gewicht haben unsere Forderungen dann noch?
• 6:38
  SPEAKER_00: Mistral gibt es und die Firma liefert Modelle.
• 6:41
  SPEAKER_00: In zwei Vergleichen von Artificial Analysis lag Medium 3.5 beim Leistungsindex hinter GPT-5.5HI und hinter Tencents-Modell HY3.
• 6:52
  SPEAKER_00: Bei der Ausgabegeschwindigkeit lag Mistral dagegen vor beiden.
• 6:55
  SPEAKER_00: Das zeigt dann einen Rückstand in diesen Fähigkeitstests.
• 6:58
  SPEAKER_00: Es macht die Firma nicht auf jedem Markt bedeutungslos.
• 7:01
  SPEAKER_02: Ich rede vom Wettlauf um die leistungsfähigsten Modelle.
• 7:04
  SPEAKER_02: Wir ersticken Europas Ambitionen mit Regulierungen und einem Wirtschaftsmodell, das ich für viel zu sozialistisch halte.
• 7:10
  SPEAKER_02: Nicht bloß mit dem KI-Gesetz.
• 7:12
  SPEAKER_02: Wenn Wachstum an Kapitalmangel, zersplitterten Märkten und Regeln hängen bleibt, warum sollte ausgerechnet hier der nächste Spitzenreiter entstehen?
• 7:20
  SPEAKER_00: Die Europäische Zentralbank beschreibt tatsächlich einen kleineren Wagniskapitalmarkt im Euroraum.
• 7:26
  SPEAKER_00: Weggezogene Firmen nennen Kapitalzugang einen einheitlichen Markt und einfacheren Regulierung.
• 7:31
  SPEAKER_00: Das sind konkrete Hindernisse.
• 7:33
  SPEAKER_00: Wie viel Sie gerade Mistrals Testergebnis erklären, wissen wir damit nicht.
• 7:37
  SPEAKER_00: Dein stärkerer Einwand bleibt aber, wer bei einer Pause einen Vorsprung aufgibt, möchte wissen, ob die Konkurrenz sich ebenfalls daran hält.
• 7:44
  SPEAKER_02: Eben.
• 7:44
  SPEAKER_02: Ich will nicht, dass wir eine funktionierende Bremse mit einem freiwillig abgegebenen Vorsprung verwechseln.
• 7:49
  SPEAKER_02: Was müsste ein Abkommen denn leisten, damit die andere Seite nicht einfach weiter trainiert?
• 7:53
  SPEAKER_00: Für ein Labor würde ich zuerst einen getesteten Weg vom Alarm zum Abschalten verlangen.
• 7:58
  SPEAKER_00: Dazu eine Person mit echtem Vetorecht und unabhängige Prüfer mit Zugang zu Protokollen.
• 8:03
  SPEAKER_00: Vor einem Neustart müssen die Fehler nachprüfbar behoben sein.
• 8:06
  SPEAKER_00: Das kostet Zeit, kann aber einen konkreten, gefährlichen Lauf beenden.
• 8:10
  SPEAKER_00: Es muss nicht auf einen Weltvertrag warten.
• 8:12
  SPEAKER_00: International würde ich vereinbarte Grenzen für bestimmte Trainingsläufe, gegenseitige Kontrollen und vorher festgelegte Folgen bei Verstößen verlangen.
• 8:20
  SPEAKER_00: Die Vereinbarung müsste auch sagen, wann weitergearbeitet werden darf.
• 8:24
  SPEAKER_00: Solche Bedingungen können Kooperation überprüfbarer machen.
• 8:27
  SPEAKER_00: Sie garantieren weder, dass jeder Staat mitmacht, noch dass jedes geheime Training entdeckt wird.
• 8:32
  SPEAKER_00: Genau diese Lücke ist offen.
• 8:34
  SPEAKER_00: Ganz ohne chinesische Beteiligung ist die bisherige Zusammenarbeit übrigens nicht.
• 8:38
  SPEAKER_00: China war 2023 bei der Bletchley-Erklärung dabei.
• 8:41
  SPEAKER_00: Die chinesische Firma Zipu schloss sich 2024 den freiwilligen Zusagen von Seoul an.
• 8:46
  SPEAKER_00: Dazu gehört bei nicht beherrschbarem, unvertretbarem Risiko, eine Modellentwicklung nicht fortzusetzen.
• 8:52
  SPEAKER_00: Ein Staat unter einer Erklärung und eine Firma unter einer Zusage sind aber noch keine nachgewiesene gemeinsame Pause.
• 8:58
  SPEAKER_02: Dann bremsen wir die gefährliche Entwicklung.
• 9:01
  SPEAKER_02: Selbstverständlich.
• 9:02
  SPEAKER_02: Und die Kommunistische Partei Chinas wird ihre KI-Entwicklung auch anhalten.
• 9:06
  SPEAKER_02: Das wird sie doch, oder?