Latest / KI Espresso / KI testet KI: Wer prüft den Sicherheitsbeweis?

Transcript

KI testet KI: Wer prüft den Sicherheitsbeweis? · KI Espresso

• 0:00
  SPEAKER_01: Wer prüft den Test, wenn OpenAIs Angriffs-KI in einem Test 84% der Szenarien findet und Menschen, naja, 13%.
• 0:12
  SPEAKER_00: Für Teams in Deutschland, Österreich und der Schweiz zählt deshalb nicht die Zahl allein, sondern also der Test der eigenen Zugriffsregeln.
• 0:20
  SPEAKER_01: Um diese Diskrepanz mal kurz zu klären, müssen wir uns anschauen, worauf diese Zahlen überhaupt basieren.
• 0:26
  SPEAKER_01: OpenAI hat am 15.
• 0:28
  SPEAKER_01: Juli 2026 GPT-RED vorgestellt.
• 0:33
  SPEAKER_01: Dieses interne Modell.
• 0:35
  SPEAKER_01: Genau, als internes, komplett automatisiertes Red-Teaming-Modell.
• 0:40
  SPEAKER_01: Es wird strikt von den produktiven Modellen getrennt.
• 0:43
  SPEAKER_01: Und zwar, weil es gezielt auf bösartige Fähigkeiten trainiert wurde, um eben Schwachstellen aufzudecken.
• 0:50
  SPEAKER_01: Ja, und da muss ich direkt mal reingrätschen.
• 0:52
  SPEAKER_00: Das ist zwar technisch super spannend, aber bei dieser Metrik, also dem 84 zu 13-Ergebnis, da müssen wir echt vorsichtig sein.
• 0:59
  SPEAKER_00: Wieso?
• 1:00
  SPEAKER_00: Das ist doch ein enormer Sprung.
• 1:01
  SPEAKER_00: Naja, das ist lediglich ein von OpenAI selbst gemeldetes Resultat.
• 1:06
  SPEAKER_00: Und zwar aus einer extrem spezifischen Evaluierung zu indirekten Prompt-Injections gegen GPT 5.1.
• 1:15
  SPEAKER_00: Okay, ja.
• 1:16
  SPEAKER_00: Es ist halt weder ein universeller Sicherheitswert noch irgendeine unabhängige Zertifizierung.
• 1:22
  SPEAKER_00: Das darf man in der Praxis einfach nicht verwechseln.
• 1:24
  SPEAKER_00: Das stimmt schon.
• 1:25
  SPEAKER_01: Aber den technologischen Nutzen, den dürfen wir dabei nicht übersehen.
• 1:29
  SPEAKER_01: Durch das sogenannte Self-Play trainiert das Angriffsmodell ja quasi ununterbrochen gegen diese Verteidigermodelle.
• 1:35
  SPEAKER_01: Es spielt gegen sich selbst, sozusagen.
• 1:38
  SPEAKER_01: Exakt.
• 1:38
  SPEAKER_01: Und so können automatisierte Tests schlichtweg viel mehr Kombinationen prüfen, als ein menschliches Team jemals allein abdecken könnte.
• 1:46
  SPEAKER_01: Da steckt eine enorme Skalierung drin.
• 1:48
  SPEAKER_00: Auf Modellebene ist das auch völlig richtig.
• 1:50
  SPEAKER_00: Das kaufe ich dir ab.
• 1:51
  SPEAKER_00: Das ist eine nützliche Evidenz.
• 1:53
  SPEAKER_00: Aber in der Praxis haben wir hier einfach eine massive Kontrolllücke.
• 1:57
  SPEAKER_01: Inwiefern eine Lücke?
• 1:58
  SPEAKER_00: Also, das beantwortet einfach nicht, ob die spezifischen, wichtigen Workflows eines Kunden am Ende sicher sind.
• 2:06
  SPEAKER_00: Der Anbieter kontrolliert den Test.
• 2:07
  SPEAKER_00: Aber der Kunde kontrolliert die Zugriffsentscheidung.
• 2:10
  SPEAKER_00: Genau so ist es.
• 2:11
  SPEAKER_00: Der Kontext des Kunden fehlt beim Anbieter komplett.
• 2:15
  SPEAKER_01: Gut, aber als Beleg für die Methodik an sich gibt es ja diese Fortschrittsbehauptung.
• 2:20
  SPEAKER_01: Laut OpenAI weist GPT 5.6 soll bei direkten Prompt Injections sechsmal weniger Fehler auf als das beste Produktionsmodell nur vier Monate zuvor.
• 2:32
  SPEAKER_01: Das ist natürlich ganz klar eingeordnet als Anbieteraussage, also nicht als Kundengarantie.
• 2:37
  SPEAKER_01: Aber der Fortschritt bei der Methodik ist doch greifbar.
• 2:40
  SPEAKER_00: Ein Fortschritt auf jeden Fall, ja.
• 2:42
  SPEAKER_00: Aber genau aus dieser Lücke zwischen Anbietertest und Kundenrealität leitet sich die absolute Pflicht für Dachteams ab.
• 2:50
  SPEAKER_00: Bevor man das an interne Prozesse anbindet, muss gefragt werden, was genau hat der Anbieter da eigentlich getestet.
• 2:57
  SPEAKER_01: Und was vielleicht auch ungetestet blieb, richtig?
• 3:01
  SPEAKER_00: Genau.
• 3:01
  SPEAKER_00: Und vor allem, wer überprüft intern eigentlich die gefundenen Schwachstellen.
• 3:06
  SPEAKER_01: Wobei man fairerweise sagen muss, dass auch OpenAI weiterhin auf menschliche und externe RED-Teams setzt.
• 3:14
  SPEAKER_01: Dazu kommen mehrschichtige Schutzmaßnahmen und ein ständiges Monitoring.
• 3:19
  SPEAKER_01: Das Ergebnis des Anbieters ist also ein wahnsinnig nützlicher Input, aber eben kein finaler Beweis.
• 3:25
  SPEAKER_00: Richtig.
• 3:25
  SPEAKER_00: Deshalb gibt es für die Praxis exakt drei abschließende Prüfschritte.
• 3:30
  SPEAKER_00: Erstens den Testumfang anfragen.
• 3:33
  SPEAKER_00: Zweitens, den eigenen wichtigen Workflow testen, bevor man breiten Zugriff gewährt.
• 3:39
  SPEAKER_00: Und drittens, Person und Prozess für Meldung und Überprüfung benennen.
• 3:44
  SPEAKER_01: Wenn euch diese Debatte zum Nachdenken gebracht hat, abonniert KI Espresso jeden Tag eine neue KI-Debatte in sechs Minuten.
• 3:52
  SPEAKER_00: Das war KI Espresso.