Latest / KI Espresso / Muss ein Richter ChatGPT-Einsatz offenlegen?

Transcript

Muss ein Richter ChatGPT-Einsatz offenlegen? · KI Espresso

• 0:00
  SPEAKER_00: Fünf Links in einem deutschen Gerichtsbeschluss enden mit source gleich ChatGPT.com muss das Gericht KI-Einsatz offenlegen.
• 0:09
  SPEAKER_00: Ich argumentiere heute für radikale Transparenz bei juristischer KI.
• 0:14
  SPEAKER_01: Ich vertrete eher die Position der richterlichen Unabhängigkeit und, naja, der praktischen Verhältnismäßigkeit.
• 0:20
  SPEAKER_01: Also es geht um einen Beschluss vom Hessischen Verwaltungsgerichtshof vom 24.
• 0:25
  SPEAKER_01: Juni 2026.
• 0:27
  SPEAKER_01: Wer das mal nachschlagen möchte, das Aktenzeichen ist 3a 262425.
• 0:33
  SPEAKER_01: Konkret war das eine Vorlage an den Europäischen Gerichtshof.
• 0:37
  SPEAKER_01: Und darin ging es um den Schutz ukrainischer Staatsangehöriger nach so einem längeren Aufenthalt in Georgien.
• 0:43
  SPEAKER_00: Und dabei fand man in der veröffentlichten Begründung eben Webadressen mit dieser sehr sichtbaren Endung am Schluss der Webadresse.com.
• 0:54
  SPEAKER_00: Richtig.
• 0:55
  SPEAKER_00: Mein Standard wäre hier ganz klar, wenn generative KI substanziell an einer Rechts- oder Tatsachenrecherche mitarbeitet, dann steht das in einer kurzen Prüfnotiz am Beschluss.
• 1:06
  SPEAKER_01: Das ist ein nachvollziehbarer Wunsch.
• 1:08
  SPEAKER_01: Aber da halte ich dagegen.
• 1:10
  SPEAKER_01: Richter protokollieren schließlich auch nicht jede klassische Suchmaschine.
• 1:15
  SPEAKER_00: Naja, das ist aber.
• 1:16
  SPEAKER_01: Oder juristische Datenbanken oder Übersetzungshilfen, die sie nutzen.
• 1:20
  SPEAKER_01: Am Ende ist doch nur eines entscheidend.
• 1:22
  SPEAKER_01: Tragen die Quellen inhaltlich und verantwortet ein menschlicher Richter die Begründung persönlich.
• 1:28
  SPEAKER_00: Ich verstehe den Vergleich mit der Suchmaschine, aber ich widerspreche.
• 1:31
  SPEAKER_00: Ein Gericht begründet staatliche Entscheidungen.
• 1:34
  SPEAKER_00: Generative KI-Sprachmodelle sind einfach keine normale Bürosoftware.
• 1:38
  SPEAKER_00: Aber es sind Werkzeuge.
• 1:40
  SPEAKER_00: Ja, schon, aber wenn ein Sprachmodell den Weg zu einer Tatsachenbehauptung liefert, müssen die Parteien wissen, wo sie besonders genau prüfen sollten.
• 1:49
  SPEAKER_01: Aber diese Endung beweist doch nur einen Rechercheweg.
• 1:52
  SPEAKER_01: Sie beweist absolut nicht, dass Chat-GPT das Urteil gefällt hat.
• 1:56
  SPEAKER_01: Genau diese wichtige Unterscheidung geht bei so einem plakativen KI-Warn-Etikett schnell verloren.
• 2:02
  SPEAKER_00: Dann machen wir es mal konkret an dem Fehler, der in genau diesem Fall passiert ist.
• 2:06
  SPEAKER_00: Okay.
• 2:06
  SPEAKER_00: Der Beschluss verweist auf ein georgisches Regierungsdekret vom 24.
• 2:10
  SPEAKER_00: Februar 2026, das den Aufenthalt für Ukrainer angeblich verlängert.
• 2:16
  SPEAKER_00: Der hinterlegte Link führt aber kurioserweise zu einem Artikel aus dem Jahr 2025.
• 2:22
  SPEAKER_00: Dort kann ein Dekret von 2026 logischerweise gar nicht belegt sein.
• 2:27
  SPEAKER_00: Das stimmt.
• 2:28
  SPEAKER_01: Aber das Gericht hat diesen Punkt auch absolut transparent eingeräumt.
• 2:32
  SPEAKER_01: Es betonte aber eben auch, dass Chat-GPT nicht die einzige Informationsquelle war.
• 2:38
  SPEAKER_00: Trotzdem stand es so drin.
• 2:40
  SPEAKER_01: Ja, aber es gab weitere Gegenkontrollen durch das Gericht.
• 2:43
  SPEAKER_01: Und die haben die eigentliche Verlängerung des Aufenthalts bestätigt.
• 2:47
  SPEAKER_01: Der fehlerhafte Verweis hat das juristische Ergebnis also nicht verändert.
• 2:52
  SPEAKER_01: Eine Korrektur war deshalb gar nicht nötig.
• 2:55
  SPEAKER_00: Aber genau deshalb brauchen wir doch Transparenz.
• 2:57
  SPEAKER_00: Wir müssen verstehen, wie und warum diese Fehler entstehen.
• 3:01
  SPEAKER_01: Sogenannten Halluzinationen sind ein reales technisches Risiko.
• 3:06
  SPEAKER_01: Deshalb braucht es ja die menschliche Gegenkontrolle.
• 3:08
  SPEAKER_01: Das Gericht begründete den KI-Einsatz ja mit dem extrem schwer zugänglichen georgischen Recht.
• 3:14
  SPEAKER_01: KI half einfach dabei, die Informationen überhaupt erst auffindbar zu machen.
• 3:19
  SPEAKER_01: Danach muss der Mensch prüfen.
• 3:20
  SPEAKER_00: Aber ohne diese verräterische Endung am Link hätten die Parteien diese spezifische Fehlerquelle doch gar nicht erkannt.
• 3:28
  SPEAKER_00: Das wissen wir nicht.
• 3:29
  SPEAKER_00: Ein Vertrauenssystem darf nicht funktionieren wie so ein Navigationsgerät, das uns selbstbewusst die Route ansagt, aber heimlich Straßen erfindet, die gar nicht existieren.
• 3:40
  SPEAKER_00: Dieser kaputte Link in Hessen ist ja nur ein Symptom.
• 3:43
  SPEAKER_01: Naja.
• 3:44
  SPEAKER_00: Genau deshalb nennt der Deutsche Richterbund diesen unbemerkten KI-Einsatz ja den sprichmörtlichen Elefanten im Raum.
• 3:51
  SPEAKER_00: Wenn die Justiz hier keine Schwelle definiert, definiert sie halt jeder peinliche Copy-and-Paste-Fehler für sie.
• 3:57
  SPEAKER_01: Der Richterbund fordert eine offene Debatte, das stimmt.
• 4:00
  SPEAKER_01: Aber das ist doch kein Argument für ausufernde Bürokratie.
• 4:05
  SPEAKER_01: Richterliche Unabhängigkeit umfasst nur mal die Wahl der Arbeitsmittel.
• 4:08
  SPEAKER_00: Ich fordere ja auch keine ausufernde Bürokratie, aber die Europäische Kommission sieht KI-Systeme, die Richter unterstützen, schlicht als ein besonders sensibles Feld mit strengen Anforderungen.
• 4:21
  SPEAKER_00: Meine Prüfnotiz braucht nur vier simple Angaben.
• 4:24
  SPEAKER_00: Und die wären Welches Werkzeug?
• 4:27
  SPEAKER_00: Für welche substanzielle Aufgabe?
• 4:30
  SPEAKER_00: Welche Primärquellen wurden unabhängig geprüft und was wurde korrigiert?
• 4:35
  SPEAKER_00: Die Grenze ist der materielle Einfluss.
• 4:37
  SPEAKER_00: Wenn die KI eine entscheidungserhebliche Tatsache ermittelt, dann muss man offenlegen.
• 4:42
  SPEAKER_01: Aber auch materieller Einfluss ist in der Praxis extrem dehnbar.
• 4:47
  SPEAKER_01: Muss dann eine semantische Suche, also eine, die nach inhaltlichem Sinn und nicht nur nach exakten Wörtern sucht, auch genannt werden?
• 4:54
  SPEAKER_01: Das ist doch was anderes.
• 4:56
  SPEAKER_01: Wer die Grenze nicht sauber ziehen kann, produziert am Ende nur Abwehrformulierungen.
• 5:00
  SPEAKER_01: Was der Partei wirklich hilft, ist nicht ein pauschales Feld mit dem Wort KI, sondern die ganz konkrete Möglichkeit, zitierte Sätze anzugreifen, weil die Quellen nicht stimmen.
• 5:11
  SPEAKER_00: Transparenz ersetzt ja keine Prüfung, sie eröffnet sie erst.
• 5:14
  SPEAKER_00: Das ist der absolute Kern unserer Meinungsverschiedenheit.
• 5:17
  SPEAKER_01: Gut, dann lass uns mal versuchen, hier einen konstruktiven gemeinsamen Nenner zu finden.
• 5:23
  SPEAKER_00: Okay.
• 5:25
  SPEAKER_01: Ich denke, wir können drei Kontrollpunkte etablieren.
• 5:28
  SPEAKER_01: Erstens, jede Tatsachenbehauptung braucht eine tragende Quelle.
• 5:32
  SPEAKER_01: Zweitens, schwer zugängliches ausländisches Recht erfordert zwingend eine unabhängige Gegenprüfung.
• 5:40
  SPEAKER_01: Und drittens, Quellenfehler müssen transparent behandelt werden, auch wenn sie das Ergebnis am Ende nicht ändern.
• 5:46
  SPEAKER_00: Bei Punkt 3 gehe ich aber weiter.
• 5:48
  SPEAKER_00: Transparenz muss bedeuten, auch den KI-Anteil konkret zu benennen, damit Parteien die Begründung gezielt auf diese neuen Fehlerarten prüfen können.
• 5:57
  SPEAKER_01: Und genau davor warne ich.
• 5:59
  SPEAKER_01: Ein solches KI-Label zieht die Aufmerksamkeit von der Rechtsfrage weg.
• 6:04
  SPEAKER_01: Wer KI im Gerichtsbeschluss liest, hat sofort das völlig falsche Bild eines KI-Richters im Kopf.
• 6:10
  SPEAKER_01: Ach, das glaube ich nicht.
• 6:11
  SPEAKER_01: Doch, das hier ist ein Vorlagebeschluss, keine maschinelle Entscheidung.
• 6:15
  SPEAKER_00: Muss ein Gericht offenlegen, wenn KI an seiner Begründung mitgearbeitet hat, oder reicht es, wenn ein Mensch dafür einsteht?
• 6:23
  SPEAKER_01: Wenn euch diese Debatte zum Nachdenken gebracht hat, abonniert KI Espresso.
• 6:28
  SPEAKER_01: Jeden Tag eine neue KI-Debatte in sechs Minuten.
• 6:32
  SPEAKER_00: Das war KI Espresso.