Latest / KI Espresso / 40 Millionen Dollar: Darf Thomson Reuters seine KI selbst benoten?

Transcript

40 Millionen Dollar: Darf Thomson Reuters seine KI selbst benoten? · KI Espresso

• 0:00
  SPEAKER_01: Thomson Reuters hat gerade 40 Millionen Dollar in ein einziges KI-Modell für Recht und Steuern investiert, wodurch jetzt ein einziger Konzern die proprietären Inhalte, das Modell, das finale Produkt und die Tests dazu kontrolliert.
• 0:14
  SPEAKER_01: Ich sehe da einen massiven Vorteil.
• 0:17
  SPEAKER_01: Da halte ich dagegen.
• 0:19
  SPEAKER_01: Da halte ich wirklich absolut dagegen.
• 0:21
  SPEAKER_01: Weil wer die juristischen Kerninhalte, also wie Westlaw zum Beispiel, und gleichzeitig die Benutzeroberfläche kontrolliert, der bestimmt doch am Ende ganz allein, welche Prüfung überhaupt als bestanden gilt.
• 0:32
  SPEAKER_00: Ich widerspreche.
• 0:34
  SPEAKER_00: Bevor wir hier keine, also völlig unabhängige externe Reproduktion der Leistung sehen, darf so ein geschlossenes System einfach niemals zum Produktionsstandard in Kanzleien werden.
• 0:44
  SPEAKER_01: Ja, aber da muss ich direkt widersprechen.
• 0:46
  SPEAKER_01: Okay.
• 0:47
  SPEAKER_01: Denn du ignorierst völlig, wohin dieses ganze Geld eigentlich geflossen ist.
• 0:52
  SPEAKER_01: Diese 40 Millionen Dollar, die wurden in Personal, in enorme Rechenleistung und tiefes Faining gesteckt.
• 1:00
  SPEAKER_01: Und zwar auf einem Open-Source-Fundament.
• 1:02
  SPEAKER_00: Aber.
• 1:03
  SPEAKER_00: Bisher wurden also zwar weniger als 10 Prozent der proprietären Thomson-Inhalte für das Training genutzt, aber es waren halt hunderte von menschlichen Fachexperten involviert.
• 1:14
  SPEAKER_00: Richtig, die haben.
• 1:15
  SPEAKER_00: Die haben das System justiert.
• 1:17
  SPEAKER_00: Und genau wegen dieser beispiellosen Spezialisierung plädiere ich für einen begrenzten Produktionseinsatz.
• 1:22
  SPEAKER_00: Und zwar jetzt.
• 1:24
  SPEAKER_00: Da halte ich dagegen.
• 1:25
  SPEAKER_01: Aber Spezialisierung allein ist doch keine unabhängige Note.
• 1:30
  SPEAKER_00: Also, naja, schauen wir uns doch mal an, worauf sich dieses ganze Vertrauen stützen soll.
• 1:36
  SPEAKER_00: Nämlich die Benchmarks.
• 1:37
  SPEAKER_00: Richtig.
• 1:38
  SPEAKER_00: In dieser Hersteller publizierten Tabelle meldet das Modell beim PR-Banch Legal Hard, also einem wirklich sehr anspruchsvollen juristischen Test.
• 1:48
  SPEAKER_00: Einen Wert von 0,352.
• 1:51
  SPEAKER_00: Ja, das ist ein extrem starker Wert.
• 1:54
  SPEAKER_00: Klingt toll, aber das kam völlig asymmetrisch zustande.
• 1:58
  SPEAKER_00: Wie meinst du asymmetrisch?
• 2:00
  SPEAKER_00: Thomson nutzte hier Test-Timescaling.
• 2:02
  SPEAKER_00: Ah, okay.
• 2:03
  SPEAKER_00: Okay, ja.
• 2:04
  SPEAKER_00: Konkurrenten wie GPT 5.5 liefen in diesem Test aber ausdrücklich ohne ihren Reasoning-Modus.
• 2:10
  SPEAKER_01: Ah.
• 2:11
  SPEAKER_01: Das ist, okay, das ist ein Führerpunkt.
• 2:13
  SPEAKER_01: Der Vergleich hinkt methodisch definitiv.
• 2:16
  SPEAKER_01: Aber ich, ich betrachte das aus einem ganz anderen Blickwinkel.
• 2:19
  SPEAKER_01: Und zwar: Ein Fachmodell kann bei sehr engen spezifischen Aufgaben eben genau durch solche Techniken in der Praxis glänzen.
• 2:28
  SPEAKER_01: Im Kanzleialltag geht es doch nicht um theoretische Benchmarks.
• 2:32
  SPEAKER_00: Nein, aber.
• 2:33
  SPEAKER_01: Es geht um funktionierende messbare Workflows.
• 2:37
  SPEAKER_01: Nimm diese Funktion Tabular Analysis in Co-Council.
• 2:41
  SPEAKER_01: Das System nimmt bis zu 10.000 Dokumente, liest sie nicht nur durch, sondern extrahiert strukturierte Datenpunkte in eine Tabelle.
• 2:50
  SPEAKER_00: 10.000 Dokumente automatisiert zu prüfen, das macht systematische Fehler am Ende des Tages doch nur skalierbarer.
• 2:57
  SPEAKER_00: Gerade für uns in Deutschland, Österreich und der Schweiz ist das extrem brisant.
• 3:02
  SPEAKER_00: Wer uns jetzt zuhört und in einer Kanzlei arbeitet, fragt sich sicher nach der Haftung, unter den Hochrisikoregeln des EUAI-Acts bleibt die Pflicht zur menschlichen Aufsicht ohnehin bei der Kanzlei.
• 3:13
  SPEAKER_01: Richtig.
• 3:14
  SPEAKER_01: Die Verantwortung lässt sich rechtlich gar nicht an Thomson Wurters abgeben.
• 3:18
  SPEAKER_01: Das zwingt die Kanzleien doch gerade dazu, diese verlinkten Quellen extrem genau zu prüfen.
• 3:24
  SPEAKER_00: Ja, aber wenn man der zugrunde liegenden Mechanik blind vertrauen muss, weil man sie nicht prüfen kann, ist das gefährlich.
• 3:31
  SPEAKER_00: Worauf stützt sich der Hersteller denn bei seiner eigenen Qualitätskontrolle?
• 3:35
  SPEAKER_00: Auf Fachexperten.
• 3:36
  SPEAKER_00: Auf eine interne Prüfung aus 53 selbst geschriebenen Rechtsfragen?
• 3:42
  SPEAKER_00: Und die wurden bewertet von KI-Richtern.
• 3:45
  SPEAKER_00: Oh wow.
• 3:46
  SPEAKER_00: Wirklich?
• 3:47
  SPEAKER_00: Ja.
• 3:49
  SPEAKER_00: Das ist vielleicht eine solide Entwicklungsmethodik, aber eben keine externe Abnahme.
• 3:55
  SPEAKER_00: Und was deine messbaren Prozesse da angeht, hast du eigentlich bedacht, wie Co-Council unter der Haube funktioniert?
• 4:02
  SPEAKER_01: Ja, es nutzt verschiedene.
• 4:04
  SPEAKER_00: Das System bleibt multimodell.
• 4:06
  SPEAKER_00: Das heißt, es nutzt einen internen Router.
• 4:08
  SPEAKER_01: Richtig.
• 4:09
  SPEAKER_00: Der Rat der Europäischen Anwaltschaften, der CCBE, warnt hier völlig zu Recht.
• 4:15
  SPEAKER_00: Wenn Wissen, Router und die Prüfspur im Produkt eingeschlossen bleiben, dann gefährdet diese Intransparenz einfach die berufliche Unabhängigkeit der Anwaltschaft.
• 4:26
  SPEAKER_01: Da, äh stimme ich dir absolut zu, was die technische Transparenz angeht.
• 4:31
  SPEAKER_01: Ein einfacher Quellenlink in einer Tabelle reicht als Beweis vor Gericht natürlich nicht aus.
• 4:36
  SPEAKER_01: Genau.
• 4:36
  SPEAKER_01: Wir brauchen einen vollständigen Audit Trail.
• 4:39
  SPEAKER_01: Das bedeutet, das System muss zwingend die exakte Modellversion, den unverfälschten Prompt, die verarbeiteten Dokumente und die finale menschliche Freigabe protokollieren.
• 4:49
  SPEAKER_01: Ohne diese Spur ist ein Fehler nachträglich nicht zu rekonstruieren.
• 4:54
  SPEAKER_01: Aber, und das ist mein Punkt, genau deshalb bleibe ich bei meinem Fazit.
• 4:58
  SPEAKER_01: Okay.
• 4:59
  SPEAKER_01: Ein begrenztes Ja zum Einsatz ist der richtige Weg.
• 5:03
  SPEAKER_01: Wenn wir harte, lokale Tests für unsere spezifischen Rechtslagen durchführen und auf einen echten Wechselfad bestehen.
• 5:11
  SPEAKER_01: Was meinst du mit Wechselpfad?
• 5:12
  SPEAKER_01: Also exportierbare Eingaben und Logs.
• 5:15
  SPEAKER_01: Dann machen wir dieses proprietäre System nämlich überprüfbar.
• 5:19
  SPEAKER_00: Ich komme da nach wie vor von der ganz anderen Seite und bleibe bei einem klaren Nein zum Produktionsstandard.
• 5:25
  SPEAKER_01: Okay.
• 5:26
  SPEAKER_00: Lokale Tests zeigen uns vielleicht eine momentale Eignung, aber nur eine völlig unabhängige Reproduktion beweis, dass das System wirklich verlässlich ist.
• 5:35
  SPEAKER_00: Also bei der ein externer Prüfer denselben Test mit gleichen Bedenkzeiten und völlig unberührten Datensätzen wiederholt.
• 5:42
  SPEAKER_00: Ja, das wäre natürlich ideal.
• 5:45
  SPEAKER_00: Diese externe Evidenz ist unerlässlich, bevor wir uns in unseren Kanzleien an ein solches Werkzeug überhaupt gewöhnen.
• 5:52
  SPEAKER_01: 40 Millionen Dollar Investitionen.
• 5:54
  SPEAKER_01: Wem vertraut ihr in der juristischen Praxis am Ende mehr?
• 5:58
  SPEAKER_01: Der besten allgemeinen KI ohne ein spezifisches Rechtsarchiv oder einem Fachverlag, der diese Millionensumme nutzt, um das rechtliche Wissen, das spezialisierte Modell und die Prüfmetrik zugleich unter einem Dach zu kontrollieren.
• 6:13
  SPEAKER_00: Wenn euch diese Debatte zum Nachdenken gebracht hat, abonniert KI Espresso.
• 6:17
  SPEAKER_00: Jeden Tag eine neue KI-Debatte in sechs Minuten.
• 6:20
  SPEAKER_01: Das war KI Espresso.