Latest / KI Espresso / Mistral Large 4: Wann lohnt sich KI ohne Spitzenplatz?

Transcript

Mistral Large 4: Wann lohnt sich KI ohne Spitzenplatz? · KI Espresso

• 0:00
  SPEAKER_00: Mistral hat am 6.
• 0:01
  SPEAKER_00: Oktober Large 4 als öffentliche Vorschau über seine Programmierschnittstelle freigegeben.
• 0:06
  SPEAKER_00: Mistral bietet das Modell für anspruchsvolle Aufgaben in Unternehmen an.
• 0:10
  SPEAKER_00: Die Modellgewichte zum eigenen Betrieb sollen erst Ende Oktober folgen.
• 0:13
  SPEAKER_00: Für Unternehmen stellt sich schon jetzt eine praktische Frage.
• 0:16
  SPEAKER_00: Lohnt sich diese europäische KI für die Arbeit mit Verträgen, obwohl sie im allgemeinen Modellvergleich hinter der Spitze liegt?
• 0:23
  SPEAKER_01: Wenn sie eine entscheidende Vertragsklausel übersieht, hilft mir ihre Herkunft wenig.
• 0:27
  SPEAKER_01: Was kann sie denn bei solchen Unterlagen tatsächlich?
• 0:30
  SPEAKER_00: Laut Dokumentation kann Large 4 Text und Bilder verarbeiten, Fragen zu Dokumenten beantworten und Werkzeuge aufrufen.
• 0:37
  SPEAKER_00: Mistral nennt für den eigenen Zugang ein Kontextfenster von einer Million Tokens, also Texteinheiten.
• 0:43
  SPEAKER_00: Das beschreibt, wie viel Material hineinpasst.
• 0:45
  SPEAKER_00: Ob das Modell darin die richtige Stelle findet und richtig versteht, müssen wir gesondert prüfen.
• 0:51
  SPEAKER_00: Ein Beispiel dafür liefert der Testanbieter Harvey.
• 0:54
  SPEAKER_00: In einer ausdrücklich erfundenen Aufgabe wird die Softwarefirma Crestview übernommen.
• 1:00
  SPEAKER_00: Der Agent soll die Vertragsunterlagen auf Klauseln zum Kontrollwechsel untersuchen.
• 1:04
  SPEAKER_00: Solche Klauseln regeln, was ein Eigentümerwechsel für die Rechte aus einem Vertrag bedeutet.
• 1:09
  SPEAKER_00: Die Aufgabe verlangt ein Arbeitsergebnis, das anschließend geprüft werden kann.
• 1:14
  SPEAKER_01: Was wäre dabei ein Fehler, den eine flüssig geschriebene Zusammenfassung verdecken könnte?
• 1:19
  SPEAKER_00: Angenommen, ein Vertrag verlangt bei einem Kontrollwechsel die Zustimmung der anderen Seite.
• 1:23
  SPEAKER_00: Dann müsste die Auswertung diese Bedingungen nennen und auf die passende Vertragsstelle verweisen.
• 1:28
  SPEAKER_00: Würde sie nur den Gegenstand und die Laufzeit zusammenfassen, fehlte dem Käufer ein Punkt, den er vor der Übernahme klären muss.
• 1:35
  SPEAKER_00: Das ist unsere vereinfachte Veranschaulichung der Testaufgabe, kein berichteter Fehler von Large 4.
• 1:40
  SPEAKER_01: Dann muss ich als Prüfer also bis zur Fundstelle zurückkommen können.
• 1:43
  SPEAKER_01: Eine überzeugende Formulierung allein würde mir bei dieser Entscheid nicht reichen.
• 1:47
  SPEAKER_00: Ja, und ein Modell, das Werkzeuge aufrufen kann, ist noch keine fertige Anwendung für diese Arbeit.
• 1:52
  SPEAKER_00: Jemand muss die Dokumente bereitstellen, erlaubte Zugriffe festlegen und die Ergebnisse zur Prüfung vorlegen.
• 1:58
  SPEAKER_00: Der Modelltest gibt einen Anhaltspunkt.
• 2:00
  SPEAKER_00: Der gesamte Ablauf in einer Kanzlei wäre damit noch nicht getestet.
• 2:03
  SPEAKER_00: In der Worse-Auswertung vom 7.
• 2:05
  SPEAKER_00: Oktober steht LART 4 beim Harvey-Test für juristische Agenten auf Platz 6 von 75.
• 2:11
  SPEAKER_00: Im allgemeinen WARS-Index ist es Platz 32 von 44.
• 2:16
  SPEAKER_00: Die Teilnehmerfelder sind verschieden, trotzdem ist der Unterschied ein Grund, genauer auf die Aufgaben zu schauen.
• 2:21
  SPEAKER_01: Das klingt nach einer Spezialisierung.
• 2:23
  SPEAKER_01: Könnte eine Kanzlei daraus wenigstens ableiten, dass die juristische Arbeit seine Stärke ist?
• 2:28
  SPEAKER_00: Soweit würde ich nicht gehen.
• 2:29
  SPEAKER_00: In derselben Karte liegt Large 4 beim Legal Research Bench auf Platz 38 von 74.
• 2:35
  SPEAKER_00: Unterlagen zu einem Vorgang zu bearbeiten und juristisch zu recherchieren, sind verschiedene Prüfungen.
• 2:40
  SPEAKER_00: Ein gutes Ergebnis in der einen überträgt sich nicht automatisch auf die andere.
• 2:43
  SPEAKER_00: Auch Platz 6 sagt uns nicht, wie oft bei echten Mandaten eine wichtige Klausel fehlt.
• 2:48
  SPEAKER_01: Für unsere Übernahme wäre der Agententest also ein Grund, Large 4 auszuprobieren.
• 2:53
  SPEAKER_01: Die Entscheidung über den Einsatz müsste an den Vertragsunterlagen hängen, die wir wirklich bearbeiten wollen.
• 2:58
  SPEAKER_00: Auch der breitere Vergleich ist nützlich.
• 3:00
  SPEAKER_00: Im Intelligence-Index von Artificial Analysis liegt Large 4 im Stand vom 7.
• 3:04
  SPEAKER_00: Oktober hinter dem chinesischen GLM 5.3 in der Einstellung Max und hinter OpenAI's GPT 6 Astra in der Einstellung Medium.
• 3:12
  SPEAKER_00: Das ist ein Vergleich dieser Varianten in diesen Test.
• 3:15
  SPEAKER_00: Ihre Einstellungen und Rechenbudgets sind nicht gleich.
• 3:18
  SPEAKER_00: Daraus folgt kein fester Qualitätsabstand bei unseren Verträgen.
• 3:21
  SPEAKER_01: Aber warum sollte ich dann Zeit in Mistral investieren?
• 3:24
  SPEAKER_01: Ich könnte mit den besser platzierten Modellen anfangen.
• 3:27
  SPEAKER_00: Das wäre vernünftig.
• 3:28
  SPEAKER_00: Ich würde Large 4 dazunehmen, wenn sein Ergebnis im passenden Test oder die gewünschte Betriebsform für die eigene Arbeit interessant ist.
• 3:34
  SPEAKER_00: Dann bekämen die Kandidaten dieselben freigegebenen Unterlagen und denselben Auftrag.
• 3:39
  SPEAKER_00: Eine fachlich geprüfte Referenz müsste vorher festhalten, welche Klauseln vorkommen.
• 3:43
  SPEAKER_00: Wir würden nach ausgelassenen Bedingungen suchen und erfassen, wie viel Nachprüfung jede Antwort verlangt.
• 3:49
  SPEAKER_00: Das ist ein Vorschlag für die Auswahl, kein Test, den wir bereits durchgeführt haben.
• 3:52
  SPEAKER_01: Und wenn Mistral mehr wichtige Stellen übersieht, wäre ein europäischer Standort kein Ausgleich dafür.
• 3:58
  SPEAKER_01: Über die Betriebsform würde ich erst entscheiden, wenn das Ergebnis für den vorgesehenen Zweck reicht.
• 4:03
  SPEAKER_01: Was müsste ich für so einen Versuch einplanen?
• 4:05
  SPEAKER_00: Mistralen regulär 1,36 Dollar pro Million Eingabetokens und 4 Dollar 18 Dollar pro Million Ausgabetokens.
• 4:13
  SPEAKER_00: Für die ersten zwei Wochen gilt die Hälfte.
• 4:16
  SPEAKER_00: Der befristete Einführungspreis gehört also nicht als dauerhafter Preis in die Kalkulation.
• 4:20
  SPEAKER_00: Für einen einzelnen Prüfauftrag kommt es außerdem darauf an, wie viel Text das System verarbeitet und erzeugt.
• 4:26
  SPEAKER_01: Die Rechnung für die Schnittstelle wäre dann nur ein Teil.
• 4:29
  SPEAKER_01: Wenn ich die Auswertung lange korrigieren muss, sehe ich das dort nicht.
• 4:33
  SPEAKER_00: Deshalb würde ich beim Vergleich die Kosten je fachlich brauchbarem Ergebnis betrachten.
• 4:37
  SPEAKER_00: Dazu gehört die Prüfung der Fundstellen.
• 4:39
  SPEAKER_00: Welche Lösung günstiger ausfällt, wissen wir ohne diesen Versuch nicht.
• 4:43
  SPEAKER_00: Aus dem niedrigen Preis einer Texteinheit allein würde ich keine Ersparnis für die Kanzlei ableiten.
• 4:48
  SPEAKER_01: Bleibt der eigene Betrieb.
• 4:50
  SPEAKER_01: Wenn Ende Oktober die Gewichte kommen, könnte die Kanzlei die Verträge dann auf ihren eigenen Servern verarbeiten?
• 4:56
  SPEAKER_00: Das ist eine mögliche Perspektive.
• 4:58
  SPEAKER_00: Aber dafür fehlen bei Large 4 noch die endgültigen Lizenzbedingungen und belastbare Angaben zum eigenen Betrieb.
• 5:04
  SPEAKER_00: Herunterladbare Gewichte entscheiden nicht allein, was kommerziell erlaubt ist.
• 5:09
  SPEAKER_00: Beim älteren Large 2 war für kommerziellen Eigenbetrieb eine separate Lizenz nötig.
• 5:14
  SPEAKER_00: Das ist ein historisches Beispiel, keine Aussage über die kommende Lizenz von Large 4.
• 5:19
  SPEAKER_01: Und europäische Infrastruktur wäre schon jetzt verfügbar, aber noch beim Anbieter?
• 5:23
  SPEAKER_00: Mistral sagt, es habe das Modell in eigenen europäischen Rechenzentren trainiert und betreibe dort auch die Vorschau.
• 5:29
  SPEAKER_00: Dafür nutzt es Hardware von Nvidia.
• 5:31
  SPEAKER_00: Der Standort ist eine konkrete Information.
• 5:34
  SPEAKER_00: Welche Kontrolle eine Kanzlei über die Verarbeitung ihrer Dokumente erhält, muss sie mit den Vertragsbedingungen und ihrem gewünschten Betrieb abgleichen.
• 5:42
  SPEAKER_00: Einen eigenen Serverbetrieb können wir heute weder zusagen noch seriös mit einem Hardwarepreis versehen.
• 5:47
  SPEAKER_01: Für die Übernahmeprüfung hätte ich damit zwei noch offene Fragen.
• 5:51
  SPEAKER_01: Findet Large 4 die entscheidenden Bedingungen zuverlässig genug und lässt es sich so betreiben, wie wir es für diese Unterlagen brauchen?
• 6:00
  SPEAKER_00: Die erste lässt sich mit der API Vorschau untersuchen.
• 6:03
  SPEAKER_00: Für den Eigenbetrieb müssen wir die Veröffentlichung abwarten.
• 6:06
  SPEAKER_00: Ich würde Large 4 für unsere Vertragsaufgabe in den Vergleich nehmen und die Fundstellen prüfen lassen.
• 6:11
  SPEAKER_00: Über einen Einsatz entscheidet dann dieses Ergebnis zusammen mit den Betriebsbedingungen.
• 6:15
  SPEAKER_00: Der sechste Platz ist ein Anlass für den Versuch.
• 6:18
  SPEAKER_00: Die Zustimmungsklausel muss es trotzdem finden.