Latest / KI Espresso / ChatGPT-Wasserzeichen: Was die neue Textmarkierung wirklich beweist

Transcript

ChatGPT-Wasserzeichen: Was die neue Textmarkierung wirklich beweist · KI Espresso

• 0:00
  SPEAKER_00: OpenAI will in den kommenden Wochen geeignete Textantworten von ChatGPT und Codex in der EU unsichtbar markieren.
• 0:06
  SPEAKER_00: Das hat die Firma am 5.
• 0:07
  SPEAKER_00: Oktober angekündigt.
• 0:09
  SPEAKER_00: Wer einen solchen Text prüft, könnte künftig einen Hinweis auf die Beteiligung des Systems bekommen.
• 0:14
  SPEAKER_00: Bei einer Bewerbung oder einer Seminararbeit wäre damit aber noch offen, was der Mensch selbst geleistet hat.
• 0:20
  SPEAKER_00: Was beweist dieses Wasserzeichen, bevor jemand daraus einen Vorwurf macht?
• 0:24
  SPEAKER_01: Nehmen wir eine Studentin, die ihren Aufsatz selbst geschrieben hat und nur die Grammatik korrigieren lässt.
• 0:29
  SPEAKER_01: Wenn ein Prüfer später eine Markierung findet, müsste sie erklären können, welche Hilfe sie genutzt hat.
• 0:34
  SPEAKER_01: Der Treffer erzählt diese Geschichte ja nicht.
• 0:37
  SPEAKER_00: Genau.
• 0:38
  SPEAKER_00: Und zunächst steht nicht einmal ein öffentlicher Textprüfer für alle bereit.
• 0:41
  SPEAKER_00: OpenAI lässt vorerst zugelassene Forscher und Fachorganisationen auf Antrag an den Detektor.
• 0:46
  SPEAKER_00: Die angekündigte Einführung betrifft die EU.
• 0:49
  SPEAKER_00: Bei der Programmierschnittstelle können Kunden weltweit die Markierung für ausgewählte Modelle einschalten.
• 0:54
  SPEAKER_00: Dort bleibt sie standardmäßig aus.
• 0:55
  SPEAKER_00: Das Verfahren heißt TextGrein.
• 0:58
  SPEAKER_00: Es legt ein statistisches Muster in die Wortwahl, während das Modell schreibt.
• 1:02
  SPEAKER_00: Der Detektor sucht dieses Muster mit Hilfe eines geheimen Schlüssels.
• 1:05
  SPEAKER_00: Man würde es also nicht finden, indem man versteckte Zeichen im Dokument einblendet.
• 1:10
  SPEAKER_00: Entscheidend ist, welche Wörter das Modell aus seinen Möglichkeiten auswählt.
• 1:14
  SPEAKER_01: Bei älteren KI-Detektoren wurde ein fertiger Text nachträglich beurteilt.
• 1:19
  SPEAKER_01: OpenAI hat einen eigenen solchen Klassifikator im Juli 2023 wegen geringer Genauigkeit abgeschaltet.
• 1:25
  SPEAKER_01: Daraus folgt für dieses neue, eingebaute Signal noch keine Fehlerquote.
• 1:29
  SPEAKER_00: Richtig.
• 1:30
  SPEAKER_00: Google hat schon 2024 eine eingebaute Textmarkierung mit Synth-ID für Gemini angekündigt.
• 1:36
  SPEAKER_00: Dieser Ansatz hat also eine Vorgeschichte.
• 1:38
  SPEAKER_00: Ein brauchbarer Herkunftshinweis wäre durchaus nützlich.
• 1:41
  SPEAKER_00: Man müsste sich weniger darauf verlassen, ob ein Text irgendwie nach Chatbot klingt.
• 1:45
  SPEAKER_00: Wie zuverlässig das in einem konkreten Dokument funktioniert, bleibt trotzdem zu prüfen.
• 1:50
  SPEAKER_01: Und selbst ein richtiger Treffer verrät weder das Konto noch den Prompt.
• 1:54
  SPEAKER_01: Er sagt auch nicht, welcher Anteil menschlicher Arbeit war.
• 1:56
  SPEAKER_01: Das wäre für unsere Studentin aber genau die entscheidende Frage.
• 2:00
  SPEAKER_01: Wie schnell eine Zahl zum Verdacht werden kann, beschäftigte die Vanderbilt University in den USA.
• 2:05
  SPEAKER_01: Im August 2023 erklärte sie, den KI-Detektor von Turnitin abzuschalten.
• 2:12
  SPEAKER_01: Zuvor hatte sie ihn monatelang geprüft und sich beraten.
• 2:15
  SPEAKER_01: Sie nannte fehlende Transparenz, mögliche Fehlalarme und Datenschutzprobleme.
• 2:20
  SPEAKER_01: Die Plagiatsprüfung insgesamt wurde damit nicht abgeschaltet.
• 2:23
  SPEAKER_00: Die Universität rechnete mit 75.000 eingereichten Arbeiten aus dem Jahr davor.
• 2:30
  SPEAKER_00: Bei der vom Anbieter genannten Fehlalarmrate von einem Prozent ergeben sich rechnerisch 750 mögliche Fehler.
• 2:38
  SPEAKER_00: Diese Zahl war eine Warnung vor dem Risiko.
• 2:41
  SPEAKER_00: Sie war keine Liste von 750 bestraften Studierenden und auch keine Messung der tatsächlichen Fehler an dieser Universität.
• 2:49
  SPEAKER_01: Wenderbild empfahlt stattdessen klare Regeln zur KI-Nutzung, Angaben zur verwendeten Hilfe und Gespräche mit den Studierenden.
• 2:56
  SPEAKER_01: Für ein Wasserzeichen können andere Fehlerwerte gelten.
• 2:59
  SPEAKER_01: Die Hochschule müsste aber immer noch entscheiden, was sie mit einem Treffer anfängt.
• 3:03
  SPEAKER_00: Auch bei TextGrain taucht 1% als angestrebte Fehlalarmrate auf.
• 3:08
  SPEAKER_00: Das beschreibt Treffer bei Texten ohne Wasserzeichen unter den jeweiligen Testbedingungen.
• 3:13
  SPEAKER_00: Es bedeutet nicht, dass jemand nach einem Treffer mit 99% Wahrscheinlichkeit betrogen hat.
• 3:18
  SPEAKER_00: Dafür müsste man unter anderem wissen, wie häufig markierte Texte überhaupt vorkommen.
• 3:22
  SPEAKER_00: Und ein korrekt erkanntes Wasserzeichen würde noch keinen Regelverstoß nachweisen.
• 3:28
  SPEAKER_01: Gehen wir zurück zu dem selbstgeschriebenen Aufsatz.
• 3:31
  SPEAKER_01: Bei einem Buch helfen schließlich auch Lektorat und Korrektorat.
• 3:34
  SPEAKER_01: Der Name auf dem Umschlag muss deshalb nicht verschwinden.
• 3:37
  SPEAKER_01: Warum sollte die Hilfe eines Programms automatisch das eigene Urheberrecht beseitigen?
• 3:43
  SPEAKER_00: Das tut sie nicht automatisch.
• 3:45
  SPEAKER_00: Das US Copyright Office hält ausdrücklich fest, dass KI als Hilfsmittel den Schutz menschlicher Werke nicht ausschließt.
• 3:52
  SPEAKER_00: Im deutschen Urheberrecht kommt es auf eine persönliche geistige Schöpfung an.
• 3:57
  SPEAKER_00: Die einschlägigen Regeln enthalten keine feste KI-Prozent-Grenze, ab der ein Text der Maschine gehören würde.
• 4:03
  SPEAKER_00: Man muss die konkreten schöpferischen Beiträge ansehen.
• 4:06
  SPEAKER_01: Dann macht es einen Unterschied, ob ich einen ausformulierten eigenen Text zur Korrektur gebe oder nur meine Ideen hinschreibe und die Maschine alles formulieren lasse.
• 4:15
  SPEAKER_00: Ja.
• 4:16
  SPEAKER_00: Das US Copyright Office unterscheidet zwischen bloßen Ideen im Auftrag und menschlichem Ausdruck, der im Ergebnis erhalten bleibt.
• 4:23
  SPEAKER_00: Auch eigene Auswahl, Anordnung und Überarbeitung können zählen.
• 4:27
  SPEAKER_00: Ein konkreter Fall war der Comic Zarya of the Dawn.
• 4:30
  SPEAKER_00: 2023 bestätigte die Behörde Schutz für den menschlichen Text und die Auswahl und Anordnung, nahm aber die mit Midjourney erzeugten Bilder aus der Registrierung heraus.
• 4:40
  SPEAKER_00: Das war eine amerikanische Entscheidung über einen Comic.
• 4:42
  SPEAKER_00: Sie zeigt, warum man die Bestandteile betrachten muss.
• 4:45
  SPEAKER_01: Und die Buchanalogie hat eine Grenze.
• 4:48
  SPEAKER_01: Ein menschlicher Lektor kann selbst einen schöpferischen Beitrag leisten und mit Urheber sein.
• 4:53
  SPEAKER_01: Die Berufsbezeichnung allein entscheidet das nicht.
• 4:56
  SPEAKER_01: Genauso wenig folgt aus fehlenden Rechten einer KI, dass nun automatisch jedes von ihr geschriebene Wort für den Auftraggeber geschützt ist.
• 5:04
  SPEAKER_00: Nehmen wir die eigene fertige Analyse, zu der ein Modell noch Quellen links ergänzt.
• 5:09
  SPEAKER_00: Dieser Schritt allein überträgt keine Autorschaft.
• 5:12
  SPEAKER_00: Ich würde aber prüfen, ob es wirklich nur links ergänzt hat oder dabei neue Behauptungen und fremde Textstellen eingefügt wurden.
• 5:18
  SPEAKER_00: Die Quellen müsste ich ohnehin öffnen und kontrollieren.
• 5:21
  SPEAKER_01: Der schwierigere Fall wäre, ich gebe ihm die ausgearbeitete Analyse einer anderen Person und lasse sie umschreiben.
• 5:28
  SPEAKER_01: Da könnten alle Sätze anders klingen, obwohl ich die Vorlage weiterhin verwende.
• 5:33
  SPEAKER_00: Im deutschen Recht kann die Veröffentlichung einer Bearbeitung die Zustimmung des Rechteinhabers erfordern.
• 5:38
  SPEAKER_00: Entscheidend sind unter anderem der Abstand zum benutzten Werk und mögliche Ausnahmen.
• 5:43
  SPEAKER_00: Eine bestimmte Zahl ersetzter Wörter schafft keine sichere Grenze.
• 5:47
  SPEAKER_00: Auch eine Quellenangabe allein erlaubt nicht jede Bearbeitung.
• 5:50
  SPEAKER_00: Dieselben Tatsachen in eigenen Worten darzustellen, ist allerdings nicht pauschal verboten.
• 5:55
  SPEAKER_01: Für den Prüfer wäre deshalb eine frühere Fassung hilfreich.
• 5:58
  SPEAKER_01: Was stand schon da, bevor das Werkzeug benutzt wurde?
• 6:01
  SPEAKER_01: Beim Aufsatz könnte die Studentin ihre eigenen Formulierungen und die anschließenden Korrekturen zeigen.
• 6:07
  SPEAKER_01: Ob diese Hilfe zulässig war, hängt dann auch von den Regeln der Aufgabe ab.
• 6:11
  SPEAKER_01: Ein Herkunftssignal kann diese Prüfung höchstens anstoßen.
• 6:15
  SPEAKER_01: Gerade solche Änderungen können die Markierung schwächen.
• 6:18
  SPEAKER_01: Dann könnte der überarbeitete Text bei der Kontrolle unauffällig sein, obwohl das Modell daran beteiligt war.
• 6:25
  SPEAKER_00: OpenAI hat dazu einen Test veröffentlicht.
• 6:27
  SPEAKER_00: Bei englischen Passag mit 400 Tokens, also Texteinheiten, wurden zunächst etwa 92% der Wasserzeichen erkannt.
• 6:34
  SPEAKER_00: Ersetzte man 10% der Wörter durch Synonyme, sank die Erkennung auf 66%.
• 6:40
  SPEAKER_00: Das ist eine Auswertung des Anbieters unter diesen Testbedingungen.
• 6:43
  SPEAKER_00: Daraus lässt sich keine feste Erfolgsquote für eine deutsche Seminararbeit ableiten.
• 6:48
  SPEAKER_01: OpenAI hat auch mehrere EU-Sprachen getestet, darunter Deutsch.
• 6:52
  SPEAKER_01: Der deutsche Text in dieser Untersuchung ist aber noch nicht der Aufsatz, der bei einem Prüfer auf dem Tisch liegt.
• 6:58
  SPEAKER_01: Länge, Wortwahl und Bearbeitung müssen dazu passen.
• 7:02
  SPEAKER_00: Auch Übersetzungen können die Erkennung erschweren.
• 7:04
  SPEAKER_00: Dazu kommen Texte aus anderen Modellen oder aus der Zeit vor der Markierung.
• 7:08
  SPEAKER_00: Ein ausbleibender Treffer beweist deshalb keine menschliche Herkunft.
• 7:12
  SPEAKER_00: Für unsere Studentin wäre es verkehrt, die Entwürfe durch einen zweiten Detektortest ersetzen zu wollen.
• 7:17
  SPEAKER_00: Der Arbeitsverlauf beantwortet eine andere Frage als die Suche nach einem statistischen Muster.
• 7:22
  SPEAKER_01: Wenn eine Grammatikprüfung so wenig über Autorschaft sagt, muss der Anbieter solche Hilfe nach dem EU-Recht überhaupt markieren?
• 7:29
  SPEAKER_00: Artikel 50 des AI-Act enthält bei der Pflicht des Anbieters eine Ausnahme für gewöhnliche, unterstützende Bearbeitung oder wenn Eingabe und Bedeutung nicht wesentlich verändert werden.
• 7:40
  SPEAKER_00: Das ist eine Regel zur technischen Kennzeichnung.
• 7:43
  SPEAKER_00: Sie garantiert nicht, wie ein bestimmtes Produkt mit jedem Auftrag umgeht und entscheidet nicht über das Urheberrecht.
• 7:49
  SPEAKER_00: OpenAI nennt die europäischen Transparenzpflichten als Grund für die Einführung.
• 7:53
  SPEAKER_01: Und wenn ich einen KI-Text zu einem Thema von öffentlichem Interesse veröffentliche, kommt eine andere Pflicht hinzu.
• 8:00
  SPEAKER_01: Artikel 50 sieht dafür eine Offenlegung vor.
• 8:03
  SPEAKER_01: Er nennt aber auch eine Ausnahme bei menschlicher Prüfung oder redaktioneller Kontrolle, wenn eine Person oder Organisation die Verantwortung für die Veröffentlichung trägt.
• 8:12
  SPEAKER_01: Diese Ausnahme beseitigt nicht einfach die technische Kennzeichnungspflicht des Anbieters.
• 8:16
  SPEAKER_00: Für eine Hochschule wäre mein Vorschlag deshalb, erst klären, welche Hilfe bei dieser Aufgabe erlaubt war.
• 8:23
  SPEAKER_00: Bei einem Verdacht den konkreten Text und, soweit vorhanden, die Entwürfe mit der betroffenen Person besprechen.
• 8:29
  SPEAKER_00: Wer mit einem Detektor argumentiert, sollte außerdem erklären können, was er geprüft hat und welche Grenzen der Test hat.
• 8:36
  SPEAKER_00: Vanderbilt hatte schon damals Regeln und Gespräche empfohlen.
• 8:39
  SPEAKER_00: Ein neues Messverfahren nimmt den Verantwortlichen diese Entscheidung nicht ab.
• 8:43
  SPEAKER_01: Dafür müsste auch die betroffene Person einen Befund nachvollziehen und ihm widersprechen können.
• 8:48
  SPEAKER_01: Wie das mit dem vorerst begrenzten Zugang zum Text-Grain-Detektor in einer Hochschule funktionieren soll, ist noch offen.
• 8:54
  SPEAKER_01: Bevor aus einem Treffer eine Sanktion wird, braucht sie eine Antwort darauf.