Latest / KI Espresso / KI-Zusammenfassung ohne Unfall: Wer bemerkt, was fehlt?

Transcript

KI-Zusammenfassung ohne Unfall: Wer bemerkt, was fehlt? · KI Espresso

• 0:00
  SPEAKER_01: Ein Auto fährt einen Fußgänger an.
• 0:01
  SPEAKER_01: 20 KI-Zusammenfassungen von zwei kurzen animierten Videos.
• 0:05
  SPEAKER_01: In 19 fehlt der Zusammenstoß.
• 0:07
  SPEAKER_01: Wer nur den Text liest, verpasst den Unfall.
• 0:09
  SPEAKER_00: Zum Suchen würde ich die KI trotzdem nehmen.
• 0:12
  SPEAKER_00: Vor einer Veröffentlichung sehe ich das ganze Video.
• 0:14
  SPEAKER_00: Aber halt, zwei animierte Videos sind keine Fehlerquote für alle KI-Zusammenfassungen.
• 0:19
  SPEAKER_01: Und wenn du zuerst den Text liest, suchst du im Video nach dem, was darin steht.
• 0:23
  SPEAKER_01: Den ausgelassenen Unfall musst du selbst entdecken.
• 0:26
  SPEAKER_00: Stimmt.
• 0:27
  SPEAKER_00: Deshalb prüfe ich die ganze Aufnahme.
• 0:29
  SPEAKER_00: Die KI spart mir Zeit bei der Suche, aber sie darf die Entscheidung nicht für mich treffen.
• 0:33
  SPEAKER_01: Sie hat dir trotzdem schon eine erste Version des Geschehens geliefert, bevor du selber hinsiehst.
• 0:37
  SPEAKER_00: Ja, das kann mich lenken, aber meine Erinnerung ist auch kein Rohmaterial, dem ich blind vertrauen würde.
• 0:43
  SPEAKER_01: Genau darum geht es in der zweiten Hälfte der Studie.
• 0:46
  SPEAKER_01: Menschen sahen eines dieser Videos selbst.
• 0:49
  SPEAKER_01: Ein bis zwei Tage später lasen sie einen Text darüber.
• 0:52
  SPEAKER_01: Mit dem richtigen Verkehrsschild im Text erinnerten sich 83,6% richtig.
• 0:56
  SPEAKER_01: Mit dem falschen waren es 44,8 Prozent.
• 1:00
  SPEAKER_00: Das falsche Schild haben die Forschenden absichtlich in den Text gesetzt.
• 1:03
  SPEAKER_00: Die Zahl sagt uns, wie Menschen auf diesen Fehler reagieren.
• 1:06
  SPEAKER_00: Sie sagten nicht, wie oft die KI selbst so einen Fehler macht.
• 1:09
  SPEAKER_01: Behaupte ich nicht.
• 1:10
  SPEAKER_01: Mich stört der Ablauf.
• 1:11
  SPEAKER_01: Erst erleben, dann einen fertigen Text lesen, dann aus der Erinnerung antworten.
• 1:15
  SPEAKER_01: Der Text kann längst mitreden.
• 1:17
  SPEAKER_00: Das kann auch ein Mensch.
• 1:18
  SPEAKER_00: Der alte Versuch mit dem Verkehrsschild stammt aus der Gedächtnisforschung der 70er Jahre.
• 1:22
  SPEAKER_00: Und in der neuen Studie änderte das Etikett von KI oder von einem Menschen die Trefferquote nicht nachweisbar.
• 1:29
  SPEAKER_00: Alle lasen tatsächlich einen Chat-GPT-Text.
• 1:31
  SPEAKER_01: Stimmt, die KI hat den Effekt nicht erfunden.
• 1:34
  SPEAKER_01: Aber sie kann den ersten Bericht liefern, noch ehe jemand seine eigene Version festgehalten hat.
• 1:40
  SPEAKER_00: Bei einem Polizeibericht wäre das ein ernstes Problem.
• 1:43
  SPEAKER_00: Für einen belanglosen Clip würde ich trotzdem anders arbeiten.
• 1:46
  SPEAKER_01: Dann lass uns über Polizeiberichte reden.
• 1:48
  SPEAKER_01: In Utah testete eine Dienststelle Exons Draft One.
• 1:52
  SPEAKER_01: Eine Kamera nahm im Hintergrund Küstin Frosch auf.
• 1:56
  SPEAKER_01: Im KI-Entwurf verwandelte sich daraufhin ein Beamter in einen Frosch.
• 2:01
  SPEAKER_00: Den Frosch streicht jeder Beamte raus.
• 2:03
  SPEAKER_00: Das ist eher ein Argument für die Prüfung, die Exxon ohnehin verlangt.
• 2:07
  SPEAKER_01: Ja, den Frosch findest du sofort.
• 2:09
  SPEAKER_01: In den Unfallvideos war es anders.
• 2:11
  SPEAKER_01: Die Zusammenfassungen ließen den Zusammenstoß einfach weg.
• 2:16
  SPEAKER_01: Wie findest du so eine Lücke?
• 2:18
  SPEAKER_00: Du prüfst nicht nur die Sätze im Entwurf.
• 2:20
  SPEAKER_00: Du gehst die Aufnahme durch.
• 2:22
  SPEAKER_00: Exxon erstellt den Entwurf aus dem Audiotranskript der Kamera und Angaben des Beamten.
• 2:27
  SPEAKER_00: Was nur im Bild zu sehen ist, kann trotzdem fehlen.
• 2:30
  SPEAKER_00: Ein Beamter muss den Entwurf bearbeiten und freigeben.
• 2:33
  SPEAKER_01: Nur hat er vor dem Lesen schon notiert, was er selbst gesehen hat?
• 2:38
  SPEAKER_00: Du willst erst den eigenen Bericht, dann das Video und zuletzt den KI-Text.
• 2:43
  SPEAKER_00: Das kostet Zeit.
• 2:44
  SPEAKER_00: Und wir wissen nicht, ob diese Reihenfolge mit KI die besten Berichte liefert.
• 2:48
  SPEAKER_01: Nein, kein ganzer Bericht.
• 2:50
  SPEAKER_01: Mir reicht eine kurze Notiz.
• 2:52
  SPEAKER_01: Für KI ist dieser Ablauf nicht getestet.
• 2:55
  SPEAKER_01: In einer Übung mit 102 Polizisten ohne KI wurden Berichte nach Sichtung der Kameraaufnahme etwas besser.
• 3:02
  SPEAKER_01: Zwischen den Gruppen fanden die Forschenden bei den Endberichten keinen nachweisbaren Unterschied.
• 3:07
  SPEAKER_00: Gut, dein Vorschlag hat trotzdem einen Sinn.
• 3:10
  SPEAKER_00: Man kann später auseinanderhalten, was jemand aus eigener Erinnerung notierte und was aus der Aufnahme kam.
• 3:15
  SPEAKER_00: Aber die erste Notiz kann auch falsch sein.
• 3:17
  SPEAKER_00: Das Video darf sie korrigieren.
• 3:19
  SPEAKER_01: Und der erste KI-Entwurf muss erhalten bleiben.
• 3:22
  SPEAKER_01: Sonst sehen wir am Ende nur einen glatten Bericht und wissen nicht, woher ein Satz kam.
• 3:26
  SPEAKER_00: In Kalifornien müssen Polizeibehörden diesen ersten Entwurf inzwischen aufheben, wenn KI am offiziellen Bericht beteiligt war.
• 3:33
  SPEAKER_00: Der Bericht muss den KI-Einsatz ausweisen und vom Beamten unterschrieben sein.
• 3:37
  SPEAKER_00: Das Prüfprotokoll muss die verwendete Aufnahme nennen.
• 3:40
  SPEAKER_00: Das erleichtert die Kontrolle.
• 3:42
  SPEAKER_00: Es holt aber keine Erinnerung zurück, die nie unabhängig notiert wurde.
• 3:45
  SPEAKER_01: Bei einem Studio wäre die kleinere Version: einer nutzt die KI, um Material zu durchsuchen.
• 3:51
  SPEAKER_01: Ein anderer sieht die ganze Aufnahme und markiert, was die Zusammenfassung ausgelassen hat.
• 3:56
  SPEAKER_01: Ob das den Aufwand wert ist, müssten wir testen.
• 3:58
  SPEAKER_00: Für mich ist die Grenze klarer.
• 4:00
  SPEAKER_00: Bei der Suche darf die KI zuerst sprechen.
• 4:02
  SPEAKER_00: Bei einer Aussage mit Folgen brauche ich die Aufnahme und einen nachvollziehbaren Weg zum fertigen Satz.
• 4:08
  SPEAKER_01: Und ich will vor dem ersten KI-Satz wenigstens eine eigene Notiz, wenn ich dabei war.
• 4:13
  SPEAKER_01: Danach darf mir die Technik widersprechen.
• 4:15
  SPEAKER_00: Was würdet ihr tun, wenn ihr ein wichtiges Gespräch selbst erlebt habt?
• 4:18
  SPEAKER_00: Erst eure Erinnerung aufschreiben oder sofort die KI-Zusammenfassung lesen?
• 4:22
  SPEAKER_00: Und was müsste sich ändern, wenn daraus ein öffentlicher Bericht wird?