Latest / Marketing-Automatisierung 2026 / Synthetisches Abfragetesten: Assistenten sondieren, um Zitierregeln zu rekonstruieren

Transcript

Synthetisches Abfragetesten: Assistenten sondieren, um Zitierregeln zu rekonstruieren · Marketing-Automatisierung 2026

• 0:00
  SPEAKER_00: Einleitung.
• 0:01
  SPEAKER_00: Moderne KI-Assistenten, Chatbots wie Chat-GPT oder BingChat versuchen oft Benutzerfragen zu beantworten und ihre Arbeit durch das Zitieren von Quellen zu belegen.
• 0:12
  SPEAKER_00: Studien zeigen jedoch, dass viele Antworten fehlerhafte oder fehlende Zitate aufweisen.
• 0:18
  SPEAKER_00: Zum Beispiel fanden Forscher der Stanford University heraus, dass etwa die Hälfte der KI-Chat-Antworten unbelegte Aussagen oder falsche Zitate enthielt.
• 0:29
  SPEAKER_00: Bei medizinischen Tests gaben neue KI-Tools oft Antworten, die nicht durch die von Ihnen zitierten Quellen belegt waren.
• 0:36
  SPEAKER_00: Diese Probleme bedeuten, dass wir bessere Methoden benötigen, um das Zitierverhalten von KI-Assistenten zu testen.
• 0:44
  SPEAKER_00: Um zu verstehen, wie eine KI auswählt, was zitiert werden soll, schlagen wir einen groß angelegten Testplan vor.
• 0:52
  SPEAKER_00: Wir werden viele synthetische Abfragen, erfundene Fragen erstellen, die verschiedene Themenbereiche und Fragetypen abdecken.
• 1:00
  SPEAKER_00: Diese werden wir automatisch durch KI-Assistenten laufen lassen, deren Antworten und Zitate sammeln und jede zitierte Quelle nach ihrer Aktualität, wie neu, Autorität wie vertrauenswürdig und Struktur, Typ oder Format kennzeichnen.
• 1:16
  SPEAKER_00: Anschließend verwenden wir einfache Statistiken, um zu sehen, welche Faktoren die Wahrscheinlichkeit erhöhen, dass eine KI eine Quelle zitiert.
• 1:25
  SPEAKER_00: Wir werden all unsere Daten und Tools offen teilen.
• 1:28
  SPEAKER_00: Auf diese Weise können wir Verbesserungen im Crowdsourcing vornehmen und das Zitierverhalten von KI-Assistenten kontinuierlich überwachen.
• 1:37
  SPEAKER_00: Entwurf eines Benchmarks für synthetische Abfragen.
• 1:40
  SPEAKER_00: Um Zitierregeln in der KI zu testen, werden wir einen synthetischen Abfragesatz verwenden.
• 1:45
  SPEAKER_00: Das bedeutet, dass wir eine große Anzahl von Beispielfragen, Prompts, mit Hilfe von Computern generieren, anstatt nur echte Benutzeranfragen zu sammeln.
• 1:55
  SPEAKER_00: Die Verwendung synthetischer Prompts ist in der Forschung üblich.
• 1:59
  SPEAKER_00: Zum Beispiel haben Google-Forscher KI-Systeme verwendet, um Fragen zu generieren, wenn Daten schwer zu sammeln sind.
• 2:06
  SPEAKER_00: Eine andere Studie zeigte, dass KI-generierte Frage-Antwort-Daten in einigen Szenarien ein guter Ersatz für echte Testdaten sein können.
• 2:16
  SPEAKER_00: Unsere Abfragen werden viele Themenbereiche, Verticals und Benutzerziele umfassen.
• 2:21
  SPEAKER_00: Wir wählen eine breite Palette von Themen wie Wissenschaft, Geschichte, Gesundheit, Finanzen und alltägliche Aufgaben.
• 2:29
  SPEAKER_00: Innerhalb jedes Themas decken wir verschiedene Intentionen ab, den Zweck der Frage.
• 2:35
  SPEAKER_00: Zum Beispiel werden einige Abfragen saktischer Natur sein, wie Was ist der größte Planet in unserem Sonnensystem?
• 2:42
  SPEAKER_00: Einige werden nach Anleitungen fragen, wie Wie wechsle ich einen Autoreifen?
• 2:47
  SPEAKER_00: Einige nach offenem Rat, wie Was sollte ich bei der Bewerbung für ein Studium beachten?
• 2:52
  SPEAKER_00: Und so weiter.
• 2:54
  SPEAKER_00: Durch die Mischung von informellen, faktischen, argumentativen und sozialen Fragetypen stellen wir sicher, dass unser Test viele reale Anwendungsfälle abdeckt.
• 3:04
  SPEAKER_00: Wir könnten große Sprachmodelle selbst nutzen, um diesen Abfragesatz zu generieren.
• 3:09
  SPEAKER_00: Für jedes Thema und jede Intention kann eine KI viele Fragen produzieren.
• 3:15
  SPEAKER_00: Wir können diese dann überprüfen und filtern.
• 3:19
  SPEAKER_00: Der endgültige Satz könnte tausende von Fragen enthalten, um uns eine gute statistische Aussagekraft zu geben.
• 3:27
  SPEAKER_00: Tests durchführen und Zitate erfassen.
• 3:30
  SPEAKER_00: Sobald wir unseren Abfragesatz haben, automatisieren wir die Tests.
• 3:35
  SPEAKER_00: Ein Skript oder Programm sendet jede synthetische Frage an dem KI-Assistenten über eine API oder Schnittstelle und speichert die Antwort.
• 3:44
  SPEAKER_00: Für jede Antwort analysieren und extrahieren wir alle zitierten Quellen.
• 3:49
  SPEAKER_00: KI-Assistenten liefern Referenzen oft als Links, Fußnoten oder eingebettete Zitate.
• 3:55
  SPEAKER_00: Sie erfassen jede Quelle, zum Beispiel einen Weblink oder einen Artikeltitel, zusammen mit der Frage und der Antwort.
• 4:03
  SPEAKER_00: Diese Automatisierung ermöglicht es uns, Daten in großem Umfang zu sammeln.
• 4:08
  SPEAKER_00: Anstatt jede Frage manuell zu stellen, kann das Skript alle Hunderte oder Tausende von Abfragen in einem Stapel durchlaufen.
• 4:16
  SPEAKER_00: Wir könnten dies für ein oder mehrere KI-Systeme tun.
• 4:20
  SPEAKER_00: Die Ausgabe ist ein Datensatz von Frage, Antwort, zitierte Quellen.
• 4:25
  SPEAKER_00: Wir vermerken auch, wie oft Quellen zitiert werden und in welchem Format.
• 4:30
  SPEAKER_00: Kennzeichnung von Quellenattributen Nach dem Sammeln der Zitate kennzeichnen wir jede Quelle nach ihren Schlüsselattributen.
• 4:37
  SPEAKER_00: Diese Attribute helfen uns zu testen, was eine Quelle wahrscheinlich zitierwürdig macht.
• 4:43
  SPEAKER_00: Die Hauptattribute sind Aktualität.
• 4:46
  SPEAKER_00: Wie neu oder aktuell ist die Quelle?
• 4:48
  SPEAKER_00: Zum Beispiel ist ein Nachrichtenartikel von letzter Woche sehr aktuell, während ein Lehrbuch von vor 20 Jahren das nicht ist.
• 4:56
  SPEAKER_00: Aktualität ist wichtig, da neuere Informationen relevanter sein könnten.
• 5:01
  SPEAKER_00: Frühere Benchmarks haben die Aktualität als Qualitätssignal für Zitate gemessen.
• 5:07
  SPEAKER_00: Autorität.
• 5:08
  SPEAKER_00: Wie vertrauenswürdig oder maßgeblich ist die Quelle?
• 5:12
  SPEAKER_00: Dies könnte davon abhängen, wer sie veröffentlicht hat.
• 5:15
  SPEAKER_00: Zum Beispiel hat eine Universitätsstudie oder eine Regierungswebsite in der Regel eine hohe Autorität, während ein unbekannter Blog eine geringe Autorität haben kann.
• 5:25
  SPEAKER_00: SourceBench, eine aktuelle Studie, listete Autorität als wichtiges seitenweites Qualitätssignal auf.
• 5:32
  SPEAKER_00: Struktur.
• 5:34
  SPEAKER_00: Welchen Typ oder welches Format hat die Quelle?
• 5:37
  SPEAKER_00: Eine Quelle könnte beispielsweise ein Forschungsartikel, ein Nachrichtenartikel, ein Online-Forum-Beitrag oder ein offizieller Bericht sein.
• 5:45
  SPEAKER_00: Die Struktur könnte beeinflussen, wie eine KI sie verwendet.
• 5:49
  SPEAKER_00: Auch wenn unser Prompt keine spezifischen Beispiele für die Struktur liefert, definieren wir sie als den Dokumenttyp oder die Klarheit der Formulierung.
• 5:58
  SPEAKER_00: SourceBench erwähnte auch Klarheit als Signal, was damit zusammenhängt.
• 6:04
  SPEAKER_00: Wir können diese Attribute durch automatisierte Prüfungen oder durch Nachschlagen der Quelle annotieren.
• 6:10
  SPEAKER_00: Für die Aktualität könnten wir das Veröffentlichungsdatum erfassen.
• 6:14
  SPEAKER_00: Für die Autorität könnten wir bekannte Listen seriöser Domains oder die Beschreibung der Website verwenden.
• 6:21
  SPEAKER_00: ZB sind offizielle Domains wie.gov oder.edu tendenziell maßgeblicher.
• 6:26
  SPEAKER_00: Diese Kennzeichnung kann manuell oder automatisiert erfolgen, aber sie liefert uns Werte wie Aktualität equal neu alt und Autorität equal hoch niedrig für jede Quelle.
• 6:38
  SPEAKER_00: Analyse und Modellierung von Zitierverhalten.
• 6:41
  SPEAKER_00: Mit einem Datensatz vieler Frage-, Antwort-Quellenattribute.
• 6:45
  SPEAKER_00: Beispiele analysieren wir die Daten, um Muster zu finden.
• 6:49
  SPEAKER_00: Wir fragen, welche Merkmale sagen am besten voraus, ob eine KI eine bestimmte Quelle zitieren wird.
• 6:56
  SPEAKER_00: Dies können wir durch einfache statistische Analyse oder maschinelles Lernen tun.
• 7:01
  SPEAKER_00: Zum Beispiel können wir sehen, ob Quellen mit hoher Aktualität oder hoher Autorität häufiger zitiert werden.
• 7:08
  SPEAKER_00: Wir könnten eine logistische Regression oder einen Entscheidungsbaum verwenden, um zitieren versus nicht zitieren, als Ergebnis zu modellieren.
• 7:17
  SPEAKER_00: Dies zeigt uns, welche Merkmale wie Aktualität oder Thema oder Fragetyp den stärksten Effekt haben.
• 7:24
  SPEAKER_00: Dieser Schritt ähnelt der Art und Weise, wie Forscher Umfrage oder experimentelle Daten analysieren.
• 7:30
  SPEAKER_00: Er könnte zum Beispiel zeigen, dass die KI es vorzieht, neuere oder maßgebendere Quellen zu zitieren.
• 7:37
  SPEAKER_00: Wir würden nach den stärksten Prädiktoren suchen, jenen Attributen, die die Wahrscheinlichkeit einer Zitierung am stärksten erhöhen.
• 7:44
  SPEAKER_00: Durch die Quantifizierung dessen rekonstruieren wir im Wesentlichen die Zitierregeln.
• 7:50
  SPEAKER_00: Wir finden heraus, wonach der Assistent anscheinend sucht.
• 7:53
  SPEAKER_00: Dieser Ansatz ist inspiriert von SourceBench und anderen Studien, die Quellen nach Metriken wie Aktualität und Autorität bewerten.
• 8:02
  SPEAKER_00: Durch die Anwendung statistischer Modellierung gehen wir über Anekdoten hinaus zu messbaren Trends.
• 8:07
  SPEAKER_00: Dies hilft uns zu verstehen, ob die KI eine Voreingenommenheit gegenüber bestimmten Quellen hat, zum Beispiel immer Wikipedia oder nur Top-Websites zitiert.
• 8:17
  SPEAKER_00: Open Source Benchmark und kontinuierliche Überwachung.
• 8:21
  SPEAKER_00: Nach der Erstellung dieses Benchmarks werden wir ihn als Open Source veröffentlichen, die Abfragen, den Code und die Analyse online für jedermann zugänglich machen.
• 8:31
  SPEAKER_00: Open Source Benchmarks sind in der KI-Forschung üblich, da sie es anderen ermöglichen, die Tests zu nutzen und zu verbessern.
• 8:39
  SPEAKER_00: Zum Beispiel werden viele große Datensätze wie die für Sprachübersetzung oder Fragenbeantwortung öffentlich geteilt.
• 8:46
  SPEAKER_00: Wir planen, unseren Abfragesatz und die Ergebnisse auf einer Plattform wie GitHub zu veröffentlichen.
• 8:52
  SPEAKER_00: Dies ermöglicht es anderen Forschern und Entwicklern, ihre eigenen KI-Assistenten anhand unseres Benchmarks zu überprüfen.
• 9:00
  SPEAKER_00: Wir empfehlen auch eine kontinuierliche Überwachung.
• 9:04
  SPEAKER_00: KI-Assistenten ändern sich oft.
• 9:06
  SPEAKER_00: Sie werden aktualisiert, neue Versionen etc.
• 9:10
  SPEAKER_00: Wir schlagen einen regelmäßigen Zeitplan für das erneute Ausführen der Tests vor.
• 9:15
  SPEAKER_00: Zum Beispiel jedes Mal, wenn die KI ein großes Update erhält oder in einem festen Zyklus, zum Beispiel monatlich.
• 9:24
  SPEAKER_00: Dies ähnelt der Idee von lebenslangen Benchmarks, die Testsätze im Laufe der Zeit erweitern und aktualisieren, um Stagnation zu vermeiden.
• 9:34
  SPEAKER_00: Durch das kontinuierliche Hinzufügen neuer Fragen und das erneute ausführen, können wir Änderungen im Zitierverhalten erkennen.
• 9:42
  SPEAKER_00: Wenn die KI plötzlich anfängt, mehr veraltete Websites zu zitieren oder wenn sie lernt, bessere Quellen zu zitieren, werden wir es sehen.
• 9:51
  SPEAKER_00: Die Automatisierung dieser Überwachung bedeutet, dass wir Trends verfolgen können.
• 9:56
  SPEAKER_00: Teams können Benachrichtigungen erhalten, wenn sich etwas dramatisch ändert.
• 10:01
  SPEAKER_00: Dies ist vergleichbar mit der Modelldriftüberwachung im maschinellen Lernen, konzentriert sich aber auf Zitate.
• 10:08
  SPEAKER_00: Die Kombination unseres Benchmarks mit regelmäßigen Ausführungen stellt sicher, dass KI-Assistenten im Umgang mit Quellen auf Kurs bleiben.
• 10:17
  SPEAKER_00: Fazit.
• 10:18
  SPEAKER_00: Zusammenfassend schlagen wir einen umfassenden Plan vor, um die Zitierregeln von KI-Assistenten zu sondieren.
• 10:25
  SPEAKER_00: Durch die Entwicklung eines großen und vielfältigen Satzes von Testfragen, deren automatische Ausführung durch KI-Systeme und die sorgfältige Kennzeichnung der zitierten Quellen nach Attributen wie Aktualität und Autorität, können wir Statistiken nutzen, um die Faktoren aufzudecken, die das Zitieren beeinflussen.
• 10:45
  SPEAKER_00: Unsere Methode wird durch aktuelle Forschung gestützt, die die Bedeutung der Überprüfbarkeit und innovative Benchmarks hervorhebt, die die Qualität von Quellen und synthetische Daten untersuchen.
• 10:57
  SPEAKER_00: Indem wir den Benchmark als Open Source veröffentlichen und die Ergebnisse regelmäßig überwachen, tragen wir dazu bei, einen transparenten Weg zu schaffen, um sicherzustellen, dass KI-Assistenten zuverlässige Informationen zitieren.
• 11:12
  SPEAKER_00: Diese Arbeit kann das Vertrauen in KI verbessern, indem sie Licht auf die verborgenen Zitierregeln wirft und Entwickler anleitet, bessere, rechenschaftspflichtigere Systeme zu schaffen.
• 11:24
  SPEAKER_00: Alle Quellenlinks finden Sie in der Textversion dieses Artikels.
• 11:28
  SPEAKER_00: Den vollständigen Artikel finden Sie auf autopod.co.