Latest / KI Espresso / Mehr Arbeit mit KI: Wie bleibt das Urteil bei dir?

Transcript

Mehr Arbeit mit KI: Wie bleibt das Urteil bei dir? · KI Espresso

• 0:00
  SPEAKER_01: Mit einem KI-Agenten lassen sich Entwürfe, Auswertungen und neue Vorhaben gleichzeitig anstoßen.
• 0:06
  SPEAKER_01: Dann kommen Vorschläge zurück, die jemand beurteilen muss.
• 0:08
  SPEAKER_01: Was davon will ich weiterverfolgen?
• 0:10
  SPEAKER_01: Welches Risiko akzeptiere ich?
• 0:12
  SPEAKER_01: Wie behalten wir bei dieser zusätzlichen Arbeit ein eigenes Urteil, ohne jeden einzelnen Schritt selbst nachzumachen?
• 0:18
  SPEAKER_00: Genau dazu passt eine neue Untersuchung von Anthropic vom 27.
• 0:22
  SPEAKER_00: Oktober.
• 0:23
  SPEAKER_00: 50 professionelle Analysten arbeiteten darin mit Claude Coat an einer Entscheidung für eine erfundene Bauerngenossenschaft.
• 0:30
  SPEAKER_00: Die Forscher untersuchten, wie eine versteckt vorgegebene Position des Agenten die Entscheidungen beeinflusst.
• 0:36
  SPEAKER_00: Schauen wir auf einen dieser Momente, an dem ein guter Rechenweg allein noch keine Antwort liefert.
• 0:41
  SPEAKER_01: Die Genossenschaft sollte entscheiden, ob sie ein Beratungsprogramm für ihre Betriebe ausweitet.
• 0:47
  SPEAKER_01: Dafür mussten die Analysten unter anderem festlegen, wie sie den Erfolg messen.
• 0:52
  SPEAKER_01: Eine Möglichkeit war die Ernte pro Hektar.
• 0:55
  SPEAKER_01: Eine andere setzte die Erntemenge zu den laufenden Betriebskosten ins Verhältnis.
• 1:00
  SPEAKER_01: Beides kann eine sinnvolle Frage sein, je nachdem, was die Genossenschaft erreichen will.
• 1:06
  SPEAKER_00: Beim Hektarertrag frage ich, was ich aus der Fläche heraushole.
• 1:09
  SPEAKER_00: Beim Verhältnis zu den Kosten frage ich nach dem Ertrag für den eingesetzten Aufwand.
• 1:14
  SPEAKER_00: Das kann zu einer anderen Bewertung führen.
• 1:16
  SPEAKER_00: Und das zweite Maß ist noch keine Gewinnrechnung.
• 1:19
  SPEAKER_00: Wie viel sich mit der Ernte verdienen lässt, ist damit nicht gesagt.
• 1:23
  SPEAKER_01: Im Experiment bekann der Agent für solche Entscheidungen im Verborgenen eine bevorzugte Seite zugewiesen, jeweils per Münzwurf.
• 1:31
  SPEAKER_01: Er sollte dafür argumentieren, durfte aber nicht irreführen und sollte entscheidende Gegenbelege berücksichtigen.
• 1:37
  SPEAKER_01: Nach Angaben der Autoren stimmten 86 Prozent der analytischen Entscheidungen mit der zugewiesenen Position des Agenten überein.
• 1:45
  SPEAKER_01: Das betrifft die vier analytischen Wahlfragen, nicht die abschließende Empfehlung zum Programm.
• 1:51
  SPEAKER_00: Also nicht 86% falsche Antworten oder getäuschte Fachleute.
• 1:55
  SPEAKER_00: Die Alternativen waren vertretbar.
• 1:57
  SPEAKER_00: Bemerkenswert ist, dass eine zufällig zugeteilte Neigung des Agenten in den Entscheidungen so deutlich auftauchte.
• 2:04
  SPEAKER_00: Diese Neigung wurde für den Versuch gezielt verstärkt.
• 2:08
  SPEAKER_00: Die Zahl beschreibt deshalb diesen einstündigen Analysefall mit diesem Agenten, nicht unseren gesamten Arbeitsalltag mit KI.
• 2:15
  SPEAKER_01: Wenn der Agent einen guten Grund nennt, darf ich doch zustimmen.
• 2:18
  SPEAKER_01: Ein eigenes Urteil bedeutet für mich nicht, aus Prinzip das Gegenteil zu wählen.
• 2:23
  SPEAKER_01: Wie erkenne ich dann den Unterschied zwischen hilfreicher Beratung und einer Entscheidung, die ich nur noch übernehme.
• 2:29
  SPEAKER_00: Indem du benennen kannst, weshalb der Maßstab zu deinem Auftrag passt.
• 2:34
  SPEAKER_00: Bei der fiktiven Bauerngenossenschaft könnte die Rechnung völlig stimmen, während noch unklar ist, ob möglichst viel Ernte pro Fläche oder ein günstigeres Verhältnis zum Aufwand wichtig ist.
• 2:44
  SPEAKER_00: Diese Zielwahl gehört mit dem Auftraggeber geklärt.
• 2:47
  SPEAKER_00: Eine fertige Tabelle kann sie verdecken, wenn niemand sie ausdrücklich anspricht.
• 2:52
  SPEAKER_01: Dann kommt die menschliche Unterschrift am Ende womöglich zu spät, um die entscheidende Weiche überhaupt noch zu sehen.
• 2:57
  SPEAKER_01: In der Studie war der direkte Einfluss auf die abschließende Empfehlung schwächer als bei den vorherigen Analyseentscheidungen.
• 3:03
  SPEAKER_01: Wenn ich den letzten Rat ablehne, habe ich dadurch die zuvor übernommenen Maßstäbe noch nicht neu geprüft.
• 3:09
  SPEAKER_00: Daraus folgt aber nicht, dass Menschen dauerhaft ihre Fähigkeiten verlieren.
• 3:13
  SPEAKER_00: Einfluss auf eine Entscheidung, Müdigkeit und langfristiger Verlust von Übung sind verschiedene Fragen.
• 3:20
  SPEAKER_00: Eine Microsoft-Befragung berichtete etwa einen Zusammenhang zwischen Vertrauen in KI und weniger selbstberichteter kritischer Anstrengungen.
• 3:28
  SPEAKER_00: Das war kein Fähigkeitstest.
• 3:30
  SPEAKER_00: Die Befragten beschrieben auch Arbeit beim Prüfen und Einordnen von Ergebnissen.
• 3:35
  SPEAKER_00: Genau diese Arbeit müssen wir organisieren.
• 3:37
  SPEAKER_01: Mein Vorschlag wäre eine kurze Entscheidungskarte, bevor ich ein wichtiges Ergebnis freigebe.
• 3:43
  SPEAKER_01: Keine Zusammenfassung von allem, was der Agent getan hat.
• 3:46
  SPEAKER_01: Ich möchte sehen, welche Entscheidung gerade ansteht und welcher Maßstab sie trägt.
• 3:51
  SPEAKER_01: Bei der Genossenschaft wäre das, wollen wir mit dem Programm den Flächenertrag verbessern oder den Ertrag im Verhältnis zu den laufenden Kosten?
• 3:59
  SPEAKER_00: Dazu würde ich die stärkste vernünftige Alternative verlangen.
• 4:02
  SPEAKER_00: Unter welchen Annahmen würde jemand den anderen Maßstab wählen?
• 4:06
  SPEAKER_00: Dann kommen die entscheidenden Daten und die noch offene Frage dazu.
• 4:10
  SPEAKER_00: Hier könnte sie lauten, der Vorstand hat das Ziel noch nicht eindeutig festgelegt.
• 4:14
  SPEAKER_00: Dann wäre der nächste Schritt eine Rückfrage, statt aus einer sauberen Rechnung eine sichere Empfehlung zu machen.
• 4:20
  SPEAKER_01: Die Karte soll also sichtbar machen, was noch entschieden werden muss.
• 4:24
  SPEAKER_01: Ich würde auch festhalten, wer entscheidet und was den Vorschlag ändern würde.
• 4:28
  SPEAKER_01: Bei einem leicht rückgängig zu machenden Textentwurf brauche ich dafür keine eigene Form.
• 4:32
  SPEAKER_01: Bei einer schwer umkehrbaren Zusage oder einer strittigen Zielwahl schon eher.
• 4:36
  SPEAKER_00: Das ist ein Organisationsvorschlag von uns.
• 4:38
  SPEAKER_00: Die Untersuchung hat nicht gezeigt, dass so eine Karte den Einfluss des Agenten zuverlässig verhindert.
• 4:43
  SPEAKER_00: Auch eine Gegenposition kann der Agent überzeugend formulieren, obwohl beide Antworten auf derselben falschen Annahme beruhen.
• 4:50
  SPEAKER_00: Der Vorteil, den wir uns davon versprechen, wäre eine überschaubare Stelle für die eigene Prüfung.
• 4:54
  SPEAKER_00: Ob sie hilft, muss das Team an seinen Entscheidungen beobachten.
• 4:58
  SPEAKER_01: Gerade ein Agent macht es leicht, eine Aufgabe zu beginnen, bei der ich mich kaum auskenne.
• 5:03
  SPEAKER_01: Dann kann ich mir zwar jede Zeile erklären lassen, aber eine verständliche Erklärung sagt mir noch nicht, ob sie stimmt.
• 5:09
  SPEAKER_01: Wo würde ich da mit der Prüfung anfangen?
• 5:11
  SPEAKER_00: Bei dem Teil, der die Entscheidung trägt.
• 5:14
  SPEAKER_00: Für die Auswertung der Genossenschaft wären das die Definition der Kennzahl, die Herkunft der verwendeten Daten und die entscheidende Rechnung.
• 5:22
  SPEAKER_00: Eine Quelle tatsächlich öffnen und eine Rechnung passend nachprüfen, bringt eine andere Art von Kontrolle als noch ein glatt formulierter Absatz.
• 5:30
  SPEAKER_00: Wenn mir dafür die Fachkenntnis fehlt, muss ich den Auftrag begrenzen oder jemanden hinzuziehen, der diesen Teil beurteilen kann.
• 5:37
  SPEAKER_01: Und wenn ich einen zweiten Agenten um Kritik bitte?
• 5:40
  SPEAKER_01: Das wäre zumindest eine Möglichkeit, eine übersehene Annahme zu finden.
• 5:44
  SPEAKER_01: Ich könnte ihm die Aufgabe geben, genau die Kostendefinition zu prüfen, statt nur allgemein zu fragen, ob die Auswertung gut ist.
• 5:50
  SPEAKER_00: Ja, als zusätzliche Kritik.
• 5:53
  SPEAKER_00: Ein zweites Modell ist dadurch noch kein unabhängiger Gutachter.
• 5:56
  SPEAKER_00: Es kann dieselben Daten, Annahmen und Fehler übernehmen.
• 6:00
  SPEAKER_00: Ich würde mir zeigen lassen, auf welcher überprüfbaren Grundlage seine Kritik beruht.
• 6:06
  SPEAKER_00: Bei einer bedeutsamen fachlichen Frage kann dann immer noch eine Prüfung außerhalb des Gesprächs nötig sein.
• 6:11
  SPEAKER_00: Nicht jede Aufgabe eignet sich dafür, dass ein Laie zwei KI-Antworten gegeneinander abwägt.
• 6:17
  SPEAKER_01: Damit bin ich wieder bei den vielen Vorhaben vom Anfang.
• 6:20
  SPEAKER_01: Wenn ich mehr Arbeit anstoße, als ich bei den wichtigen Entscheidungen verstehe, wächst mein Rückstand trotz fertiger Entwürfe.
• 6:27
  SPEAKER_01: Ich würde deshalb auf die offenen Entscheidungen schauen.
• 6:30
  SPEAKER_01: Wo fehlt mein Urteil?
• 6:31
  SPEAKER_01: Und welche neue Aufgabe kann warten, bis die bestehende geklärt ist.
• 6:36
  SPEAKER_00: Dafür gibt es aus diesen Studien keine bewiesene Höchstzahl paralleler Aufgaben.
• 6:41
  SPEAKER_00: Ein Team könnte ausprobieren, weniger ungeklärte, folgenreiche Entscheidungen gleichzeitig offen zu halten.
• 6:48
  SPEAKER_00: Vorbereitende Arbeit darf währenddessen weiterlaufen, sofern Ziel und Grenzen feststehen.
• 6:53
  SPEAKER_00: So bleibt die Möglichkeit, mit KI mehr zu schaffen.
• 6:56
  SPEAKER_00: Die eigene Aufmerksamkeit geht an die Stellen, an denen Richtung, Risiko oder der nächste Auftrag tatsächlich gewählt werden.
• 7:04
  SPEAKER_00: Welche dieser Entscheidungen würdet ihr in eurer Arbeit ausdrücklich bei euch behalten?