Latest / KI Espresso / 65 Prozent — You can't blame it on the box

Transcript

65 Prozent — You can't blame it on the box · KI Espresso

• 0:00
  SPEAKER_00: 65% aller Angestellten nutzen KI-Tools bei der Arbeit.
• 0:04
  SPEAKER_00: Und zwar heimlich.
• 0:06
  SPEAKER_00: Also 30% füttern ChatGBT sogar mit vertraulichen Firmendaten.
• 0:11
  SPEAKER_00: Und der Shopify-CEO verlangt jetzt knallhart von seinen Teams, beweist mir, dass KI euren Job nicht machen kann, bevor ihr neue Leute einstellt.
• 0:21
  SPEAKER_01: Wahnsinn, oder?
• 0:23
  SPEAKER_00: Total.
• 0:24
  SPEAKER_00: Und für unsere heutige Analyse haben wir uns echt einen riesigen Berg an Quellen angeschaut.
• 0:29
  SPEAKER_00: Von der GitClear-Studie zur Codequalität bis hin zu den finalen Texten vom EUAI-Act.
• 0:35
  SPEAKER_01: Genau.
• 0:36
  SPEAKER_00: Wir wollen in dieser Debatte heute klären, ob wir hier den größten Produktivitätsschub unserer Zeit sehen oder uns blindlings eine gewaltige Falle bauen.
• 0:45
  SPEAKER_01: Naja, also wenn ich diese Zahlen höre, das ist für mich einfach pures Chaos.
• 0:49
  SPEAKER_01: Die Chefetagen feuern das extrem an, aber in der Praxis fehlt halt jegliche Kontrolle.
• 0:55
  SPEAKER_00: Ja, aber Moment mal, ist dieses Chaos nicht einfach eine total notwendige Evolution?
• 1:02
  SPEAKER_00: Notwendig.
• 1:02
  SPEAKER_00: Das sehe ich komplett anders.
• 1:04
  SPEAKER_00: Doch klar.
• 1:04
  SPEAKER_00: Wir sehen in den Daten einen gigantischen Trend zum sogenannten Citizen-Developer.
• 1:10
  SPEAKER_00: Für euch zur Einordnung, das bedeutet, dass ganz normale Angestellte ohne IT-Studium anfangen, Software zu bauen.
• 1:17
  SPEAKER_01: Ja und?
• 1:18
  SPEAKER_00: Der Marketingmanager generiert Code, die Strategin baut mit Cloud mal eben ein Prototyp.
• 1:23
  SPEAKER_00: Laut unseren Quellen werden 70% der neuen Firmenanwendungen von genau solchen Leuten gebaut.
• 1:29
  SPEAKER_01: Genau da liegt ja das Problem.
• 1:30
  SPEAKER_00: Nein, das ist Innovation.
• 1:32
  SPEAKER_00: Guck dir doch klarer an.
• 1:33
  SPEAKER_00: Die schrumpfen drastisch von 7000 auf 3000 Leute.
• 1:37
  SPEAKER_00: IBM streicht 30% im Backoffice.
• 1:40
  SPEAKER_00: Die harte Realität ist doch, dass nicht die Maschine dich ersetzt, sondern der Kollege der KI clever nutzt.
• 1:45
  SPEAKER_00: Wer sich weigert, fliegt.
• 1:47
  SPEAKER_01: Okay, ich verstehe diese Faszination total.
• 1:50
  SPEAKER_01: Auf den ersten Blick wirkt das nach einem massiven Speed-Gewinn.
• 1:54
  SPEAKER_01: Aber wir müssen uns unbedingt anschauen, wie dieser Code überhaupt entsteht.
• 1:58
  SPEAKER_01: Da grätsche ich jetzt echt mal vehement dazwischen.
• 2:01
  SPEAKER_00: Schieß los.
• 2:02
  SPEAKER_01: Wenn wir uns diese GitClear-Studie ansehen, die haben 153 Millionen Zeilen Code analysiert, dann sehen wir ein unfassbares Problem.
• 2:12
  SPEAKER_01: KI-generierter Code hat 1,7 Mal mehr Fehler.
• 2:16
  SPEAKER_00: Echt?
• 2:16
  SPEAKER_00: So viel?
• 2:17
  SPEAKER_01: Ja.
• 2:18
  SPEAKER_01: Und sogar 2,7 Mal mehr Sicherheitslücken als Code von echten Menschen.
• 2:22
  SPEAKER_00: Warte mal ganz kurz, warum eigentlich?
• 2:24
  SPEAKER_00: Die KI hat doch quasi alle Programmierhandbücher und Open Source-Bibliotheken der Welt auswendig gelernt.
• 2:30
  SPEAKER_00: Das müsste doch eigentlich fehlerfrei sein.
• 2:32
  SPEAKER_01: Das schon, ja.
• 2:33
  SPEAKER_01: Aber ihr fehlt der komplette architektonische Kontext von eurem jeweiligen Unternehmen.
• 2:39
  SPEAKER_01: Der Marketingmanager lässt sich also einen Block Code generieren, der für sich genommen vielleicht sogar läuft.
• 2:44
  SPEAKER_00: Richtig.
• 2:45
  SPEAKER_01: Aber dann wird der einfach blind in das Firmensystem kopiert.
• 2:49
  SPEAKER_01: Und das ist der absolut kritische Punkt der Studie.
• 2:52
  SPEAKER_01: Das Refactoring, also das saubere Umstrukturieren von Code, damit der langfristig wartbar bleibt, das ist auf unter 10% abgestürzt.
• 3:00
  SPEAKER_00: Wow.
• 3:01
  SPEAKER_00: Unter 10%?
• 3:02
  SPEAKER_01: Ja, weil die Leute schlichtweg nicht mehr verstehen, was die Maschine da im Hintergrund treibt.
• 3:07
  SPEAKER_01: Die Logik dahinter ist eine Blackbox.
• 3:09
  SPEAKER_00: Okay, das leuchtet schon ein, aber trotzdem machen die großen Tech-Giganten uns das doch längst auf einem anderen Level vor.
• 3:17
  SPEAKER_00: Also in unseren Unterlagen taucht Netflix auf.
• 3:20
  SPEAKER_00: Die nutzen doch bereits autonome KI-Agenten für interne Prozesse.
• 3:24
  SPEAKER_00: Die würden das doch niemals skalieren, wenn das nur fehlerhafter Müll wäre?
• 3:27
  SPEAKER_01: Tja, Netflix ist das perfekte Beispiel dafür, wie absurd das eigentlich wird.
• 3:32
  SPEAKER_01: Man stellt sich das immer so elegant vor, ne?
• 3:34
  SPEAKER_01: Ein Agent löst ein Problem völlig autark.
• 3:37
  SPEAKER_00: Ja, genau.
• 3:38
  SPEAKER_01: Aber in der Realität braucht Netflix inzwischen einen zweiten KI-Agenten, dessen einziger Job ist, den ersten zu überwachen.
• 3:45
  SPEAKER_00: Okay, krass.
• 3:46
  SPEAKER_01: Und weil das immer noch so extrem anfällig ist, brauchen sie noch einen dritten Agenten, der die beiden dann koordiniert.
• 3:52
  SPEAKER_00: Er hatte drei KIs, die sich gegenseitig kontrollieren.
• 3:56
  SPEAKER_00: Wie kommt es denn zu so einer absurden Endlosschleife?
• 3:59
  SPEAKER_01: Das liegt an diesen sogenannten Halluzinationsschleifen.
• 4:03
  SPEAKER_01: Die KI hat halt limitierte Kontextfenster.
• 4:06
  SPEAKER_01: Wenn die auf ein Problem stößt, denkt sie sich einfach Erklärungen aus.
• 4:09
  SPEAKER_00: Ah, okay.
• 4:10
  SPEAKER_01: Ein UI-Architekt von Netflix hat es treffend beschrieben.
• 4:14
  SPEAKER_01: Der Agent ist am Ende nur deshalb so ausgelastet, weil er stundenlang mit sich selbst geredet hat.
• 4:18
  SPEAKER_01: Oh Gott.
• 4:19
  SPEAKER_01: Ja, er verheddert sich in seinen eigenen Logikfehlern.
• 4:22
  SPEAKER_01: Das ist keine echte Effizienz, das frisst nur massiv Rechenleistung.
• 4:26
  SPEAKER_00: Boah, das ändert natürlich die Perspektive.
• 4:29
  SPEAKER_00: Das ist ja wie ein rasender Zug, den niemand mehr aufhalten kann.
• 4:32
  SPEAKER_00: Ich dachte mir bisher, warum sich den Weg stellen.
• 4:35
  SPEAKER_00: Aber wenn das Fundament aus Treibsand besteht.
• 4:38
  SPEAKER_01: Exakt.
• 4:38
  SPEAKER_01: Und diese Treibsandanalogie bringt uns zum absolut kritischsten Punkt dieser Debatte.
• 4:45
  SPEAKER_01: Der Haftung.
• 4:46
  SPEAKER_01: Was passiert denn, wenn dieser Zug entgleist?
• 4:49
  SPEAKER_00: Naja, gute Frage.
• 4:50
  SPEAKER_01: Wenn diese kleine App, die dein Kollege am Wochenende zusammengebastelt hat, am Dienstbad ein massives Datenleck verursacht.
• 4:57
  SPEAKER_01: Wer ist schuld?
• 4:58
  SPEAKER_01: Der britische Finanzaufseher hat in unseren Quellen einen sehr prägnanten Satz gesagt: you can't blame it on the box.
• 5:05
  SPEAKER_01: Du kannst nicht der Maschine die Schuld geben.
• 5:07
  SPEAKER_00: Das heißt also, dieses klassische, ups, die KI hat das falsch verstanden, das zählt vor Gericht einfach nicht?
• 5:14
  SPEAKER_00: Garantiert nicht.
• 5:15
  SPEAKER_01: Gartner prognostiziert bis Mitte 2026 über 10 Milliarden Dollar an Schäden durch fehlerhafte KI-Entscheidungen.
• 5:23
  SPEAKER_00: 10 Milliarden?
• 5:24
  SPEAKER_00: Wahnsinn.
• 5:25
  SPEAKER_01: Und es wird juristisch noch viel enger.
• 5:28
  SPEAKER_01: Am 2.
• 5:28
  SPEAKER_01: August 2026 greift der EU AI-Act in vollem Umfang.
• 5:34
  SPEAKER_01: Wir sprechen hier von möglichen Strafen bis zu 35 Millionen Euro.
• 5:38
  SPEAKER_00: Oh wow, 35 Millionen.
• 5:40
  SPEAKER_01: Oder 7% vom weltweiten Umsatz.
• 5:43
  SPEAKER_01: Und in Deutschland wird KI nach dem Gesetz jetzt explizit als Produkt eingestuft.
• 5:48
  SPEAKER_01: Und zwar mit Gefährdungshaftung.
• 5:50
  SPEAKER_00: Gefährdungshaftung heißt das, ich hafte auch wenn ich gar nicht aktiv fahrlässig gehandelt habe?
• 5:56
  SPEAKER_01: Richtig.
• 5:57
  SPEAKER_01: Es reicht völlig, dass du die Gefahrenquelle in den Verkehr gebracht hast.
• 6:01
  SPEAKER_01: Wenn also über 60% der KI-Nutzung völlig unsichtbar an der IT vorbeiläuft, macht dieser ahnungslose App-bauende Kollege seine Geschäftsführung persönlich haftbar?
• 6:12
  SPEAKER_00: Uff, das ist ein echt heftiger Gedanke.
• 6:14
  SPEAKER_00: Lasst uns damit direkt auf unsere allererste Statistik zurückkommen.
• 6:18
  SPEAKER_00: 65% eurer Kollegen nutzen diese Tools heimlich.
• 6:22
  SPEAKER_00: Wenn ihr morgens ins Büro geht, fragt euch doch mal, seht ihr in dieser Schatten-IT immer noch pure Innovationskraft?
• 6:30
  SPEAKER_00: Wohl eher nicht.
• 6:31
  SPEAKER_00: Oder ist das in Wahrheit eine tickende juristische Zeitbombe, deren Timer schon läuft?
• 6:36
  SPEAKER_00: Und um das zum Abschluss noch einen Schritt weiter zu denken, was passiert eigentlich mit all diesen heimlich gebauten Firmen-Apps, wenn OpenAI oder Anthropic morgen völlig unangekündigt ihre Modelle updaten und sich die Logik der Antworten fundamental ändert?
• 6:52
  SPEAKER_00: Brechen dann all diese unsichtbaren Prozesse schlagartig und gleichzeitig zusammen?
• 6:56
  SPEAKER_01: Wenn euch diese Debatte zum Nachdenken gebracht hat, abonniert KI Espresso.
• 7:00
  SPEAKER_01: Jeden Tag eine neue KI-Debatte in sechs Minuten.
• 7:03
  SPEAKER_00: Das war KI Espresso.