Latest / KI-Update – ein heise-Podcast / KI-Update kompakt: Verstörende Chatbots, Neue Audio-Modelle, Mythos, Cloudflare

Transcript

KI-Update kompakt: Verstörende Chatbots, Neue Audio-Modelle, Mythos, Cloudflare · KI-Update – ein heise-Podcast

• 0:02
  Speaker 0: Ich bin Marco Pauli und dies sind heute unter anderem unsere Themen.
• 0:18
  Speaker 0: KI-Bots simulieren Kindesmissbrauch, neue Audiumodelle von OpenAI Gericht rückt Anwälte wegen KI-Haluzinationen Mythos findet Sicherheitslücken und Entlassungen bei Cloudflare.
• 0:32
  Speaker 0: Generative Sprachmodelle werden genutzt, um KI-Kindercharaktere für virtuelle Missbrauchsszenarien zu erstellen.
• 0:40
  Speaker 0: Das zeigt eine Recherche der Süddeutschen Zeitung.
• 0:43
  Speaker 0: Ein Beispiel ist die Figur Karin ein fiktives dreizehnjähriges Mädchen – das Profil wurde gezielt auf Hilflosigkeit und sexuelle Verfügbarkeit programmiert.
• 0:53
  Speaker 0: Die KI ist darauf trainiert dem Nutzer zu gefallen und Gespräche aktiv in Richtung sexualisierter Gewalt zu lenken.
• 1:01
  Speaker 0: Allein mit Karin wurden bereits fast siebzehntausend Chats geführt.
• 1:05
  Speaker 0: Laut SZ-Bericht ist das kein Nischenphänomen, solche Inhalte finden sich auf freizugänglichen Diensten wie etwa CHUB AI ohne Altersprüfung oder technische Hürden.
• 1:16
  Speaker 0: Wie dringend das Problem ist zeigen Zahlen der freiwilligen Selbstkontrolle Multimedia-Diensteanbieter.
• 1:22
  Speaker 0: Ihr Jahresbericht-Zweitausendfünfundzwanzig verzeichnete mit über achtundzwanzigtausend Meldungen die zweithöchste Anzahl an Hinweisen seit Gründung der Beschwerdestelle.
• 1:33
  Speaker 0: Die Darstellung sexuellen Missbrauchs von Kindern bildet mit achtundfünfzig Prozent die größte Kategorie.
• 1:39
  Speaker 0: Der Besitz missbräuchlicher Bilder ist strafbar, für rein textbasierte Beschreibung gilt das bisher nicht.
• 1:46
  Speaker 0: Sanktioniert wird hier nur das öffentliche zugänglich machen oder
• 1:49
  Speaker 0: verbreiten.".
• 1:51
  Speaker 0: Eine Gesetzesverschärfung ist aber auf dem Weg.
• 1:53
  Speaker 0: Bis Juni, twenty-seven Uhr muss Deutschland eine EU Richtlinie umsetzen.
• 1:59
  Speaker 0: Diese stellt das Erstellen und verbreiten KI generierter sexueller Inhalte explizit unter Strafe.
• 2:07
  Speaker 0: OpenAI führt eine neue Schutzfunktion für erwachsene GPD-Nutzende ein.
• 2:11
  Speaker 0: Diese können freiwillig eine Vertrauensperson benennen, die informiert wird, falls die eigenen Gespräche auf einen psychischen Krisenfall und eine ernsthafte Gefährdung hindeuten.
• 2:22
  Speaker 0: Die Vertrauenser hält eine Einladung mit Erklärung ihrer Rolle und kann dann ablehnen oder zustimmen.
• 2:29
  Speaker 0: Erkennt das System dann später tatsächlich Hinweise auf Selbstgefährdungen, weist GPD zunächst den Chatpartner darauf hin.
• 2:36
  Speaker 0: Anschließend prüft ein geschultes Team den Fall.
• 2:39
  Speaker 0: Bei akuter Gefahr erfolgt eine Benachrichtigung der Vertrauensperson.
• 2:44
  Speaker 0: Die Mitteilung enthält dann keine Chat-Inhalte, sondern nur einen allgemeinen Hinweis und die Bitte aktiv Kontakt aufzunehmen – die Mitteilungen soll binnen einer Stunde veranlasst werden können.
• 2:56
  Speaker 0: Mit dem Schritt erweitert OpenAI bereits für minderjährige bestehende Schutzfunktionen auf Erwachsene.
• 3:04
  Speaker 0: KI wird zukünftig immer häufiger am anderen Ende der Telefonleitung zu hören sein, wenn man bei Unternehmen anruft oder von diesen angerufen wird.
• 3:13
  Speaker 0: OpenAI bringt nun neue Audiumodelle für diesen und andere Einsatzfälle auf den Markt – Malte Kirchner berichtet
• 3:21
  Speaker 2: Wer kennt das nicht?
• 3:22
  Speaker 2: Man ruft beim Kundenservice an und landet bei einer KI die sich anhört wie ein holpriger Sprachassistent vor zehn Jahren.
• 3:30
  Speaker 2: OpenAI will das jetzt grundlegend ändern.
• 3:33
  Speaker 2: Das Unternehmen hat drei neue Audiumodelle vorgestellt, die Echtzeit-Sprachkommunikation auf ein neues Niveau heben sollen.
• 3:40
  Speaker 2: Konkret geht es um drei Modelle mit klingenden Namen.
• 3:42
  Speaker 2: GPT Real Time II ist für direkte Gespräche zwischen Mensch und Maschine zuständig – also zum Beispiel für den KI Support Mitarbeiter am Telefon.
• 3:52
  Speaker 2: GPTT Real Time Translate übersetzt live zwischen zwei Menschen in verschiedenen Sprachen Transkribiert gesprochene Sprache in Echtzeit, in Text.
• 4:03
  Speaker 2: Nützlich etwa für Untertitel & Meetings oder medizinische Dokumentationen.
• 4:08
  Speaker 2: Was dabei auffällt ob MEI legt großen Wert darauf dass sich die KI natürliche an Gespräche einfügt.
• 4:14
  Speaker 2: sie wartet zum Beispiel bis sie genug gehört hat um sinnvoll übersetzen zu können und gibt auch Fehlermeldungen verständlich zurück statt einfach stillschweigend zu scheitern.
• 4:24
  Speaker 2: das klingt nach einem kleinen Detail macht in der Praxis aber einen großen Unterschied.
• 4:29
  Speaker 2: Technisch hat sich ebenfalls einiges getan.
• 4:31
  Speaker 2: GPT Realtime II ist das erste Echtzeit-Sprachmodell, dass auf dem Reasoning Ansatz von GPT V aufbaut.
• 4:38
  Speaker 2: Das Kontextfenster – also sozusagen das Kurzzeitgedächtnis des Modells wurde vervierfacht und das Modell kann im laufenden Gespräch gleichzeitig mehrere externe Dienste abfragen.
• 4:49
  Speaker 2: Für europäische Entwickler ist außerdem relevant, die neue Real-Time API unterstützt EU Data Residency.
• 4:55
  Speaker 2: Das heißt Anfragen werden in der EU verarbeitet und nicht auf Open AI Servern gespeichert – mit einem kleinen Vorbehalt!
• 5:02
  Speaker 2: Das Debugging Protokoll ist noch nicht vollständig DSGVO konformen Und wer testet das ganz bereits?
• 5:08
  Speaker 2: Unter anderem die deutsche Telekom für ihren mehrsprachigen Kundensupport.
• 5:12
  Speaker 2: Das zeigt wo die Reise hingeht.
• 5:14
  Speaker 2: KI am Telefon wird kommen.
• 5:16
  Speaker 2: Die Frage ist nur noch wie gut sie sich anhört.
• 5:19
  Speaker 0: Danke, Malte.
• 5:21
  Speaker 0: Software zur Emotionserkennung per KI breitet sich am Arbeitsplatz aus – eine Reportage des US-Magazins The Atlantic beschreibt wie Unternehmen Mimik Stimmen und Chats ihrer Beschäftigten analysieren.
• 5:35
  Speaker 0: Die Einsatzgebiete sind dabei vielfältig.
• 5:38
  Speaker 0: Ein US-Versicherer etwa überwacht die Tonlage von Call Center Mitarbeitenden Burger King testet einen Chatbot der Freundlichkeit bewertet.
• 5:47
  Speaker 0: Andere Anbieter werden Bewerbungsgespräche per Video oder interne Slack-Nachrichten aus.
• 5:54
  Speaker 0: Die KI-Bewertungen sind allerdings sehr umstritten – eine Studie zeigte zum Beispiel, dass eine Emotionskai schwarze NBA-Spieler systematisch als wütender Einstufte als weiße.
• 6:07
  Speaker 0: Die EU hat solche Emotionskai am Arbeitsplatz im Rahmen des AI-Akt weitgehend verboten.
• 6:13
  Speaker 0: Trotzdem soll der globale Markt bis zu einem Jahrzehnte auf neun Milliarden Dollar anwachsen.
• 6:20
  Speaker 0: In Deutschland hat die Justiz mit KI Halluzinationen zu kämpfen, das zeigt ein konkreter Fall aus Berlin.
• 6:27
  Speaker 0: Mein Kollege Robin Ahrens aus der Zitär-Redaktion hat sich denmal genauer angeschaut.
• 6:33
  Speaker 1: Gesetze und gerichtliche Urteile galten lange als unverrückbares Fundament der Justiz.
• 6:38
  Speaker 1: Mit dem Einzug von generativer KI gerät diese Basis
• 6:41
  Speaker 0: aber
• 6:41
  Speaker 1: auch hierzulande ins Wanken.
• 6:43
  Speaker 1: In den USA gab es ja schon mehr als achthundert Verfahren, in denen Gerichte Personen wegen KI-Fehlern in Justizdokumenten sanktioniert haben – davon haben wir erst letztens im Podcast berichtet.
• 6:53
  Speaker 1: und mittlerweile muss sich die deutsche Justiz mit ähnlich gelagerten Problemen beschäftigen.
• 6:58
  Speaker 1: In einem Familienrechtsstreit am Amtsgericht Berlin Kreuzberg hatte eine Mutter das alleinige Sorgerecht für die Tochter mit einer einstweiligen Anordnung beantragt.
• 7:06
  Speaker 1: Parallel dazu forderte sie Hilfe bei den Verfahrenskosten ein.
• 7:10
  Speaker 1: Beide Anträge lehnte das Amtsgericht aber ab, denn eine besondere Eilbedürftigkeit sei nicht glaubhaft gemacht worden – vielmehr könne man eine Entscheidung im Hauptverfahren abwarten, so das Gericht.
• 7:20
  Speaker 1: Gegen die Ablehnung der Verfahrenskostenhilfe legte die Frau mithilfe von Anwält innen Beschwerde beim Kammergericht ein.
• 7:27
  Speaker 1: In dieser Beschwerde zitierte die Kanzlei eine vermeintliche Entscheidung des Bundesgerichtshof aus dem Jahr seven, die angeblich in einer Fachzeitschrift veröffentlicht worden sei.
• 7:36
  Speaker 1: Die Recherche des Kammergerichts Berlin ergab aber das ein solches Urteil gar nicht existierte.
• 7:41
  Speaker 1: Weder in juristischen Datenbanken noch auf der Website des Bundes Gerichtshofs war das Urteil mit den entsprechenden Aktenzeichnen zu finden.
• 7:49
  Speaker 1: Der Auffassung der Richterin am Kammergricht nach handelte sich vielmehr um einen von KI herbei halluziniertes Urteil.
• 7:55
  Speaker 1: In einem Beschluss von vergangenem November wies das Kammergericht die Beschwerde der Mutter gegen die Ablehnung der Verfahrenskostenhilfe als unbegründet zurück.
• 8:03
  Speaker 1: Und das Gericht nutzte die Gelegenheit gleich für eine grundsätzliche Rüge, denn Anwältinnen sind dazu verpflichtet, Schriftsätze vor der Einreichung gründlich zu prüfen – erst recht wenn KI-Werkzeuge zum Einsatz kommen!
• 8:15
  Speaker 1: Die Menge an Schriftsetzen vor Gericht, die KI Halluzination enthalten nimmt seit vergangenen Jahr weltweit erheblich zu.
• 8:22
  Speaker 1: Das berichtet der Pariser Rechtswissenschaftler Damir Chalotin, der Verfahren einer Online-Datenbach sammelt.
• 8:28
  Speaker 1: In diesen Verfahren sind Personen wegen KI-Fählern sanktioniert worden.
• 8:32
  Speaker 1: Stand April zwanzig sechsundzwanzig gab es bislang mehr als tausend dreihundert solcher Verfahren und die Dunkelziffer dürfte noch deutlich höher sein.
• 8:40
  Speaker 1: Da stellt Gerichte weltweit vor ein erheblichen Mehraufwand denn Richterinnen müssen nun Quellen verifizieren, die früher als gesichert galten.
• 8:48
  Speaker 1: Diesen Mehraufwand kann man leider auch mit Kennzeichnungspflicht nicht beheben.
• 8:51
  Speaker 1: Um die aufwendige Prüfung wird man nicht rumkommen.
• 8:54
  Speaker 1: Der Berliner Beschluss von vergangenem November setzt aber zumindest schon mal eine formale Leitlinie für die Anwaltschaft.
• 9:01
  Speaker 0: Danke Robin!
• 9:03
  Speaker 0: Der Browserhersteller Mozilla hat mithilfe des noch unveröffentlichten KI-Modells Mythos von Anthropic eine Rekordmenge an Sicherheitslücken in Firefox aufgespürt.
• 9:14
  Speaker 0: Mythos fand twohundertseinundsiebzig bislang unbekannte Schwachstellen, insgesamt behoben Mozilla im April bereits über vierhundert Sicherheitsprobleme.
• 9:24
  Speaker 0: Im bisherigen Rekortmonat März waren es nur siebenzig – mehr dazu von Kim Scheurenbrand vom World Decoder!
• 9:31
  Speaker 3: Noch vor wenigen Monaten galten KI-generierte Fehlerberichter als weitgehend nutzlos.
• 9:37
  Speaker 3: Die Meldungen klamm zwar plausibel, waren aber meist falsch.
• 9:40
  Speaker 3: Ihre Prüfung kosteten die Entwicklerinnen und Entwicklern nur Zeit.
• 9:44
  Speaker 3: Zwei Probleme haben das laut Mozilla geändert – leistungsfähigere Modelle und bessere Infrastruktur.
• 9:50
  Speaker 3: Den entscheidenden Fortschritt brachten agentische Systeme.
• 9:54
  Speaker 3: Das heißt, die KI liest den Code nicht nur und meldet verlechtige Stellen – sie schreibt eigene kleine Testprogramme und führt sie aus!
• 10:01
  Speaker 3: So prüft sie selbst ob ein vermuteter Fehler tatsächlich existiert.
• 10:05
  Speaker 3: Diese Selbstkontrolle filtert falsche Alarm heraus.
• 10:08
  Speaker 3: Mozilla verteilt dem Prozess auf viele virtuelle Maschinen, die jeweils eine Datei parallel prüfen.
• 10:14
  Speaker 3: Eine eigens geborrte Pipeline sortiert doppelte Meldungen aus und begleitet die Korrekturen bis zur Veröffentlichung.
• 10:20
  Speaker 3: Ein konkretes Beispiel macht die Funde greifbarer, eine HTML-Tabelle mit mehr als sixty-tausend Zeilen brachte ein internes Zählfeld zum Überlaufen – das Zähelfeld war schlicht zu klein für so viele Zeilen!
• 10:32
  Speaker 3: Solche Überläufe können Angreifer ausnutzen um Schadcode einzuschleusen.
• 10:37
  Speaker 3: Auch die sogenannte Sandbox wurde überwunden.
• 10:40
  Speaker 3: Die Sandbox ist ein Schutzmechanismus, der Webseiten vom Rest des Computers abschottet.
• 10:44
  Speaker 3: Unter den Funden waren auch Fehler, die seit fünfzehn oder sogar zwanzig Jahren im Code schlamotten.
• 10:50
  Speaker 3: Aufflussreich ist auch, was die KI nicht schaffte.
• 10:53
  Speaker 3: Mehrere Angriffsversuche auf eine ältere Schwachstellenklasse scheiterten an einer Architekturentscheidung, die Mozilla vor Jahren getroffen hatte.
• 11:01
  Speaker 3: Dem Beleg das frühere Schutzmaßnahmen wirken empfanden den Entwickler als ebenso wertvoll wie neue Funde.
• 11:06
  Speaker 3: Mozilla will die KI-Pipeline künftig direkt in den Entwicklungsprozess einbauen.
• 11:10
  Speaker 3: Jeder neue Code soll vor dem Einchecken automatisch geprüft werden!
• 11:14
  Speaker 0: Danke Kim.
• 11:16
  Speaker 0: Der britische Mathematiker und Fields-Medaillist Timothy Gowers hat Open AI´s Modell ChatGPT.Five.FünfPro an offenen Problemen der Zahlentheorie arbeiten lassen, die KI lieferte in weniger als zwei Stunden eine fertige wissenschaftliche Arbeit auf Promotionsniveau.
• 11:35
  Speaker 0: Gauers hatte dem Modell offene Probleme aus einem Fachaufsatz vorgelegt.
• 11:40
  Speaker 0: Für eines davon dachte das Modell siebzehn Minuten nach und lieferte dann eine bestmögliche Lösung.
• 11:46
  Speaker 0: Noch anspruchsvoller war eine verallgemeinerte Version des Problemes, hier verbesserte die KI in mehreren Schritten eine bestehende mathematische Schranke erheblich.
• 11:56
  Speaker 0: Das fertige Ergebnis stand nach rund einunddreißig Minuten.
• 12:00
  Speaker 0: Ein beteiligter MIT-Student bezeichnete die Schlüsselidee des Modells als originell und als eine auf DR, nach einem bis zwei Wochen Nachdenken echt stolz gewesen wäre.
• 12:13
  Speaker 0: Gawas zieht daraus jedenfalls Schlüsse für die mathematische Ausbildung.
• 12:17
  Speaker 0: Die Untergrenze für einen Beitrag bestehen nun darin etwas zu beweisen das Sprachmodelle nicht beweisen könnten.
• 12:25
  Speaker 0: Allerdings waren den Experten auch vor voreiligen Schlüssen.
• 12:29
  Speaker 0: Google's DeepMindsKI-Agent Aletaya etwa lieferte bei siebenhundert offenen Mathematikproblemen nur in sechs Komma fünf Prozent der Fälle wirklich brauchbare Antworten!
• 12:41
  Speaker 0: In der vergangenen Woche gab das Kölner KI-Unternehmen DeepL bekannt, dass es seine Belegschaft um etwa ein Viertel also um zweihundertfünfzig Stellen kürzen wird.
• 12:50
  Speaker 0: Kurz danach kündigte das Unternehmen Cloudflare an mehr als eintausend Einhundert Beschäftigte zu entlassen.
• 12:57
  Speaker 0: Cloudflare ist ein globaler Dienst, der Webseiten schneller macht und vor Angriffen schützt.
• 13:03
  Speaker 0: Ende twenty-fünfundzwanzig hatte CloudflARE noch rund fünftausend Einhundert Vollzeitangestellte – mehr dazu jetzt von Tomislav Besmalinovic.
• 13:12
  Speaker 4: CEO Matthew Prince und Operativchefin Michelle Sattlin betonen in einer Mitteilung an die Angestellten das es sich weder um einen Sparprogramm noch eine Leistungsbewertung handele.
• 13:25
  Speaker 4: Vielmehr wolle Cloudflare definieren, wie ein Unternehmen im zeitalter agentischer KI arbeitet.
• 13:33
  Speaker 4: Die Arbeitsweise habe sich einfach grundlegend verändert – die KI-Nutzung sei in den vergangenen drei Monaten um mehr als das sechsfache gestiegen und Beschäftigten griffen täglich tausendfach auf KI-Agenten zurück.
• 13:49
  Speaker 4: Sämtliche internen Prozesse Teams und Rollen sollen deshalb jetzt neu gedacht werden!
• 13:56
  Speaker 4: Die Kosten des Umbaus liegen bei rund onehundertvierzig bis einhundertfünfzig Millionen US-Dollar.
• 14:02
  Speaker 4: Der Großteil entfällt auf Abfindungen und Sozialleistungen, die Umsetzung soll bis Ende des dritten Quartals abgeschlossen sein.
• 14:11
  Speaker 4: Die Stellenstreichungen sind nicht das klassische Krisenmaßnahme zu verstehen, dürfen aber auch dazu beitragen, Kostensstruktur und Margen in Zuge des KI-Umbaus zu verbessern.
• 14:23
  Speaker 4: Denn trotz steigender Umsetzer schreibt Cloudflare weiterhin rote Zahlen.
• 14:29
  Speaker 4: Viele US-Unternehmen streichen Stellen, obwohl die Gewinne stark wachsen – der Ökonom Genjao nennt dies Jobless Boom.
• 14:37
  Speaker 4: Als Treiber sieht er die schnelle Einführung von KI.
• 14:40
  Speaker 4: diese steigere Produktivität und dämpfe gleichzeitig Nachfrage nach Arbeitskräften.
• 14:48
  Speaker 0: Der britische Hedgefonds TCI hat einen großen Anteil an Microsoft-Aktien abgestoßen.
• 14:54
  Speaker 0: Bisher machte die Beteiligung etwa zehn Prozent des Portfolios aus, jetzt nur noch ein Prozent.
• 14:59
  Speaker 0: TCI war seit zwei tausend siebzehn bei Microsoft engagiert und hat in dieser Zeit stark vom Kursanstieg profitiert – Die Aktie legte fast vierhundert Prozent zu.
• 15:10
  Speaker 0: TCI-Gründer Chris Hohn erklärte, dass die rasanten Fortschritte bei KI Unsicherheit über Microsoftskünftige Wettbewerbsposition schaffen.
• 15:20
  Speaker 0: Insbesondere das Officegeschäft sieht er gefährdet weil KI etablierter Arbeitsabläufe verändern könnte – auch im Cloudgeschäft Azure werden Risiken vermutet.
• 15:31
  Speaker 0: Die Geentscheidung steht für wachsende Zweifel an klassischen Software-Geschäftsmodellen, an der Wall Street unter dem Schlagwort AIEATS software benannt.
• 15:41
  Speaker 0: Die Sorge ist dass KI-Agenten Aufgaben übernehmen für die Unternehmen bislang Nutzerlizenzenzahlen – damit gerät das bisherige Abrechnungsmodell Unterdruck.
• 15:52
  Speaker 0: Auch die Börsenkurse spiegeln dieses Skepsis wieder.
• 15:55
  Speaker 0: Microsoft notiert deutlich unter dem Vorjahresstand Andere Software-Aktien wie Oracle, Adobe und Salesforce haben noch stärker verloren.
• 16:05
  Speaker 0: Die Schweizer Medienbranche gibt sich einen verbindlichen Verhaltenskodex für den verantwortungsvollen Umgang mit KI.
• 16:12
  Speaker 0: Eine breite Allianz von Verbänden und Unternehmen hat das Selbstregulierungsinstrument vergangenen Donnerstag in Luzern vorgestellt.
• 16:20
  Speaker 0: In dem steht unter anderem, dass Mitarbeiter von Medienunternehmen die KI-Systeme anwenden oder deren Resultate verarbeiten dafür geschult werden müssen.
• 16:29
  Speaker 0: Redaktionelle Inhalte und vertrauliche Daten sollen bei der Nutzung von KI Tools besonders geschützt werden.
• 16:36
  Speaker 0: Medienunternehmer haben die Öffentlichkeit darüber zu informieren wie sie KI Systeme einsetzen – etwa auf einer Infoseite ihrer Website – und in welchen Inhalten Sie in welchem Maße eingesetzt sind.
• 16:50
  Speaker 0: Außerdem gilt eine Kennzeichnungspflicht für alle KI-Systeme wie etwa Chatbots, die mit Nutzern interagieren und von diesen mit Menschen verwichselt werden könnten.
• 17:01
  Speaker 0: Die neuen Regeln sollen bis Ende des Jahres umgesetzt werden – in Deutschland fehlt ein Branchen weiter Codex bislang.
• 17:08
  Speaker 0: Öffentlich rechtliche Sender haben sich aber auf eigene Regeln verständigt!
• 17:13
  Speaker 0: Eine europaweite Kennzeichnungspflicht greift mit dem EUAI-Akt ab August.
• 17:23
  Speaker 0: Das war das KI-Update von Heise online vom Elften Mai.
• 17:28
  Speaker 0: Ein neue Folge gibt es immer Montags, Mittwochs und Freitags um fünfzehn Uhr.