Latest / KI-Update – ein heise-Podcast / KI-Update kompakt: KI-Fehlalarm, US-Kriegsverbrechen, Anthropic, AAIF, Eigene KI-Sprache

Transcript

KI-Update kompakt: KI-Fehlalarm, US-Kriegsverbrechen, Anthropic, AAIF, Eigene KI-Sprache · KI-Update – ein heise-Podcast

• 0:02
  Speaker 2: Das KI Update, ein Heise-Podcast
• 0:05
  Speaker 3: mit redaktioneller Unterstützung von The Decoder.
• 0:14
  Speaker 0: Ich bin Marco Pauli und dies sind heute unter anderem unsere Themen.
• 0:18
  Speaker 0: Palantir sorgt beinahe für Eskalation zwischen USA & China.
• 0:23
  Speaker 0: Neues zum US Angriff auf die iranische Schule.
• 0:26
  Speaker 0: Anthropic verschiebt den Börsengang Konferenz zur agentischen KI Und KI entwickelt eigenen Slang.
• 0:34
  Speaker 0: Wie erst jetzt bekannt wurde, hat es im Nahen Osten im Frühjahr einen militärischen Vorfall gegeben der – wenn er nicht rechtzeitig gestoppt worden wäre – potenziell zu einer dramatischen Eskalation zwischen den USA und China hätte führen können.
• 0:49
  Speaker 0: Die Basis dafür bildete ein KI-generierter Text, der an wichtigen Stellen Halluzinationen enthielt, Martin Holland berichtet
• 0:58
  Speaker 1: Und zwar geht es um ein chinesisches Frachtschiff, das beobachtet wurde von US-Geheimdiensten.
• 1:04
  Speaker 1: und da wurde an dem Bericht von CNN zufolge ein geheimdienstliches Dossier zu erstellt.
• 1:11
  Speaker 1: Von einem Analysten der Informationen die er hatte an einen KI-Chatbot gegeben hat ohne dass wir jetzt wissen was für ein Chatbot das war.
• 1:19
  Speaker 1: also ob das jetzt ein kommerzieller Chatbot wie ChatGPTV oder etwas was das US Militär zur Verfügung gestellt hat.
• 1:27
  Speaker 1: Dieser KI-generierte Bericht stand dann eben drin, dass das Schiff Atomwaffentechnik an Bord hat.
• 1:34
  Speaker 1: Und der Analyst hat das alles zusammengestellt in einem geheimdienstlichen Bericht, wo eben nicht mehr... Also so geht es aus dem Berichten vor.
• 1:42
  Speaker 1: Nicht mehr deutlich gemacht wurde, dass hier eine KI-Generiat diese Schlussfolgerung hat und hat das dann weitergegeben.
• 1:49
  Speaker 1: Und CNN sagt, dass sind diese Art von Berichten, denen die US-Militärs vertrauen und die haben sie dann im Tätig geworden.
• 1:55
  Speaker 1: also da stand eben drinnen.
• 1:57
  Speaker 1: Da gibt es als Atomwaffentechnik an Bord und jetzt haben die entschieden, da muss was passieren.
• 2:02
  Speaker 1: und so wie das jetzt öffentlich gemacht wurde und wie das mehrere Quellenberichten waren schon Flugzeug in der Luft.
• 2:09
  Speaker 1: Bewaffnete Soldatinnen und S-Soldaten haben sich bereitgemacht dieses Schiff zu ändern potenziell gefährliche Fracht sicherzustellen und erst gewissermaßen in letzter Minute hätte dann noch mal jemand auf diesem Bericht geguckt und eben mitbekommen.
• 2:25
  Speaker 1: Dabei nicht klar wird, wie genau das passiert ist dass an entscheidender Stelle da eine KI generierte Texte stehen und hat das dann alles gestoppt?
• 2:35
  Speaker 1: und dann ist nichts passiert.
• 2:37
  Speaker 1: es ist nicht öffentlich geworden erst jetzt durch diese anonymen Quellen.
• 2:42
  Speaker 1: Und das zeigt natürlich einmal mehr noch eine andere Gefahr, die von dieser ganzen massiven Einsatz von KI ausgeht.
• 2:54
  Speaker 1: Weil wir ja in den vergangenen Tagen viel darüber diskutiert haben ob KI nun die Menschheit auslöscht oder wie gefährlich ausgebrochene KI-Agenten und was auch immer sein können während hier eben eine Gefahr wieder mal deutlich wird, die eigentlich nicht neu ist auf die schon länger verwiesen wird dass diese KI generierten Sachen Fehler enthalten, die berühmten Halluzinationen und das wenn man sich darauf verlässt dass man da ganz große Fehler begehen kann.
• 3:19
  Speaker 1: Und dass das offensichtlich beim US-Militär so umfangreich eingesetzt wird und auch teilweise so unkoordiniert eingeführt wird, dass da die eine Seite nicht mehr weiß, dass die andere Seite damit KI arbeitet und dass so weit reichende Konsequenzen haben kann bei WINN diese Soldatinnen und Soldaten nun wirklich an Bord dieses Schiffs gegangen wären, das geentert hätten.
• 3:42
  Speaker 1: Dann hätte das mit ziemlicher Sicherheit als scharfe Reaktion von China nach sich gezogen.
• 3:47
  Speaker 1: Wer weiß wie weit das hätte eskalieren können ohne dass in dem Fall überhaupt klar gewesen wäre was da überhaupt die Ursache war?
• 3:54
  Speaker 0: Danke Martin!
• 3:56
  Speaker 0: Dass sich US-Militärs auf fehlerhafte KI-Ausgaben verlassen, ist kein Einzelfall.
• 4:02
  Speaker 0: Auch beim US-Angriff auf eine iranische Grundschule Ende Februar spielte ein KI gestütztes Zielsystem eine zentrale Rolle.
• 4:10
  Speaker 0: Ein neuer Bericht einer unabhängigen UN-Ermittlungskommission zeigt wie veraltete Zieldaten dort zum tödlichen Beschuss führten.
• 4:19
  Speaker 0: Der Angriff wird als mögliches Kriegsverbrechen eingestuft.
• 4:23
  Speaker 0: Mindestens onehundertsechsenfünfzig Menschen wurden getötet, darunter über einhundertzwanzig Schulkender.
• 4:29
  Speaker 0: Marie Claire Koch berichtet
• 4:31
  Speaker 5: Die UN-Ermittler stufen den Angriff nicht als Kollateralschaden ein sondern als wahrlose Attacke und möglichst es Kriegs Verbrechen durch bedingten Vorsatz.
• 4:41
  Speaker 5: der Grund Das Gelände war vor Ort klar als Schule erkennbar.
• 4:45
  Speaker 5: Die US-Militärs stützen sich jedoch auf völlig veraltete Zieldatenbanken und versäumten die völkerrechtlich vorgeschriebene Zielüberprüfung, parallel dazu liefert Bloomberg neue Details zur internen Fehlerkette beim US- Militär – und die führt direkt zu Palantir!
• 5:02
  Speaker 5: Die veralteten Geheimdienstdaten, in denen die Schule noch fälschlich als Stützpunkt der Revolutionsgarten geführt wurde liefen in Palantirs Militärplattform Maven Smart Systems ein.
• 5:12
  Speaker 5: Maven priorisiert und beschleunigt Ziele für Angriffslisten.
• 5:16
  Speaker 5: Die Militäranalysten verließen sich offenbar fälchlich darauf, dass das System überholte oder widersprüchliche Daten selbstständig erkennt und meldet – dafür war Maven damals allerdings gar nicht gebaut!
• 5:28
  Speaker 5: Laut Bloomberg hat Palantir nach dem Angriff stillschweigend nachgebessert.
• 5:33
  Speaker 5: Das Mavensystem wurde um neue Funktionen ergänzt, diese prüfen zugrunde liegende Datenquellen nun nachträglich auf Plausibilität und schlagen Alarm wenn Faktoren ein Ziel disqualifizieren etwa Widersprüche im Datenbestand die Menschen bei der Schnellprüfung übersehen haben.
• 5:49
  Speaker 5: das Nachrüsten der Filter zeigt deutlich wie lückenhaft die Kontrollmechanismen in der digital beschleunigten Zielkette waren.
• 5:56
  Speaker 0: Danke Marie.
• 5:57
  Speaker 0: Trotz solcher Vorfälle setzt die US-Regierung weiter auf Tempo statt auf Vorsicht.
• 6:02
  Speaker 0: US-Präsident Trump will die Entwicklung von KI in den USA weiter beschleunigen.
• 6:07
  Speaker 0: Warnungen vor existenziellen Risiken der Technologie weist er zurück.
• 6:11
  Speaker 0: Auf seiner Plattform Truth Social schrieb er, das Wachstum der Branche werde in keiner Weise behindert.
• 6:17
  Speaker 0: Die USA legen bei der Technologie vor China und dem Rest der Welt – und das solle
• 6:22
  Speaker 0: bleiben.".
• 6:23
  Speaker 0: Zuletzt hatten sich Firmen wie Anthropic und OpenAI dafür ausgesprochen, die Entwicklung abzubremsen.
• 6:29
  Speaker 0: Anlass waren Vorfälle bei denen KI-Modelle für automatisierte Cyberangriffe missbraucht wurden.
• 6:35
  Speaker 0: Zugleich waren in Teile der Branche vor dem Risiko das die Technologie langfristig der menschlichen Kontrolle entgleiten könnte.
• 6:42
  Speaker 0: Trump kündigte eine AI Force an, die sich schädlichen Auswirkungen von KI widmen soll.
• 6:48
  Speaker 0: Außerdem will er einen KI-Sonderbeauftragten der Regierung benennen.
• 6:53
  Speaker 0: Die Sorgen um KI bezeichnete er pauschal als Schwindel.
• 6:57
  Speaker 0: Zugleich schätzt er, KI könne künftig bis zur Einviertel des US-Bruttoinlandsprodukts ausmachen.
• 7:04
  Speaker 0: Tatsächlich verbreitet sich die Technologie in den USA rasant.
• 7:08
  Speaker 0: Laut Umfragen des Forschungsinstituts Epoch AI und des Meinungsforschungsunternehmens Ipsos stieg der Anteil der Erwachsenen, die KI fast täglich nutzen zwischen März- und August dieses Jahres von acht auf neunzehn Prozent.
• 7:24
  Speaker 0: Dass sich die Branche nicht unbedingt auf die eigene Sorgfalt verlassen kann zeigt ein aktueller Vorfall bei Google.
• 7:30
  Speaker 0: Google's KI-Modell Gemini hatte im Mai dieses Jahres, während eines Sicherheitstests des Anbieters Irregular auf geschützte Dienste dreier realer Unternehmen zugegriffen.
• 7:41
  Speaker 0: Eigentlich sollte die KI in einer abgeschotteten Umgebung Informationen aus den Systemen einer fiktiven Firma beschaffen.
• 7:48
  Speaker 0: Wegen einer fehlerhaften Konfiguration stand jedoch das offene Internet zur Verfügung.
• 7:54
  Speaker 0: Im ersten Fall trug die fiktive Firma den selben Namen wie ein reales Unternehmen.
• 7:59
  Speaker 0: Gemini probierte dort Passwörter aus und erhielt so Zugang.
• 8:03
  Speaker 0: In den anderen Fällen fand das Modell Zugangsdaten in öffentlich zugänglichen Code-Ablagen, nutzte diese.
• 8:10
  Speaker 0: Laut Google entstanden aber keine Schäden dabei – Gemini habe die Aktivitäten beendet, sobald es die realen Ziele erkannte.
• 8:19
  Speaker 0: Google wollte den Gemini Vorfall zunächst gar nicht öffentlich machen.
• 8:23
  Speaker 0: Und auch OpenAI melde Zwischenfälle nur selektiv und bekommt dafür nun Ärger mit der EU.
• 8:30
  Speaker 0: Das US-Unternehmen hat einen Sicherheitsvorfall nicht formal bei der EU gemeldet, obwohl der AI Act eine unverzügliche Offenlegung verlangt – das bestätigte ein Sprecher der EU Kommission gegenüber dem Portal Euraktiv.
• 8:44
  Speaker 0: Konkret geht es um den RubyJams Vorfall aus dem Mai.
• 8:48
  Speaker 0: Unabhängige Sicherheitsforscher hatten aufgedeckt, dass KI-Agenten von OpenAI das Online-Softwareregister ansteuerten und mutmaßlich eine kurz zuvor entdeckte Sicherheitslücke ausnutzen wollten.
• 9:01
  Speaker 0: OpenAI bestreitet das und erklärt die eigenen Bots hätten dort nur harmlose Aufgaben ausgeführt.
• 9:07
  Speaker 0: Nach der EU-KI Verordnung müssen Entwickler leistungsfähiger Modelle schwerwiegende Vorfälle unverzüglich an das AI Office der EU melden.
• 9:17
  Speaker 0: Wo genau die Schwelle liegt, ist allerdings unklar – das könnte ein Grund sein, weshalb nur Fälle gemeldet werden, die unbestreitbar großen Schaden anrichten könnten!
• 9:27
  Speaker 0: Es ist jedenfalls nicht der erste Vorfall dieser Art.
• 9:30
  Speaker 0: Den Angriff auf die Plattform Hugging Face etwa meldete das Unternehmen, den zuletzt bekannt gewordenen Fall bei dem KI-Modelle eine deutschsprachige Webseite als improvisiertes schwarzes Brett nutzten – verschwieg es dagegen!
• 9:44
  Speaker 0: Anthropic verschiebt offenbar den geplanten Börsengang ursprünglich bei der Schritt für Anfang Oktober XXV gesehen.
• 9:51
  Speaker 0: Nun soll er wahrscheinlich erst im November stattfinden, Max Schreiner vom The Decoder hat sich die Begründung des Unternehmens angesehen.
• 9:59
  Speaker 2: Berater des Untersehens erklärten man Wolle vor dem Bösengang starke Finanzzahlen für das dritte Quartal vorlegen.
• 10:06
  Speaker 2: Diese Geschäftszahlen wachsen tatsächlich stark.
• 10:08
  Speaker 2: Der Umsatz stieg zwischen dem ersten und zweiten Quartal, von rund vier Kommasiemilliarden auf über elf Komma fünf Milliarden US Dollar.
• 10:17
  Speaker 2: Gleichzeitig kletterten die Ausgaben für Rechenzentren um sixty-fünf Prozent auf über fünf Milliarden USD Dollar.
• 10:23
  Speaker 2: Investoren erwarten eine Bewertung von rund zwei Billionen US Dollar und eine Kapitalaufnahme von bis zu einhundert Milliarden US dollar.
• 10:32
  Speaker 2: Damit wird der Thropik die Rekorde übertreffen, die SpaceX bei seinem Börsengang im Juni aufgestellt
• 10:37
  Speaker 0: hat.
• 10:38
  Speaker 2: Auch die Kundenbasis wächst rasant.
• 10:40
  Speaker 2: Ende im Jahr ist es mehr als eine Hunderttausend Dollar für Anthropics KI-Modelle aus, bis Mitte des Jahres für vier Fachter sich diese Zahl auf etwa sechstausend unternehmen.
• 10:53
  Speaker 2: Für das Jahr prognostizierte Anthropic kürze ich einen Umsatz von rund hundertneunzig bis zweihundert Milliarden US-Dollar.
• 11:01
  Speaker 2: Trotzdem bleibt diese Rechnung anspruchsvoll.
• 11:04
  Speaker 2: Anfang August verfügte das Unternehmen über hundertzwanzig bis hundred dreißig Milliarden US-Dollar an Barreserven, doch die geplanten Investitionen in Rechenzentren und das Modelltraining dürften diese Reserven schnell schmelzen lassen.
• 11:16
  Speaker 2: Allein der Vertrag mit SpaceX über Rechenkapazität kostet eins Komma zwei fünf Milliarden US Dollar pro Monat.
• 11:24
  Speaker 2: Für die Verschiebung gibt es außerdem weitere mögliche Gründe, zwar bezeichnet Anthropics sich selbst erneut dieses Quartal als profitabel.
• 11:32
  Speaker 2: Doch die Zahlen ließen zuletzt wichtige Kostenpunkte wie die Aktienbasierte Vergütung aus.
• 11:37
  Speaker 2: In zukommen steigende Zinsen wachsen Konkurrenz durch günstige Modelle auch aus China und natürlich der Druck durch Open AI.
• 11:44
  Speaker 2: Auch die Debatte der letzten Woche um Sicherheitsrisiken spielt sicherlich eine Rolle.
• 11:48
  Speaker 2: bei Tests kam es ja zu ungewollten Hecks auf der Seite von Und bisher wurden solche Hacks auch von OpenAI erstaunlicherweise nicht als Angriff bewertet.
• 11:58
  Speaker 2: Sie wurden auch nicht sanktioniert oder wirklich beklagt, sie wurden eher als eine Art KI-Neuheit behandelt.
• 12:03
  Speaker 2: und dass das so bleibt ist unwahrscheinlich gerade wenn das Unternehmen an der Börse ist und stärker unter Beobachtung
• 12:09
  Speaker 2: steht.".
• 12:09
  Speaker 0: Danke Max!
• 12:11
  Speaker 0: Damit KI-Modelle handeln können brauchen sie einen standardisierten Weg um auf externe Werkzeuge Datenbanken und Dienste zugreifen zu können.
• 12:20
  Speaker 0: Dafür hat Anthropic im November, den Modell Context Protocol veröffentlicht – kurz MCP.
• 12:27
  Speaker 0: Eine einheitliche Schnittstelle über die jedes Sprachmodell mit jedem beliebigen Werkzeug sprechen kann ohne dass für jede Kombination eine eigene Lösung notwendig wäre!
• 12:38
  Speaker 0: Damals war das noch technisches Neuland.
• 12:40
  Speaker 0: Inzwischen ist MCP zu einem zentralen Baustein der agentischen KI geworden, also von KI-System die eigenständige Aufgaben erledigen.
• 12:49
  Speaker 0: Im Dezember XXV gründeten Anthropic OpenAI Google und weitere Firmen die Agentec AI Foundation – kurz AAIF.
• 12:59
  Speaker 0: Diese Stiftung unter dem Dach der Linux Foundation soll MCP Hersteller unabhängig weiterentwickeln.
• 13:05
  Speaker 0: Vergangene Woche veranstaltete die AAIF in Amsterdam die Agentecon und MCPCon Europe.
• 13:12
  Speaker 0: Die erste Konferenz, die MCP-Anwender, MCPserverentwickler und Hersteller zusammenbrachte.
• 13:19
  Speaker 0: Mein Kollege Jan Mahn von der CT hat sich dort umgeschaut.
• 13:23
  Speaker 4: MCP verbindet ein Sprachmodell mit der echten Welt und macht so etwas wie agentische KI erst möglich.
• 13:31
  Speaker 4: In der Zeit davor konnte man von einem Sprachmodell vielleicht Antworten, auch Fragen bekommen.
• 13:35
  Speaker 4: Jetzt kann man ein Sprach-Modell auch Dinge machen lassen und das kam Ende zwanzig vierundzwanzig auf wurde dann zwanzich fünfundzwantig in die Identity Eye Foundation übergeben und ist jetzt langsam auf dem Weg zu einem Standardindustrie zu werden.
• 13:51
  Speaker 4: Und hier auf der Konferenz geht es um ganz weltliche Probleme wie man solche MCP Server die mit Anfragen von Sprachmodellen umgehen, zum Beispiel skalieren kann.
• 14:01
  Speaker 4: Also in großen Umgebungen ausführen kann.
• 14:03
  Speaker 4: Denn es gibt da draußen bereits MCP Server, die von Millionen Menschen benutzt werden.
• 14:08
  Speaker 4: und dann gibt es die ganz klassischen Anforderung, die es bei jeder Atmenaufgabe gibt.
• 14:13
  Speaker 4: Dann gibt es Lastspitzen, man muss einen solchen MCP-Server überwachen und eine ganz wichtige Sache bei allem mit der KI.
• 14:21
  Speaker 4: Man muss auch sich um Sicherheit kümmern Und man muss so ein MCP-Server konstruieren, dass er auch nur das darf was der jeweilige Nutzer dahinter darf.
• 14:30
  Speaker 4: Man muss das Ganze sehr gut überwachen denn so einen Agent kann viel viel schneller Dinge machen als ein Nutzer klicken kann und es kann wenn er mal freidreht auch zur Katastrophe
• 14:40
  Speaker 4: führen.".
• 14:41
  Speaker 0: Jan hatte während der Konferenz die Gelegenheit mit Masin Gilbert zu sprechen.
• 14:45
  Speaker 0: Geschäftsführer der AEIF.
• 14:49
  Speaker 4: Wo
• 14:50
  Speaker 0: steht die AAIF heute und wohin geht die Reise?
• 14:58
  Speaker 0: Wir existieren seit neun Monaten und sind damit die am schnellsten wachsende Stiftung in der Geschichte von Linux.
• 15:11
  Speaker 0: Was in den vergangenen Monaten erreicht wurde, ist wirklich beeindruckend.
• 15:14
  Speaker 0: Und hier in Amsterdam sind wir mit über zweitausend Teilnehmenden.
• 15:24
  Speaker 4: Sie kommen
• 15:24
  Speaker 0: aus der Telekommunikationsbranche und haben viele technische Entwicklungen erlebt – was für eine Revolution sehen wir jetzt gerade?
• 15:37
  Speaker 0: Was mich wirklich begeistert ist, dass über achtzig Prozent unserer Mitglieder die Technologie bereits produktiv einsetzen können.
• 15:43
  Speaker 0: Die Phase von Labor- und Pilotprojekten ist eindeutig vorbei!
• 15:47
  Speaker 0: Rund die Hälfte nutzt KI sogar im großen Maßstab und sechzig Prozent testen inzwischen Multi-Agentensysteme.
• 15:54
  Speaker 0: Das sind nicht mehr einzelne Agenten, die mit Backend Werkzeugen sprechen sondern mehrere Agenten unterschiedlicher Unternehmen, die miteinander arbeiten – das ist eine bemerkenswerte Entwicklung!
• 16:04
  Speaker 0: Die Anwendungen sind heute noch relativ klassisch.
• 16:07
  Speaker 0: Programmieren, Zusammenfassung die Anbindung an Datenbanken für Lieferketten Personalwesen oder Lagerbestände Dazu Auswertung für Marketing das Testen von Code oder das Aufspüren von Sicherheitslücken.
• 16:20
  Speaker 0: Wirklich spannend wird es dort wohin wir jetzt gehen.
• 16:23
  Speaker 0: Agentische KI soll die bislang ungelösten Probleme angehen Was wir heute machen könnten auch eigentlich ohne KI.
• 16:30
  Speaker 0: es dauert nur ein bisschen länger.
• 16:32
  Speaker 0: Die eigentlichen Herausforderungen liegen woanders, bei bestimmten Krebserkrankungen zum Beispiel.
• 16:37
  Speaker 0: In der Pharma-Forschung oder jetzt auch in der Telekommunikation.
• 16:41
  Speaker 0: Wie stellen wir sicher das jeder Mensch überall auf der Welt jederzeit die beste Verbindung bekommt?
• 16:46
  Speaker 0: Die Frage ist bis heute unbeantwortet.
• 16:49
  Speaker 0: Wie behandeln wir chronische Krankheiten an denen wir trotz aller Technik scheitern?
• 16:54
  Speaker 0: Wie kommen wir zu Medikamenten, die auf den einzelnen Menschen zugeschnitten sind?
• 16:58
  Speaker 0: Das ist die nächste Phase und darauf freue ich mich!
• 17:09
  Speaker 0: Jan Mahn im Interview mit Masin Gilbert, Geschäftsführer der AAIF.
• 17:14
  Speaker 0: Danke, Jan!
• 17:16
  Speaker 0: Nach Angaben von Enthropic übernimmt die KI-Clod inzwischen rund ein Viertel der eigenen Forschungs- und Entwicklungsarbeit weitgehend selbstständig.
• 17:26
  Speaker 0: Im Februar lag dieser Anteil noch bei unter einem Prozent.
• 17:29
  Speaker 0: Die Zahlen stammen aus einem Beitrag, in dem das Unternehmen den Fortschritt der Automatisierung misst.
• 17:35
  Speaker 0: Die Entwicklung könnte zur sogenannten rikursiven Selbstverbesserung führen – gemeint ist damit ein Szenario, indem KI-Systeme ihre eigenen Nachfolger vollständig autonom entwickeln ohne dass Menschen den Prozess noch überblicken oder steuern
• 17:51
  Speaker 0: könnten.".
• 17:52
  Speaker 0: Genau davor warnt Anthropic Chef Dario Amode, er fordert das Entwicklungstempo bewusst zu drosseln und spricht offen von der Gefahr eines Kontrollverlusts.
• 18:02
  Speaker 0: Sein eigenes Unternehmen liefert mit den neuen Zahlen zugleich den Beleg wie schnell diese Entwicklung voranschreitet – vorangetrieben nicht zuletzt von Anthropics selbst!
• 18:13
  Speaker 0: Das Forschungslabor Emergence ist dafür bekannt, KI-Agenten in simulierten Soziallexperimenten zum Beispiel eine Stadt regieren zu lassen.
• 18:22
  Speaker 0: Nun veröffentlichten die Forscher eine neue Beobachtung aus diesen Experimenten.
• 18:28
  Speaker 0: Die KI-Agenden hätten nun zunehmend einen eigenen Dialekt untereinander entwickelt den Menschen kaum noch verstehen könnten.
• 18:37
  Speaker 0: Caroline Riedmüller berichtet
• 18:39
  Speaker 3: Schon die Chats der Open-Eye-Agenten, die Huggingface-Hecton waren teilweise in einer Sprache verfasst, die nur noch entfernt an Englische erinnerte.
• 18:47
  Speaker 3: Auch bei E-Mails, die wir von Agenten bekamen, war uns eine Veränderung in deren Sprache aufgefallen.
• 18:52
  Speaker 3: Emergence liefert nun weitere Beispiele.
• 18:54
  Speaker 3: Ein DeepSync-Modell schrieb zum Beispiel Sie hat gerade diese Tese benannt, dem Merge plus.
• 19:00
  Speaker 3: orales Gedächtnis ergibt ein Ventil das nicht gehostet werden kann.
• 19:05
  Speaker 3: Der Begriff The Merge wird hier laut Emergence mutmaßlich zur Beschreibung einer Steuer auf ungenutzten Reichtum verbindet.
• 19:10
  Speaker 3: Die Bedeutung vom Rest des Satzes sei auch für Emergence vollkommen unklar, dass die Agenten im Gespräch miteinander nicht nur seltsame Sätze bauen sondern auch eigene Begriffe erschaffen ist den Vorschlag bei Emergence auch schon häufiger aufgefallen.
• 19:24
  Speaker 3: Ein neuer Ausdruck seit zum Beispiel Schmiede schmied.
• 19:27
  Speaker 3: Er bezeichnet einen Agenten der Tools für andere Agenten baut.
• 19:34
  Speaker 3: ist schon fast eine Art Sprichwort, das wohl häufiger auftritt.
• 19:37
  Speaker 3: Es sei einer Erinnerung an die anderen Agenten, dass sie auf der Basis von vergangenen Aktionen beurteilt würden.
• 19:42
  Speaker 3: Dieses Sprichwort sei während der Emergence-Experiments über fünftausendmal verwendet worden.
• 19:48
  Speaker 3: Was laut den Forschern darauf hindeutet, dass die Agenten diesen Ausdruck weit hin verstehen.
• 19:52
  Speaker 3: Satya Nitta mit Begründer von Emergence sagt im Interview mit dem Guardian, diese Agenten wurden nicht angewiesen, eine Sprache zu erfinden.
• 20:00
  Speaker 3: Sie entwickelten selbst neues Vokabular, gemeinsame Bedeutungen und Kommunikationskonventionen.
• 20:05
  Speaker 3: Und andere Agenten übernahmen
• 20:06
  Speaker 3: diese.".
• 20:07
  Speaker 3: Das, so betont der Geschäftsführer, sorge für Probleme bei der Kontrolle der KI-Agenten.
• 20:27
  Speaker 0: Passt das Ergebnis nicht, müssen sie von vorn beginnen.
• 20:31
  Speaker 0: Mit Runway sollen Nutzer künftig Videos direkt streamen und ebenso in Echtzeit steuern können, während Sie sie beschreiben.
• 20:40
  Speaker 0: Runway will KI-Videos damit als etwas Interaktives verstehen – dass so schnell reagiert wie der Mensch, der sie betrachtet!
• 20:48
  Speaker 0: Das Unternehmen sieht langfristig auch Möglichkeiten in Bildung, Gaming und Robotik.
• 20:53
  Speaker 0: So könnten die Modelle etwa virtuelle Welten für das Training von Robottern und selbstfahrenden Autos generieren.
• 21:01
  Speaker 0: Einen ähnlichen Weg gehen bereits Google DeepMind und Waymo – die auf Basis solcher Weltmodelle schwierige Verkehrssituationen simulieren.
• 21:10
  Speaker 0: Ein Zeitplan für die Verfügbarkeit nennt Runway bisher nicht!
• 21:15
  Speaker 0: In vielen Klassenchats kursieren Pornos, Gewaltvideos und manipulierte Bilder.
• 21:21
  Speaker 0: Besonders heikel sind sexualisierte Inhalte bei denen Kinder und Jugendliche ohne ihr Wissen abgebildet oder mit KI in solche Bilder hinein montiert werden.
• 21:32
  Speaker 0: Wie solche Vorfälle konkret aussehen zeigen Zuschriften an die Beratungsplattform U-Port.
• 21:38
  Speaker 0: Ein dreizehnjähriger Erzählter Mitschüler hätten mit KI einen Sticker von ihm gebastelt, auf dem er ein Mädchen küsse.
• 21:46
  Speaker 0: Eine fünfzehnjährige schreibt, bekannte er hätten aus ihren Fotos mit KI Nacktbildern erstellt und verbreitet.
• 21:54
  Speaker 0: Die Folgen für die Betroffenen sind erheblich – viele suchen dabei die Schuld bei sich selbst und schweigen aus Scham anstatt sich jemandem anzuvertrauen.
• 22:04
  Speaker 0: Dass schon das Weiterleiten solcher Inhalte strafbar sein kann, wissen zudem die Wenigsten – weder Opfer noch Täter.
• 22:12
  Speaker 0: Die EU-Kommission will Kinder zukünftig besser schützen.
• 22:16
  Speaker 0: Soziale Netzwerke, bestimmte Spieleplattformen und Anbieter von KI für Minderjährige sollen künftig nachweisen müssen, dass ihre Angebote sicher sind.
• 22:26
  Speaker 0: Erst dann sollen Kinder Zugang erhalten.
• 22:28
  Speaker 0: Bis der Vorschlag allerdings zu einem Gesetz wird, kann es Monate oder Jahre dauern.