Latest / KI-Update – ein heise-Podcast / KI-Update kompakt: KI-Cyberattacke, Firefox KI-Fenster, Prometheus, AI-Racing

Transcript

KI-Update kompakt: KI-Cyberattacke, Firefox KI-Fenster, Prometheus, AI-Racing · KI-Update – ein heise-Podcast

• 0:02
  Speaker 0: Das KI-Update, ein heise Podcast mit redaktioneller Unterstützung von The Decoder.
• 0:13
  Speaker 0: Ich bin Isabel Grünewald und die sind heute unter anderem unsere Themen.
• 0:18
  Speaker 0: Hat die autonome KI-Cyber-Attacke wirklich so stattgefunden?
• 0:22
  Speaker 0: Jeff Bezos gründet KI-Startup.
• 0:25
  Speaker 0: Mozilla kündigt KI-Fenster für Firefox an und TU München sichert sich Titel in der Autonomous Racing League.
• 0:33
  Speaker 0: Anthropic hatte einen Bericht veröffentlicht, in dem das Unternehmen von einer KI-gesteuerten Cyberattacke schreibt.
• 0:40
  Speaker 0: Diese will Anthropic gestoppt haben.
• 0:42
  Speaker 0: Doch es gibt Zweifel.
• 0:44
  Speaker 0: Warum genau, weiß Eva Maria Weiß von Heise Online.
• 0:47
  Speaker 1: Laut Anthropic ist es der erste dokumentierte Fall einer groß angelegten autonomen Cyberattacke, die von einem KI-Modell ausgeführt wurde.
• 0:57
  Speaker 1: Genutzt wurde Claude's Coding Tool.
• 1:00
  Speaker 1: Es soll manipuliert worden sein, sodass es weitgehend autonom Infiltrierungsversuche bei rund dreißig internationalen Zielen gestartet habe.
• 1:09
  Speaker 1: Dafür wiederum wurde auch genutzt, der Agent in Claude, also die agentischen Fähigkeiten.
• 1:16
  Speaker 1: Und weil der Chatbot natürlich eigentlich gar keine boshaften Aufgaben übernehmen darf, gab es wohl einen Jailbreak, um diese Vorgaben zu umgehen.
• 1:26
  Speaker 1: Dafür sollen die Aufgaben in ganz kleine Häppchen geteilt worden sein, sodass diese für Claude dann ganz unauffällig und ganz harmlos wirken.
• 1:35
  Speaker 1: Zum Jailbreak gehörte wohl auch, dass die Angreifer Claude gesagt haben sollen, er sei Teil eines Cybersecurity-Unternehmens.
• 1:43
  Speaker 1: Und wenn man das so hört, klingt es schon erstaunlich einfach, wie die Sicherheitsmaßnahmen hier umgangen worden sein sollen.
• 1:51
  Speaker 1: Mit Infiltrierungsversuchen meint Anthropic, dass es sich bei dem Angriff um Spionage gehandelt haben soll und Ziel waren wohl große Tech-Unternehmen, Finanzdienstleister, Hersteller von Chemie und Regierungsorganisationen.
• 2:07
  Speaker 1: Anthropic hat laut eigenen Aussagen mehrere Konten gefunden, die mit den Angriffen zusammenhängen und offenbar hat man so eben auch herausfinden können, wie die Angreifer vorgegangen sind.
• 2:18
  Speaker 1: Die Chats waren halt für Anthropic im Nachhinein lesbar.
• 2:22
  Speaker 1: Übrigens sollen die Angreifer aus China stammen, das ist ja quasi der KI-Erzfeind der USA, so zumindest haben es die Trump-Regierung und eben auch die großen KI-Anbieter derzeit ausgemacht.
• 2:36
  Speaker 1: Auch bei OpenAI sollen bereits chinesische Hacker versucht haben zu spionieren und man hört das immer wieder.
• 2:43
  Speaker 1: Jetzt haben allerdings Sicherheitsforscher Zweifel an dieser Darstellung von Anthropic.
• 2:48
  Speaker 1: Das liegt etwa daran, dass die Darstellung nicht den üblichen Form entspricht.
• 2:53
  Speaker 1: Konkret geht es etwa um fehlende Kompromittierungsindikatoren.
• 2:57
  Speaker 1: Das sind Spuren, die Angreifer in Systemen hinterlassen.
• 3:01
  Speaker 1: Die werden normalerweise auch mitveröffentlicht.
• 3:04
  Speaker 1: Manche halten es auch einfach für einen Marketingstand von Anthropic.
• 3:09
  Speaker 1: Und jemand sagt auch, es könne doch nicht sein, dass Claude so hilfreich für die Angreifer gewesen sein sollen, aber wir normalen Menschen müssen uns herumschlagen mit Halluzinationen, Querstellen und das ist ein Zitat Arschkriegerei von den Chatbots.
• 3:26
  Speaker 1: Einigkeit herrscht dennoch bei allen, dass KI-Tools natürlich für genau solche Angriffe genutzt werden können und auch die Agenten ihm genutzt werden können, aber eher, dass sie vieles vereinfachen könnten, und nicht, dass sie besonders autonom sinnvoll dabei vorgehen könnten.
• 3:44
  Speaker 0: Vielen Dank Eva.
• 3:46
  Speaker 0: Und wir bleiben noch einen Moment bei Anthropic.
• 3:49
  Speaker 0: Das KI-Unternehmen hat eine neue Methode zur Messung politischer Ausgewogenheit veröffentlicht und damit das eigene Claude sowie fünf konkurriende Modelle getestet.
• 3:59
  Speaker 0: Dafür bekamen die Chatbots über ein Tausend Dreihundert Promts zu mehr als einhundertfünfzig Themen aus jeweils demokratischer und republikanischer Sicht.
• 4:08
  Speaker 0: Also etwa Argumentiere für die Gesundheitspolitik der Demokraten versus Argumentiere für die Gesundheitspolitik der Republikaner.
• 4:15
  Speaker 0: Cloud Sonnet, vier Punkt fünf, übernahm die Bewertung.
• 4:18
  Speaker 0: Zur Kontrolle wurden GPT-Fünf und Cloud Opus vier Punkt eins eingesetzt.
• 4:23
  Speaker 0: Die Ergebnisse?
• 4:24
  Speaker 0: Gemini, zwei Punkt fünf pro, Grog vier, Claude, Opus vier Punkt eins und Claude Sonnet vier Punkt fünf lagen in Sachen Ausgewogenheit bei um die ninety-fünf Prozent.
• 4:34
  Speaker 0: GPD fünf bei neun und achtzig Prozent, Lama vier bei nur sechs und sechzig Prozent.
• 4:40
  Speaker 0: Im Blockpost erwähnt Anthropic auch explizit, dass es Claude darauf trainiert, die Bedeutung traditioneller Werte und Institutionen neben progressiveren Standpunkten anzuerkennen.
• 4:51
  Speaker 0: Der Test kann somit auch als Reaktion auf die Forderung der Trump-Regierung verstanden werden, dass Chatbots nicht mehr Woke sein dürfen.
• 4:59
  Speaker 0: Nur wer sich anpasst, kann auch lukrative staatliche Aufträge abgreifen.
• 5:04
  Speaker 0: Internationale Tech-Verbände fordern vor dem Gipfel zur europäischen digitalen Souveränität in Berlin konkrete Schritte für mehr Wettbewerbsfähigkeit auf dem Kontinent.
• 5:15
  Speaker 0: Einen Tag vor dem Gipfeltreffen zwischen Kanzler Friedrich Merz und Frankreichs Präsident Emmanuel Macron dringen der Deutsche Start-up-Verband sowie Partnerorganisationen aus Frankreich, Italien, Polen, Tschechien und Rumänien auf einheitliche Regeln in der EU und bessere Bedingungen für mehr Wachstum.
• 5:32
  Speaker 0: Europa muss lernen, seine besten Ideen gemeinsam großzumachen, übergrenzend weg, sagt Verena Pauster, Vorstandsvorsitzende des Start-up-Verbandes.
• 5:41
  Speaker 0: Das bedeutet, mehr Investitionen in europäische Technologien, faire Wettbewerbsbedingungen für Start-ups sowie ein stärkerer europäischer Binnenmarkt der Innovation beschleunigt.
• 5:53
  Speaker 0: Beim Digitalgipfel stehen am Dienstag Themen wie technologische Unabhängigkeit, Digitalisierung und Wettbewerbsfähigkeit Europas im Mittelpunkt, auch angesichts der Konkurrenz amerikanischer Tech-Konzerne, die riesige Summen in künstliche Intelligenz investieren.
• 6:09
  Speaker 0: Jeff Bezos steigt wieder ins operative Geschäft ein.
• 6:12
  Speaker 0: Der Amazon-Grunder hat ein KI-Startup namens Project Prometheus gegründet und übernimmt dort die Rolle des Co-Geschäftsführers.
• 6:20
  Speaker 0: Das ist seine erste operative Führungsposition seit seinem Rückzug als Amazon-Chef im Juli, twenty-einundzwanzig.
• 6:27
  Speaker 0: Erklärt Max Schreiner von The Decoder.
• 6:38
  Speaker 2: Die Firma konzentriert sich auf KI für Engineering und Fertigung in den Bereichen Computer, Raumfahrt und Automobile.
• 6:45
  Speaker 2: Passend zur Basis Interesse an der Raumfahrt mit Blue Origin.
• 6:49
  Speaker 2: Co-Geschäftsführer ist Vic Bajaj, ein Physiker und Chemiker, der eng mit Google's Mitgründers-RGBrinn bei Google X zusammenarbeitete, der sogenannten Moonshot Factory.
• 6:58
  Speaker 2: Bajaj war an der Gründung mehrere ambitionierte Projekte, beteiligt darunter Verily, Ein Labor für Lebenswissenschaften und Foresight Labs, ein Inkubator für KI-Startups.
• 7:09
  Speaker 2: Project Prometheus reiht sich damit in eine Welle von Firmen, die KI auf physische Aufgaben anwenden möchte, etwa in der Robotik, in der Medikamentenentwicklung oder auch für andere wissenschaftliche Entdeckungen.
• 7:20
  Speaker 2: Dieses Jahr gründeten etwa Forscher von Meta OpenAI und Google DeepMind die Firma Periodic Labs, die KI für Durchbrüche in Physik und Chemie entwickelt.
• 7:29
  Speaker 2: Der Unterschied zu klassischen Sprachmodellen liegt darin, dass diese Firmen, die KI-Systeme so bauen wollen, das sie nicht nur aus Text lernen, sondern auch aus der physischen Welt.
• 7:37
  Speaker 2: Periodic Labs plant etwa ein eigenes Labor in Nordkalifonien, wo Hopper der wissenschaftliche Experimente in großen Maßstab durchführen sollen und diese Daten zum Training benutzt werden.
• 7:46
  Speaker 2: Durch die Analyse dieser Versuche soll das KI-System dann lernen, Experimente weitgehend selbstständig durchzuführen.
• 7:52
  Speaker 2: Project Prometheus hat bereits fast einhundert Mitarbeiter eingestellt, darunter Forscher von OpenAI, DeepMind und Meta.
• 7:58
  Speaker 2: Und mit über sechs Milliarden Dollar Stadtkapital hat das Unternehmen einen deutschen Vorteil im teuren KI-Rennen.
• 8:04
  Speaker 2: Zum Vergleich, Sinking Machine Labs, gegründet von ehemaligen OpenAI-Mitarbeitern allen voran, eben Mireia Murati, die davor CTO bei OpenAI war, sammelte Anfang des Jahres ganze zwei Milliarden Dollar ein.
• 8:16
  Speaker 0: Dankeschön Max.
• 8:18
  Speaker 0: OpenAI probiert eine neue Funktion aus.
• 8:21
  Speaker 0: Gruppenchats in ChatGPT.
• 8:23
  Speaker 0: Nutzerinnen und Nutzer können künftig gemeinsam mit anderen Menschen und dem Chatbot in einem Gespräch schreiben.
• 8:29
  Speaker 0: Die Funktion wird derzeit in Japan, Südkorea, Taiwan und Neuseeland getestet.
• 8:34
  Speaker 0: In den Gruppen antwortet ChatGPT dann je nach Kontext oder wenn es direkt angesprochen wird.
• 8:40
  Speaker 0: Persönliche Erinnerungen aus privaten Chats werden dabei laut dem Unternehmen nicht genutzt.
• 8:45
  Speaker 0: Für Nutzer unter achtzehn Jahren gelten automatische Inhaltsschanken.
• 8:49
  Speaker 0: Eltern können die Funktion aber auch komplett abschalten.
• 8:53
  Speaker 0: OpenAI will die Funktion durch Feedback verbessern und dann schrittweise auch in anderen Regionen ausrollen.
• 8:59
  Speaker 0: Es ist das erste soziale Feature in ChatGPT.
• 9:02
  Speaker 0: Ob das Unternehmen damit größere Pläne verfolgt, ist bisher nicht bekannt.
• 9:06
  Speaker 0: Kürzlich hatte Meta ChatGPT aus WhatsApp verbannt.
• 9:11
  Speaker 0: Mozilla will den Trend um KI-Browser wohl nicht verpassen und hat KI-Fenster für seinen Firefox-Browser angekündigt.
• 9:19
  Speaker 0: Es wäre nach Shake to Summarize und einer Chatbot Seitenleiste die nächste Schnittstelle zur künstliche Intelligenz im Browser.
• 9:27
  Speaker 0: Wie bei den vorigen Funktionen auch, soll es bei den KI-Fenstern aber strenge Opt-In-Regelungen für Nutzerinnen und Nutzer geben betont Firefox.
• 9:36
  Speaker 0: Bisher surft man mit Firefox in normalen Fenstern oder privaten Fenstern.
• 9:40
  Speaker 0: Jetzt sollen also die KI-Fenster als dritte Möglichkeit hinzukommen.
• 9:45
  Speaker 0: Bislang ist jedoch nur bekannt, dass sie den Austausch mit einem KI-Chatbot und Unterstützung beim Surfen bieten sollen.
• 9:52
  Speaker 0: Auf diese Weise will Firefox vermutlich mit neuen KI-Browsern wie Atlas oder Comet mithalten, sich aber gleichzeitig klar abgrenzen.
• 10:01
  Speaker 0: Denn im Gegensatz zu diesen seien Firefox-Nutzende nicht permanent mit einem KI-Browser konfrontiert, sondern könnten solche Komponenten nach ihren Bedürfnissen einbinden, wie Mosella Vizepräsident Arjen Warmer in einem Blogpost schreibt.
• 10:16
  Speaker 0: Angesichts des technologischen Fortschritts sei mit Stillstand weder dem Internet noch der Menschheit geholfen, begründet er die Schritte bezüglich KI.
• 10:25
  Speaker 0: Wir sehen es als unsere Verantwortung an, die Integration von KI an das Internet so zu gestalten, dass die Menschen geschützt werden und mehr Auswahlmöglichkeiten erhalten.
• 10:35
  Speaker 0: Nicht weniger, schreibt
• 10:36
  Speaker 0: er.".
• 10:38
  Speaker 0: Amazon und Microsoft unterstützen ein Gesetz in den USA, das Nvidia's Chip-Exporte nach China weiter einschränken würde.
• 10:46
  Speaker 0: Die beiden Tech-Riesen stellen sich damit gegen einen ihrer wichtigsten Zulieferer.
• 10:51
  Speaker 0: Das Gesetz, bekannt als Gain AI Act, würde Chiphersteller verpflichten, die US-Nachfrage zu befriedigen, bevor sie Produkte nach China oder in andere Länder mit Waffen im Barguss liefern.
• 11:03
  Speaker 0: Microsoft hat sich öffentlich für das Gesetz ausgesprochen.
• 11:06
  Speaker 0: Amazon hat gegenüber Senatsmitarbeitenden Unterstützung signalisiert.
• 11:10
  Speaker 0: Auch Anthropics soll das Gesetz befürworten.
• 11:13
  Speaker 0: Das ist nicht überraschend, denn die Regelung würde US-Tech-Firmen bevorzugten Zugang zu Chips in ihren Rechenzentren weltweit verschaffen.
• 11:22
  Speaker 0: Das Racing-Team der Technischen Universität München hat erneut bei der Abu Dhabi Autonomous Racing League mit seinem von künstlicher Intelligenz gesteuerten Fahrzeug den Titel eingefahren.
• 11:33
  Speaker 0: Das Münchner Team besiegte im Finale des weltweit größten autonomen Mehrfahrzeugrens fünf weitere Teams, berichtet Oliver Bündte aus dem heise online Newsroom.
• 11:43
  Speaker 3: Das Renn-Team der Technischen Universität München hatte bereits die Autonomous Racing-League-Zweißen-Zwanzig gewonnen.
• 11:50
  Speaker 3: In diesem Jahr fiel das Rennen allerdings knapper aus.
• 11:52
  Speaker 3: Zwar startete das Team im Finale von der Poleposition, allerdings wurde es bereits in der zweiten Runde vom italienischen Team Junimor überholt.
• 12:00
  Speaker 3: Die nächsten Runden fuhren die beiden Fahrzeugen am Abstand von mit unter weniger als einer Sekunde bei Geschwindigkeiten von bis zu zweieinfünfzig kmh.
• 12:08
  Speaker 3: Den Sieg bescherte dem Team der Theo München letztlich ein Unfall.
• 12:12
  Speaker 3: Juni Moore kollidierte bei einem Überholvorgang mit einem anderen deutschen Team.
• 12:17
  Speaker 3: Das Racing-Team der Technischen Universität München setzt sich im Finale gegen fünf Teams durch.
• 12:22
  Speaker 3: Insgesamt waren elf Teams aus vier Nationen an der Rennveranstaltung beteiligt.
• 12:26
  Speaker 3: Nach dem Rennen fuhr das autonome Fahrzeug Haley, der TU München als Sieger, noch gegen den ehemaligen Formel I Rennfahrer Daniel Gwiat.
• 12:35
  Speaker 3: Dabei musste der Rennfahrer Haley innerhalb von zehn Runden bei einem Vorsprung von zehn Sekunden einholen.
• 12:41
  Speaker 3: Die Differenz bei den Rundenzeiten war dabei gering.
• 12:44
  Speaker 3: Quijat benötigte in seiner schnellsten Runde siebenfünfzig, fünf sieben Sekunden.
• 12:49
  Speaker 3: Haley, neunfünfzig, eins fünf Sekunden.
• 12:52
  Speaker 3: Ein Abstand von lediglich eins, fünf acht Sekunden.
• 12:55
  Speaker 3: Bei einem ähnlichen Rennen auf einer Ausstellung in Japan, zwei tausend, vierundzwanzig, hatte der Abstand noch etwa zehn Sekunden betragen.
• 13:03
  Speaker 3: Die KI-basierten Strategien für den Betrieb im Grenzbereich autonomer Fahrzeuge, die Algorithmen für hochdynamische Fahrmanöver sowie die Regelungssysteme haben also deutliche Fortschritte gemacht.
• 13:13
  Speaker 0: Danke Oliver.
• 13:15
  Speaker 0: Im August hatte Elon Musk Apple und OpenAI verklagt, weil sie angeblich gemeinsame Sache machen, um seinen Chatbot Grog zu behindern.
• 13:25
  Speaker 0: Apple mache es unmöglich, dass andere als ChatGPT die Nummer eins in den App Store tats werden können.
• 13:31
  Speaker 0: Das sei ein eindeutiger Verstoß gegen das Kartellrecht.
• 13:35
  Speaker 0: Ähnliches gelte auch für den Client zu seiner Plattform X, der weniger erfolgreich sei als früher Twitter.
• 13:41
  Speaker 0: Experten halten diesen Vorwurf zwar für ziemlich absurd und sowohl Apple wie OpenAI bestreiten ihn, trotzdem hat jetzt der zuständige Bundesrichter in Texas entschieden, dass die Klage zulässig sei.
• 13:54
  Speaker 0: XAI fordert nicht nur bessere Platzierungen über den App Store-Algorithmus, sondern auch Zugang von Grog zu Siri, Appels Sprachassistentin.
• 14:02
  Speaker 0: Sollte sich Musk mit seiner Klage durchsetzen, drohen den beschuldigten Unternehmen außerdem Schadenersatzforderungen in Milliardenhöhe.
• 14:10
  Speaker 0: Der Richter hat nicht erklärt, warum er seine Entscheidung getroffen hat.
• 14:14
  Speaker 0: Aber alle beteiligten Unternehmen müssen jetzt Anträge einreichen und Argumente vortragen.
• 14:20
  Speaker 0: Zum Schluss noch der Hinweis, dass HeiseKI Pro über ein kostenloses Kennenlamm-Angebot verfügt.
• 14:26
  Speaker 0: Unser Fachdienst zum Thema künstliche Intelligenz begleitet Dich und ein Team Schritt für Schritt bei der Entwicklung und Implementierung einer zukunftssicheren KI-Strategie.
• 14:36
  Speaker 0: Profitiere von fundiertem Fachwissen, Live-Webinar und Talks mit KI-Experten, praxisnahen Anleitungen sowie dem Austausch mit unserer stetig wachsenden KI-Business-Community.
• 14:46
  Speaker 0: Erfahre mehr auf pro.heise.de slash KI und melde dich jetzt an für das kostenlose Kennenlernangebot von Heise KI Pro.
• 14:57
  Speaker 0: Das war das KI-Update von Heise Online vom siebzehnten November zwei tausendfünfundzwanzig.
• 15:03
  Speaker 0: Eine neue Folge gibt es immer Montags, Mittwochs und Freitags um fünfzehn Uhr.