Latest / KI-Update – ein heise-Podcast / KI-Update kompakt: KI-Allianz, Claude Cowork, MAI-Cyber, Expenditure Horizon

Transcript

KI-Update kompakt: KI-Allianz, Claude Cowork, MAI-Cyber, Expenditure Horizon · KI-Update – ein heise-Podcast

• 0:02
  Speaker 1: Das KI Update, ein Heise-Podcast mit redaktioneller Unterstützung von The Decoder.
• 0:13
  Speaker 1: Ich bin Isabel Grünewald und die sind heute unter anderem unsere Themen.
• 0:18
  Speaker 1: Nvidia versammelt Textschwergewichte für neue KI-Aliens – Claude Cowork & Kommt Mac OS Sandbox!
• 0:26
  Speaker 1: Microsoft stellt eigenes KI-Modell für Cybersecurity vor und neue Kennzahl misst wann sich KI Entwickler lohnt?
• 0:36
  Speaker 1: Nvidia hat eine neue Allianz zur Sicherheit von KI-Systemen ins Leben gerufen, die siebenunddreißig Technologieunternehmen vereint.
• 0:44
  Speaker 1: Die OpenSecureAI Alliance soll Open Source Werkzeuge entwickeln um KI-Agenten sicherer zu machen und Cyberangrafer abzuwehren.
• 0:53
  Speaker 1: Tomislav Besmalinovich von Heise Online mit den Einzelheiten.
• 1:04
  Speaker 2: Darunter Microsoft, IBM, SpaceX, Cisco und SAP.
• 1:09
  Speaker 2: Auffällig ist jedoch wer fehlt?
• 1:11
  Speaker 2: Die führenden Anbieter geschlossener KI-Modelle wie OpenAI, Anthropic und Google sind nicht dabei!
• 1:18
  Speaker 2: Das ist kein Zufall denn die Allianz macht sich für einen Open Source Ansatz bei KI Modellen stark.
• 1:25
  Speaker 2: Der Auslöser für diese Initiative war der Cyberankriff auf die KI-Plattform Hacking Phase.
• 1:31
  Speaker 2: Dabei gelang es KI-Agenten von OpenAI unbemerkt aus ihrer isolierten Testumgebung auszubrechen und sich Zugriff auf die KI-Plattform zu verschaffen.
• 1:42
  Speaker 2: Hugging Face stand vor dem Problem, dass die Sicherheitsmechanismen proprietärer KI-Modelle die notwendigen Analyse an Fragen blockierten.
• 1:51
  Speaker 2: So musste das Unternehmen erfahren chinesisches Open-Wade-Model zurückgreifen um den Angriff einzudämmen.
• 1:58
  Speaker 2: Nvidia's TechAlliance will nun einen offenen Werkzeugkasten entwickeln, mit dem sich KI-Agenten besser testen kontrollieren und absichern lassen.
• 2:08
  Speaker 2: Nvidia steuert dafür das neue Open Source Projekt NOOA bei.
• 2:14
  Speaker 2: andere Partner bringen sichere Formate für Modellgewichte und automatisierte Schwachstellensuche ein.
• 2:21
  Speaker 2: die Neue Allianz positioniert sich damit nicht nur als Sicherheitsinitiative sondern zugleich als offenes Gegengewicht zu den dominierenden, geschlossenen KI-Systemen.
• 2:32
  Speaker 2: Die Initiative fällt in eine laufende politische Debatte – die US-Regierung prüft nach der Vorstellung des leistungsstarken chinesischen Open-Wade Models chimika III mögliche Beschränkungen offener KI-Modelle.
• 2:46
  Speaker 2: Nvidia und andere US-Unternehmen warnten bereits im offenen Brief vor solchen Maßnahmen.
• 2:52
  Speaker 2: Hinter der Debatte stehen aber auch handfeste wirtschaftliche Interessen.
• 2:57
  Speaker 2: NVIDIA profitiert von einem vielfältigen KI-Ökosystem, da das Unternehmen die Hardwareinfrastruktur für KI-Entwicklung und Betrieb liefert.
• 3:08
  Speaker 2: Je mehr KI-Modelle entwickelt und eingesetzt werden lässt er höher ist ihm Nachfrage nach NVIDias Beschleunigerchips.
• 3:18
  Speaker 1: Der Sicherheitsvorfall bei OpenAI hat nun auch über ein tausend Fachleute aus führenden KI-Unternehmen dazu bewegt, Bremsmechanismen für die Entwicklung künstlicher Intelligenz zu fordern.
• 3:31
  Speaker 1: Die Unterzeichnen arbeiten für OpenAI, Anthropic, Meta oder Google – sie warnen vor einem drohenden Kontrollverlust und appellieren an die US-Regierung sich an internationalen Regulierungsmaßnahmen zu beteiligen!
• 3:44
  Speaker 1: Die Expertinnen und Experten befürchten, dass KI-Software bald in der Lage sein könnte sich selbst weiterzuentwickeln.
• 3:51
  Speaker 1: Bereits heute schreibt KI große Teile des Programmcodes in Techunternehmen jedoch noch unter menschlicher Aufsicht!
• 3:58
  Speaker 1: Der Moment der automatisierten KI-Entwicklung gilt als kritischer Wendepunkt – es bestehe ein reales Risiko, das das Entwicklungstembo die menschliche Fähigkeit übersteigt diese Systeme zu verstehen Selbst bei der Nutzung von KI-Agenten direkt auf dem Rechner lauern Gefahren.
• 4:19
  Speaker 1: Das zeigt ein soeben entdecktes Sicherheitsloch in Claude Cowork für den MAC – Ben Schwann, von der MacNi berichtet.
• 4:35
  Speaker 3: Laut Angaben der KI-Sicherheitsfirma Accomplish AI war die Mac-Version der Anwendung betroffen.
• 4:42
  Speaker 3: Angreifern war es möglich, eine Körnellücke auszunutzen um die geschützte Sandbox zu verlassen.
• 4:48
  Speaker 3: Resultat?
• 4:49
  Speaker 3: Potenziell war es möglichst das gesamte Mac-Datei System zu lesen und zu beschreiben.
• 4:54
  Speaker 3: Ob es tatsächlich zu solchen Angriffen kam ist aber unklar – bis zu fünfhunderttausend Nutzer hätten über die Lücke attackiert werden können, schätzt Accomplished AI!
• 5:05
  Speaker 3: Enfropik hat interessanterweise nicht vor, das Sicherheitsproblem zu beheben.
• 5:10
  Speaker 3: Den Bericht von Accomplish-AI nannte die Firma schlicht Informativ.
• 5:14
  Speaker 3: Der Grund?
• 5:15
  Speaker 3: Mittlerweile setzt Claude Covork auf eine virtuelle Maschine in der Cloud – die sogenannte Cloud Execution.
• 5:22
  Speaker 3: Claude Cowork dient als virtueller KI-Kollege für verschiedene Zielgruppen, die mit Präsentationen, Tabellen und mehr hantieren, darunter Anwälte, Mitarbeiter aus Finanzabteilungen oder Marketingleute.
• 5:37
  Speaker 1: Ein schwerwiegendes Datenleg bei Anthropics-KI Chatbot Claude machte tausende private Unterhaltungen über Suchmaschinen auffindbar.
• 5:46
  Speaker 1: Eine einfache Gogelsuche mit einem ganz bestimmten Parameter brachte zahlreiche vertrauliche Chats zum Vorschein, da anfanden sich Krypto Wallet Schlüssel Anwaltsanfragen zu Fehlverhalten und Sozialversicherungsnummern.
• 5:59
  Speaker 1: Die Ursache liegt in Claude's Chat-Teilen-Funktion, die öffentliche Links erstellt.
• 6:05
  Speaker 1: Eine missverständliche Option Make This Chat Discoverable führte dazu, dass nutzende unbeabsichtigt ihre Gespräche für Suchmaschinen zugänglich machten.
• 6:14
  Speaker 1: Google zeigt die Ergebnisse inzwischen nicht mehr an – andere Suchmaschine fanden jedoch zeitweise noch Treffer!
• 6:21
  Speaker 1: Das Lack erinnert an vergleichbare Vorfälle bei OpenAI's ChatGPT und verdeutlicht einmal mehr die Risiken beim Teilen von KI-Unterhaltungen.
• 6:31
  Speaker 1: Microsoft hat ein neues KI-Modell namens MyCyberInsFlash für Cybersecurity vorgestellt, das Modell gehört zur hauseigenen My-Model-Familie und ist speziell darauf ausgelegt Sicherheitslücken in komplexen Codebasen zu identifizieren, erklärt Caroline Riedmüller von Heise Online.
• 6:51
  Speaker 4: MySiberEinsFlash stammt aus der MyThinking-Einzelinie und wurde laut Microsoft vollständig intern auf der Basis von eigenen Trainingsdaten entwickelt.
• 6:59
  Speaker 4: Laut Microsoft's ModelCard hat das Modell insgesamt hundertseizig Milliarden Parameter, von die nur fünf Milliarden gleichzeitig aktiv sind.
• 7:06
  Speaker 4: Das Kontextfenster umfasst zweihundert sechsundfünfzigtausend Tokens.
• 7:11
  Speaker 4: Microsoft integriert das Modelle in Mdash – ein Multiagentsystem mit überhundert spezialisierten Agenten.
• 7:17
  Speaker 4: Diese decken den gesamten Workflow vom Code-Scanning über die Validierung bis zur Patcherzeugung ab.
• 7:23
  Speaker 4: MyCyberIns Flash ist dabei für rund neunzig Prozent aller Aufgaben zuständig, die schwierigsten zehn Prozent eskaliert das System an Open AI's GPT-FünfPunkVier.
• 7:32
  Speaker 4: Diese Kombination erreicht auf dem Benchmark Cyber Gym laut Microsoft eine Trefferquote von sechsundneinzig Prozent.
• 7:38
  Speaker 4: Gleichzeitig sollen die Kosten gegenüber der bisherigen Mdash-Konfiguration aus GPT FünfPunktVier, GPT FivePuntVier Mini und GPT-Fünf-Punktrei Codex um rund fünfzig Prozent sinken.
• 7:49
  Speaker 1: Danke schön, Caroline!
• 7:52
  Speaker 1: Im Gegensatz zu Microsoft fährt Amazon ein Großteil seiner eigenen Nova Modelle zurück – wie Business Insider berichtet.
• 7:59
  Speaker 1: Betroffen sind die Spitzenmodelle Nova Premiere und Omni.
• 8:03
  Speaker 1: Dazu kommen das Videomodell Real und der Bildgenerator Canvas.
• 8:07
  Speaker 1: Die Modelle laufen demnach für bestehende Kunden weiter, werden aber nicht mehr aktiv entwickelt.
• 8:13
  Speaker 1: Vorausgegangen waren Entlassungen in der AGI-Abteilung und die Schließung des AGI Labs.
• 8:20
  Speaker 1: Aus dem KI-Wettrennen zieht sich Amazon aber nicht zurück, Ressourcen fließen nun in die Gruppe Frontier Model Research unter Peter Abel.
• 8:29
  Speaker 1: Dabei handelt es sich um den Gründer eines Robotics Startups das Amazon zum Teil übernommen hatte.
• 8:34
  Speaker 1: Ein neues Basismodell soll auf der jährlichen AWS Konferenz ReInvent im Herbst vorgestellt werden.
• 8:41
  Speaker 1: Ein Amazon-Sprecher erklärte, KI-Modelle blieben eines der wichtigsten Projekte des Unternehmens.
• 8:48
  Speaker 1: Die US-Umweltbehörde EPA hat eine Gesetzeslücke gefunden die Kraftwerke ohne Netzanschluss von Emissionsbestimmungen befreit.
• 8:58
  Speaker 1: Davon profitieren in erster Linie KE Datenzentren.
• 9:02
  Speaker 1: Um den enormen Strombedarf zu decken entstehen nämlich zunehmend private Kraftwerken, die nicht ans öffentliche Stromnetz angeschlossen sind.
• 9:10
  Speaker 1: Die IPA hat nun festgestellt, dass für solche Inselanlagen keine bundesrechtlichen Grenzwerte für Schwefeldioxid und Stickstoffdioxid gelten.
• 9:20
  Speaker 1: Der Clean Air Act erfasst nämlich nur Kraftwerke die Strom für die Öffentlichkeit erzeugen.
• 9:26
  Speaker 1: Kraftwerken, die ausschließlich einen einzelnen Kunden wie eben ein Rechenzentrum versorgen, fallen nicht darunter.
• 9:33
  Speaker 1: Eine gesetzliche Korrektur ist politisch nicht geplant!
• 9:36
  Speaker 1: Nun könnten einzelne Bundesstaaten zwar eigene Regeln einführen, riskieren damit jedoch das Staaten mit laxeren Umweltauflagen attraktiver für KI-Unternehmen wirken.
• 9:47
  Speaker 1: Damit droht ein Wettbewerb um die niedrigsten Umweltstandards.
• 9:51
  Speaker 1: Kann KI sich selbst verbessern und dabei auch noch Geld sparen?
• 9:56
  Speaker 1: Eine US-amerikanische Forschungsorganisation hat das jetzt zum ersten Mal durchgerechnet – das Ergebnis fällt annüchternd aus!
• 10:04
  Speaker 1: Jonathan Kemper von The Decoder hat sich die Studie genauer angesehen.
• 10:08
  Speaker 0: Die Non-Profit Mita hat eine neue Kennzahl vorgestellt, sie soll zeigen wie Kosten effektiv KI-Agenten arbeiten.
• 10:15
  Speaker 0: Mita nennt sie expenditure Horizon auf Deutsch Ausgabengrenze.
• 10:19
  Speaker 0: Gemeint ist der Punkt an dem Mensch und KI für dieselbe Verbesserung gleich viel kosten.
• 10:24
  Speaker 0: bis dahin lohnt sich die KI.
• 10:26
  Speaker 0: danach arbeitet der Mensch günstiger.
• 10:28
  Speaker 0: Dahinter steht einer der großen Fragen der KI Forschung.
• 10:31
  Speaker 0: Kann KI ihre eigene Entwicklung beschleunigen?
• 10:34
  Speaker 0: Messen ließ sich das bisher kaum.
• 10:37
  Speaker 0: Denn dafür muss man sehr verschiedene Kosten gegeneinander aufrechnen, etwa die Arbeitszeit der Menschen, ihr Rechenzeit für die Experimente und den Betrieb der KI selbst.
• 10:45
  Speaker 0: Getestet hat Mieter das an einem öffentlichen Wettbewerb.
• 10:49
  Speaker 0: Dort versuchen Freiwillige seit zwei Jahren ein KI-Sprachmodell immer schneller zu trainieren.
• 10:54
  Speaker 0: Ein Prozent mehr Tempo kostet einen Menschen dort rund sechzehn Arbeitstunden.
• 10:58
  Speaker 0: Mieta betont allerdings selbst dass diese Zahl sehr unsicher ist.
• 11:01
  Speaker 0: Rechnet man mit Hundertfünfzig Dollar pro Stunde, sind das etwa Zwei-Tausend Fünfhundert Dollar für jeden Prozentpunkt.
• 11:07
  Speaker 0: Dann ließ Mieter sechs KI Modelle dieselbe Aufgabe allein bearbeiten.
• 11:12
  Speaker 0: Jedes durfte bis zu Zehntausend Dollar verbrauchen!
• 11:15
  Speaker 0: Zwei ältere Modelle sahen dabei zunächst nach Fortschritt aus – bei genauerer Prüfung war das aber nur Zufall.
• 11:21
  Speaker 0: Echte Verbesserungen brachten erst die neueren Versionen.
• 11:24
  Speaker 0: GPT fünftepunkt fünf kam auf rund ein Prozent Opus vier Punkt acht auf anderthalb.
• 11:29
  Speaker 0: Mehrfach versuchten die Modelle auch zu tricksen und schalteten etwa Teile des Trainings kurz vor dem Ziel ab.
• 11:35
  Speaker 0: Am Ende lagen die Ausgabengrenzen zwischen Null- und Drei-Tausend-Dollar.
• 11:39
  Speaker 0: Der gesamte menschliche Aufwand in den Wettbewerb wird dagegen auf rund Zweihundertfünfzigtausend Dollar geschätzt.
• 11:45
  Speaker 0: Auf sich allein gestellt hat KI den Fortschritt bisher also kaum beschleunigt, zwei Dinge schränken das Ergebnis ein.
• 11:52
  Speaker 0: Mieter hat nur ältere Modelle getestet.
• 11:54
  Speaker 0: Die aktuelle Generation mit Fable V, GPT-Fünfpunkt sechs Zoll und Opus fünf kommen nicht vor.
• 12:00
  Speaker 0: Und gemessen wurde nur die KI im Alleingang – in der Forschung arbeiten Menschen aber meistens mit KI als Werkzeug.
• 12:07
  Speaker 0: Die Ausgabengrenze zeigt also was KI ohne Hilfe leistet.
• 12:11
  Speaker 0: Wie stark sie menschliche Forscher beschleunigt, sagt sie eher nicht.
• 12:14
  Speaker 1: Danke Jonathan!
• 12:17
  Speaker 1: Immer mehr Menschen erledigen mit KI Aufgaben aus fremden Berufsfeldern.
• 12:22
  Speaker 1: Das berichtet OpenAI und nennt den Effekt Task Crossover.
• 12:26
  Speaker 1: Grundlage ist eine Auswertung von mehr als achthunderttausend arbeitsbezogenen Chatchi Petit Nachrichten.
• 12:33
  Speaker 1: Daraus geht hervor, dass dreiundvierzigkommar fünf Prozent der berufsspezifischen Anfragen Tätigkeiten aus einem fremden Beruf betreffen.
• 12:42
  Speaker 1: Am häufigsten wandern dabei Arbeiten aus Marketing- und Softwareentwicklung in einer anderen Berufsgruppe.
• 12:48
  Speaker 1: Nutzerinnen und Nutzer erledigen mit Chatchi-PT außerdem zunehmend Aufgaben, die früher an Spezialisten gingen.
• 12:54
  Speaker 1: Dazu zählen etwa die Vertragsprüfung, die Datenanalyse oder die Fehlerbehebung an Websites.
• 13:01
  Speaker 1: In kleineren Unternehmen sei der Effekt stärker – denn dort gebe es seltener eigene Fachteams!
• 13:07
  Speaker 1: OpenAI sieht in den Daten ein Frühsignal für den Wandel von Berufsbildern noch bevor sie Stellenbeschreibungen oder Jobtitel änderten.
• 13:17
  Speaker 1: Generell verändert KI auch unser Suchverhalten im Netz grundlegend.
• 13:22
  Speaker 1: Wie eine Studie von similar Web zeigt, werden bei Google fast bei der Hälfte aller Suchanfragen KI-generierte Zusammenfassungen eingeblendet – auch der dialogorientierte AI Mode verzeichnet stark steigende Nutzungszahlen.
• 13:36
  Speaker 1: Parallel dazu werden Chatbots wie ChatGPT, Gemini und Claude als eigenständige Recherchewerkzeuge immer beliebter!
• 13:44
  Speaker 1: Sichtbar wird der Wandel auch in der Art der Suchanfragen.
• 13:47
  Speaker 1: Kurze Stichworte weichen zunehmend längeren, natürlich formulierten Fragen.
• 13:53
  Speaker 1: Ob die Quellenverweise in einer KI-Antwort den Nutzenen tatsächlich auf externe Websites führen hängt davon ab wie prominent sie dargestellt werden.
• 14:03
  Speaker 1: Ein Interface Update in ChatGPD zum Beispiel das Externe Links Prominenter Darstellte führte zu deutlich mehr Weiterleitungen zu diesen externen Websites!
• 14:13
  Speaker 1: Das Grundproblem für die Inhalteanbieter bleibt jedoch bestehen.
• 14:17
  Speaker 1: Wenn KI-Dienste Informationen direkt liefern, entfällt für Nutzende in den meisten Fällen der Anreiz, die ursprüngliche Quelle aufzurufen – damit gehen den Urhebern Reichweite und Einnahmen verloren!
• 14:31
  Speaker 1: Die Leiden Declaration on Artificial Intelligence and Mathematics schafft erstmals ein umfassendes Regelwerk für den Umgang mit KI in der mathematischen Forschung.
• 14:43
  Speaker 1: Die internationale Mathematische Union und über dreitausend Fachleute weltweit unterstützen die Deklaration.
• 14:50
  Speaker 1: Darin wird zunächst von den Risiken von KI in der Mathematik gewarnt, künstliche Intelligenz produziert oft plausible aber falsche mathematische Beweise, die schwer von korrekten zu unterscheiden sind – besonders gefährdet sind Studierende und Nachwuchsforschende.
• 15:07
  Speaker 1: Zudem bedroht der Einfluss großer Technologieunternehmen da diese Aufgaben nach KI-Tauglichkeit statt nach wissenschaftlicher Relevanz auswählen.
• 15:20
  Speaker 1: Das Regelwerk enthält nun elf Empfehlungen für Forschende, acht für Organisationen und vier für die Politik.
• 15:26
  Speaker 1: Zentrale Forderungen sind Transparenz bei der KI Nutzung, Verantwortung für Korrektheit, Schutz von Autorenrechten und die Betonung menschlicher Beiträge.
• 15:37
  Speaker 1: Die Erklärung betont, dass Menschen weiterhin unverzichtbar für das Stellen relevanter Forschungsfragen bleiben.
• 15:44
  Speaker 1: Die TU Berlin entwickelt im Projekt A-Swarm II autonome elektrische Paketboote für Berlins Wasserstraßen.
• 15:53
  Speaker 1: Diese KI gesteuerten Fahrzeuge sollen den Lieferverkehr entlasten indem sie Pakete über die Spree oder den Landwehrkanal transportieren.
• 16:02
  Speaker 1: Die Boote nutzen künstliche Intelligenz für autonome Navigation, Hinderniserkennung und präzises Koppeln zu verbinden.
• 16:10
  Speaker 1: Ein magnetisches Kopplungssystem ermöglicht es den KI-System sich selbstständig zu verbünden und zu trennen.
• 16:16
  Speaker 1: Die Fahrzeuge kommunizieren miteinander und optimieren den Energieverbrauch durch koordinierte Fahrten.
• 16:23
  Speaker 1: Besonders anspruchsvoll ist die Vollautonom B und Entladung ohne menschliches Eingreifen!
• 16:29
  Speaker 1: Eine zentrale KI-Plattform überwacht das gesamte System, verfolgt Standorte, Zustand und Einsatzbereitschaft der Boote.
• 16:38
  Speaker 1: Die ersten Prototypen werden bereits in Berliner Westhaven getestet – und lernen durch KI-Algorithmen das autonome Navigieren!
• 16:45
  Speaker 1: Das Projekt will Berlins historische Wasserinfrastruktur für moderne emissionsarme Stadtlogistik reaktivieren.
• 16:54
  Speaker 1: Das war das KI-Update von Heise online vom neunzwanzigsten Juli.
• 16:59
  Speaker 1: Eine neue Folge gibt es montags, mittwochs und freitags ab fünfzehn Uhr.