Latest / Das Gelbe vom AI - Der KI-Podcast / #96 KI-Guardrails: Pentagon-Showdown, SaaSpocalypse & Milliarden-Deals – Machtwende im AI-Markt?
Transcript
- Michael Witzenleiter: willkommen zurück zu Das Gelbe von Mai. Schön, dass ihr wieder eingeschaltet habt. Jean-Luc Winkler: Ja, hallo zusammen. Ich hoffe, ihr seid schon gespannt auf die Zahl der Woche. Da ist etwas Großes im KI-Bereich passiert. Michael Witzenleiter: Ja, perfekt. Wenn du es nicht erwarten kannst, übergebe ich gerne direkt an dich. Jean-Luc Winkler: Vielen Dank Michael, dann lassen wir starten mit der Zahl der Woche, unsere erste Rubrik in unserer News Podcast Folge. Denn die Zahl der Woche ist heute 0%. Genauer gesagt, Entropiq konnte überhaupt keine Zugeständnisse bei den Pentagon-Vertragsbedingungen bezüglich freinutzbarer KI-Technologie machen. Denn konkret fordert das US-Verteidigungsministerium des DoD uneingeschränkten Zugang zu KI-Modellen für any lawful use, so sagen sie selber und das inkludiert dann auch militärische und geheimdiensteinsätze. Entropiq sagt nö und verweigert das dann komplett. Damit kommen wir auch auf die 0 % für unsere Zahl der Woche. Und im Gegenzug dazu hat OpenAI einen Vertrag mit dem Pentagon geschlossen, der ähnliche Forderungen enthielt. Aber Sam Altman sagt nun, das Abkommen wurde opportunistisch und schlampig. und müsse nun nachgebessert werden. ich finde Entropic macht mit seiner Haltung etwas wichtiges aus der KI-Ethik greifbar. Sie setzen ein klares Zeichen, nämlich Sicherheit und Verantwortung stehen über Profit Und über Auftraggeberdruck. Gerade in Zeiten, in denen Regierung und Militär große Erwartungen an KI richten, ist so eine Linie essentiell. Gleichzeitig sehe ich allerdings bei OpenAI eine pragmatische der Deal mit dem Pentagon bringt Zugriff, Geld und auch Einfluss. Aber die Kritik, und das hat man das Abkommen selbst als sloppy bezeichnet, die zeigt natürlich ⁓ wie dünn die Balance zwischen Sicherheit und Machbarkeit heute ist. Michael Witzenleiter: Ja, absolut. Also ich sehe es eher als feigenblatt. Das Upme eine dort gerade. Ich glaube schon, dass sie insgeheim froh sind, dass sie da sozusagen exklusiv im Päthagon arbeiten können. Ja, aber ich glaube grundsätzlich ist schon entscheidend, dass es eben klare Guardraders gibt, sowohl für Unternehmen aus Kundensicht, wie aber auch für die Anbieter. Und ein leeres Versprechen reicht da nicht mehr. Und daher ist es sehr begrüßenswert, dass Entropic dort tatsächlich auch riskiert, Verträge und Reparation aufs Spiel zu setzen. gewinnt andererseits auch Glaubwürdigkeit und Vertrauen, gerade auch für seine Businesskunden. Also ich glaube, dort eine Schranke staatlicher Eingriffe zu setzen, macht strategisch schon auch viel Sinn für diese Positionierung bei den Businesskunden, weil die natürlich auch die Erwartung haben, dass ihre Daten dort vertraulich behandelt werden. Und ich glaube, dass vor dem Hintergrund auch sinnvoll ist, dort eine klare Linie auch zu zeigen. Andererseits, Open AI hat es eben unter Druck. Jean-Luc Winkler: Auf Fall. Michael Witzenleiter: Wir mussten schnell liefern und jetzt sieht es eben wie gesagt eher nach einem Feigenblatt aus. Mal gucken, ob denn da überhaupt nachgebessert wird. Jean-Luc Winkler: Ja, das Ganze bleibt natürlich auch nicht spurlos. Wir haben uns dieses ganze Wirken ⁓ den Pentagon Deal, ⁓ Entropic und OpenAI, dann mal etwas weiter aus der Vogelperspektive angeschaut, was uns auch zu unserem großen Hauptthema führt und ein bisschen vermischt auch mit unserer eigentlichen Kategorie, die der Big Player Updates. Aber lass uns ein bisschen rauszoomen. In den Medien wird das Thema, über das wir nächstes sprechen wollen, gerne als SARS-Pokalypse bezeichnet. Also wie Apokalypse, aber dann mit dem Begriff SARS Software-Assist-Service kombiniert. Letztendlich führten diese ganzen Gespräche auch zu einem massiven Fall an Softwareaktien. Aber ... Ein Schritte zurück. Der massive Ausverkauf bei Softwareunternehmen begann eigentlich schon Anfang Februar. Neue AI-Agenten etwa von Entropic haben Workflows automatisiert, wodurch Investoren dann Zweifel an der Zukunftsfähigkeit klassischer SaaS-Geschäftsmodelle bekommen haben. Und einzelne Firmen verloren so teils über 30 Prozent ihres Börsenwertes. Etwa Intuit, auch Salesforce und ServiceNow sind hier stark gefallen. Der Index der Softwareaktien verzeichnete tiefgreifende Kursverluste. Die UBS spricht von Fear of Becoming Obsolete, also nicht FOMO, sondern FOBO. Denn Investoren preisen ein, dass Softwarefirmen von KI ersetzt werden könnten. Gleichzeitig gibt es eine Rotation des Kapitals in weniger KI bedrohte Sektoren, wie beispielsweise in Energiesektor und auch in Versorgung. Michael Witzenleiter: Ja, das ist auf jeden Fall eine spannende Entwicklung. Wie siehst du das Ganze aus der Sicht der Investoren? Ist das jetzt ein übertriebener Panikmoment oder tatsächlich eine legitime Neubewehr? Jean-Luc Winkler: Gute Frage. Teile der Marktkorrektur beruhen auf Spekulation und Angst vor Disruption. Aber mittelfristig könnten Geschäftsmodelle an Relevanz dann auch tatsächlich verlieren, wenn KI reale Produktionsvorteile und Produktivitätsvorteile liefern kann. Also wenn nicht tatsächlich die Angst der Investoren dann bestätigen lässt, dass es die Möglichkeit für Unternehmen deutlich einfacher ist, mit KI selber Software zu entwickeln, statt sie einzukaufen. Also die klassische Make-or-buy-Entscheidung letztendlich dann eher zu Make statt zu Buy intendiert. Und dann sind die Unternehmen, die man investiert, die man früher vielleicht eher zugekauft hätte, dann doch nicht mehr so viel wert aus Investoren-Sicht. Was wird da jetzt allerdings zukünftig dann auch wichtig? Outcome und ergebnisorientierte Modelle und Geschäftsmodelle werden an Bedeutung gewinnen. Darunter nehmen natürlich KI nutzen wollen, ⁓ konkrete Effekte zu erzielen. statt jetzt einfach nur Tools zu konsumieren und einzukaufen. Also es wird sicherlich deutlich mehr auf die Bugs-Schale gelegt, wie das Ergebnis ist, das ich mit dem Tool erreichen kann, statt jetzt einfach nur seinen Tool-Stack stetig zu erweitern. schauen wir noch bisschen tiefer rein. Entropic weigert sich ja, KI-Technologie unangeschränkt fürs Militär freizugeben, insbesondere für die Massenüberwachung und auch für autonome Waffen. Darum ging es im Kern. Im Gegenzug entfernte die US-Regierung dann Entropic aus Behördenverträgen und stufte das Unternehmen als Supply Chain Risk ein. OpenAI hingegen schloss dann einen Vertrag mit dem Pentagon. ⁓ der auch tatsächlich laut COS am Altmann einige Schutzklauseln enthält. Also keine Nutzung für inländische Massenüberwachung oder autonome Waffensysteme. Grunde das, was Entropic nicht eingehen wollte, ließ sich scheinbar auch mehr eidern vertraglich absichern. Die Menschen bleiben jetzt weiterhin in der Verantwortlichkeit. Allerdings geriet der Deal wegen seiner raschen Bekanntgabe und mangelnder Klarheit stark dann in die Kritik. Und das dann nicht nur intern, sondern auch extern in den Medien. Michael Witzenleiter: Wie verhalten sich denn Ethik und dieser Geschäftsspielraum in der KI-Defense? Geht das zusammen oder ist es ein Widerspruch? Jean-Luc Winkler: Also Firmen können ethische Linien definieren und auch verteidigen, aber sie müssen auch mit den Regierungen zusammenarbeiten. Das geht nur durch Transparenz und mit klaren Rahmenverträgen. Wir sehen das jetzt nicht nur im KI-Bereich, auch in allen anderen Bereichen arbeitet das Militär mit normalen Unternehmen, sage ich jetzt mal zusammen, mit denen du und ich und wir da draußen Berührungspunkte haben, sei es im Automotive-Bereich oder ähnlichem. Das heißt, Es macht schon Sinn, dass die KI-Firmen mit der Regierung zusammenarbeiten. Und jetzt gerade, so wie wir das ja sehen, durch die Medien, die Aufbereitung dieses Themas durch die Medien, müssen wir einfach super transparent sein. Das das, was da gefordert wird von den Medien, sicherlich auch in anderen Branchen, aber gerade im KI-Bereich, wo wir es deutlich mehr mitbekommen, hoffe ich, dass das dann auch so weiter transparent fortgeführt wird. Jetzt haben wir das ganze Vertragliche und die Medienpart abgedeckt. Aber Michael, du und ich kennen vor allem Entropic durch die KI-Modelle und die Nutzung. Vielleicht auch ihr da draußen als Zuhörerinnen und Zuhörer durch ChatGPT oder auch durch Claude und Claude Code. Wie wirkt sich dieses ganze Thema rund ⁓ diesen Pentagon Deal auf die Tools aus? Auch da gab es einen gewissen Shift, würde ich jetzt mal sagen. Nicht unbedingt nur aufgrund des Deals, vielleicht auch, weil Claude gerade ziemlich an Fahrt aufnimmt, was die Tools und auch Claude Code angeht. Entropiq hat jetzt direkt reagiert. Sie haben das Feature Memory Import eingeführt, mit dem Nutzer, Erinnerungen, Arbeitskontext und auch Vorlieben von Chetchip IT oder auch zum Beispiel von Gemini direkt in Claude übernehmen können. Das Feature ist auch für kostenlose Nutzer verfügbar und senkt jetzt die Barrieren von einem einen Anbieter hin zu Entropic rüberzuwechseln. Claude rangiert zeitweise als führende kostenlose KI-App noch vor ChatchiPT auch in den Appstores damit. Und es wird etwa 24 Stunden dauern, bis importierte Erinnerungen vollständig verarbeitet sind. Nicht alle persönliche Daten werden jetzt übernommen, insbesondere nicht die spezifischen oder auch propitären Informationen, die man sonst eingegeben hat in die Tools. Diese Importfunktion wird auch teilweise heftig diskutiert, ob das tatsächlich so funktioniert, wie Entropiq das vorgibt. Letztendlich ist es ein Prompt, den man ausführt, der die Tools darum bittet, ganze Wissen preiszugeben und das dann im Grunde genommen an Entropiq zu übergeben. Michael Witzenleiter: Welche Datenschutz- und Sicherheitsrisiken siehst du denn durch diesen Memory Import? Jean-Luc Winkler: Tja, ist ein wichtiges Thema. Risiken ergeben sich nämlich durch falsch übertragene persönliche Informationen. Wir haben eigentlich für diesen ganzen Prozess eine ziemlich mangelnde Transparenz. Mögliche Nutzung durch KI und auch die angemessene Kontrolle darüber, was ich tatsächlich aus dem einen Tool rausziehe und in das andere Tool überführe. Das könnte ich natürlich alles durchlesen, aber im Grunde genommen ist es ja bisher auch nicht so wirklich transparent, was die Tools über mich wissen. Klar kann ich das über einen Prompt nachfragen, aber ... hast ja nie die Gewissheit, dass du dann alles rankommst, wenn du jetzt nicht eine Abfrage nach Artikel 15 DSGVO machst. von daher habe ich natürlich Risiken, dass ich auf der einen Seite nicht alle Informationen greifbar bekomme, dass die Informationen, die ich dann greifbar bekomme zum Importieren, nicht letztlich so umfangreich sind oder dass sie in die eine Richtung oder die andere Richtung gefärbt sind. Und was man auch nicht vergessen darf, wir überführen jetzt natürlich Das würde ich jetzt mal den meisten Nutzer unterstellen, ohne sich diese Daten groß anzugucken. Einfach Daten von einem Tool in das andere Tool. Und wenn da personenbezogene Daten drin sind, die vielleicht schon das eine Tool nicht hätte eingeben können und sie dann in das nächste Tool überführe, dann ist das auch schon ziemlich kritisch, was den Datenschutz angeht. Michael Witzenleiter: Ja, sehe ich auch so. Lass uns zu den Big-Clair-Updates kommen. Zu OpenAI. Was gibt es Neues bei OpenAI? Eine Megafinanzierung und viele Model-Updates stehen an. OpenAI hat jetzt 110 Milliarden Dollar an Investment gerastet. Amazon investiert 50 Milliarden, Nvidia und Softbank jeweils 30 Milliarden. wodurch OpenAI eben vor der Runde mit 730 Milliarden bewertet wird. Das ist auch ein Wandel in der Infrastrukturabhängigkeit. Die Investitionen kommen mit Commitments. OpenAI bindet sich Engern in NVIDIA und nutzt dort die VeraRubin-GPUs und Amazon-Trenium-Chips. AWS als exklusiver Cloud-Partner für Unternehmenskunden ist dort auch im Rennen. Entlassungen wegen mutmaßlicher Insanehandel gibt es auch. Ein OpenAI-Mitarbeiter wurde gefeuert, weil vertrauliche Unternehmensinformationen auf Prediction Markets, wie Polymarket, verwendet wurden. On-Chain-Analysen zeigen weitere verdächtige Muster über viele Wallets hinweg. Und es gibt die Abkehr von IO-Branding, das heißt, OpenAI wird seine Hardware-Geräte, die ab etwa 2027 geplant sind, Smart Speaker, Smart Classes etc., nicht unter dem Namen IO oder IO vermarkten, wie ein Gerichtsverfahren besteht. Jean-Luc Winkler: Ich hätte einen Teil mit den Prediction Markets, das finde ich besonders spannend. Da gibt es ja immer wieder so richtig wilde Sachen, auf die die Leute da tippen. Welche Risiken bringt denn dieses Engagement auf Prediction Markets? Ist das eher ein Compliance- und Reputationsproblem oder könnte es zu regulatorischen Einschnitten auch tatsächlich führen? Michael Witzenleiter: Ja, auf jeden Fall. Die Grenzen zwischen legal und illegal sind diesen Märkten oft sehr undeutlich. Die Firmen müssen Regeln und Kontrollen dort etablieren. Sehr spannend. Wie gesagt, das auf jeden Fall etwas, was man als Unternehmen gut beobachten muss heutzutage, ⁓ dort keine Fallstrecke aufzumachen. Ja, kommen wir zum nächsten Thema, zum Update von Google. Das Bildmodell Nano Banana 2 ist nämlich gelauncht worden, auch mit Gemini 3.1 Flash Image. Das ist neues Bildgenerierungsmodell, das Pro Modellqualität, also Nano Banana Pro, mit deutlich schnellerer Generierung vereint. Das bietet neue Features und bessere Qualität, höhere Auflösung bis zu 4K ist möglich, lesbare Texte in Bildern und konsistentere Charakter- und Objekterhaltung. Bis zu fünf Charaktere und 14 Objekte werden dort konsistent erhalten. Also wenn ich Bildserien machen möchte. Es gibt einen weitreichenden Rollout, das heißt überall in Google Gemini, in Search, mehr iMode, in Ads. in EPI und im Studio für alle Nutzer und eben nicht nur für Abonnenten. Jean-Luc Winkler: Würdest du hier eher von einem Risiko von Qualitätsverlust und der Monokultur sprechen? Wenn alle auf Pro- und Flash-Modelle setzen, verliert man dann an Vielfalt oder Innovationsdruck. Also letztendlich werden die Modelle jetzt ja gerade nebeneinander, Black Forest Labs, Nano Banana und Co. von den Settings und von dem Outcome jetzt auch bis 4K hoch. Ähnelt sich das mittlerweile ja alles dann doch schon eher stark. was anfangs ja nicht so der Fall war. Michael Witzenleiter: Ja, absolut. sehe ich schon ein Stück weit so. Klar, ist wichtig, dass sich Standards etablieren. Das spricht ja auch für die Reife in dem Markt. Aber es besteht natürlich schon die Gefahr, dass alles sehr zu einer Monokultur verkommt. Also das Risiko besteht durchaus. Müssen wir mal einen Blick behalten. Jean-Luc Winkler: Weil es ja auch Vorteile hat, vielleicht steigen wir jetzt bald dann auch hoffentlich mal in dem größeren Preiskampf rund ⁓ die Bild- und Videomodelle ein, sodass dann auch diese ganzen Chips, von denen wir Woche ⁓ Woche berichtet werden, die angeschafft werden, mal ausgelastet werden. Michael Witzenleiter: Ja, absolut. Man merkt in den Bildbereichen durchaus, dass da sehr, sehr viel Reife gerade passiert hat und auch Konsolidierung, absolut. Jean-Luc Winkler: Ja. Michael Witzenleiter: Ja, wir zum letzten Big Player Update heute. Sprechen wir wieder von Entropic. Es ist eine sehr entropiclastige Folge über das Thema Pentagon Sicherheitsvorkehrung. Haben wir ja schon grob gesprochen. Schauen wir mal, was sonst noch passiert ist. Und zwar die Distillation und Model Missbrauchsvorhöhung. Das ist noch ein spannendes Thema. Es gibt rund 24.000 Fake Accounts in drei chinesischen KI Labs bei DeepSeek, Moonshot und Minimax. Die haben über 16 Millionen Interaktionen mit Claude generiert, ⁓ Teile von Claude in ihre Modelle zu destillieren. Entropic röfte ihnen vor, dadurch Sicherheitsmechanismen zu umgehen. Und es gibt ein neues Tool, Claude Code Security. Und das konnte schon über 500 unentdeckte Sicherheitslücken in Open Source Projekten finden. Kontextbasierte Code-Analyse ist das nicht rein regelbasierte. Und die Marktreaktionen, die fiel sehr heftig aus, Cybersecurity-Aktien sind sofort gefallen. Jean-Luc Winkler: Das ist auf jeden Fall ein ziemlich heftiges Thema, aber auch für einen Vorteil, glaube ich. Also wenn man sich anguckt, wer jetzt mittlerweile alles mit KI-Coding-Software entwickelt und draußen an den Markt bringt, dann... ist das schon gut, wenn die dann deutlich sicherer wird. Aber lass uns gerne noch mal auf das Thema der Vorwürfe rund um Deep Moonshot und Minimax schauen. Was bedeuten diese Destillationen für Innovation und auch Wettbewerb? Ist das ein legitimer Shortcut im Grunde genommen, was die Unternehmen dort machen oder ist das eher ein unfairer Vorteil ohne Sicherheitskontrollen? Michael Witzenleiter: Ich sehe es eher als unfaire Vorteil. Das fördert zwar eine schnellere Entwicklung, aber ohne klare Regeln ist das schon sehr gefährlich und kann eben auch zu Missbrauch führen, wie wir es jetzt gesehen haben. Aber wird auf jeden Fall eine Sache sein, die auch vom Gesetzgeber noch reglementiert werden muss. Also bisher es jetzt den Verstoß gegen die auch gegen die Verträge mit Entropic. Jetzt muss man einfach schauen, was es jetzt konkret dann für Strafen und Folgen hat. Wird mit Sicherheit der maßgebliches Urteil werden, es kommen wird. Mal schauen, ob überhaupt... Jean-Luc Winkler: Lass uns doch noch mal abschließend auf die Quick News schauen, Michael. Ich möchte zu dieser Woche starten. Michael Witzenleiter: Ja, sehr gern. Quick News Nummer eins. Beratung boom, dann KI. Der US-Beratungsmarkt wird 2026 um etwa 7 Prozent wachsen. Und das wird eben klar getrieben von KI-Projekten. Laut einer Financial Times-Meldung. planen 90 Prozent der Unternehmen, externe Berater für ihre KI-Implementierung einzusetzen. Und nicht alle Beratungsfirmen profitieren gleich stark. Die Big Four und Technologieberatung punkten durch Umsetzungsprojekte. Strategieberater werden weniger nachgebracht. Jean-Luc Winkler: Ja, nachvollziehbar, würde ich sagen. Bin ich dann mal gespannt, wie lange man tatsächlich auch noch Menschen braucht, die einen dann bei der KI Einführung helfen oder ob das dann auch bald die KI übernimmt. Aber das wissen wir wahrscheinlich nächstes Jahr. Kommen wir zu Quick News Nummer zwei. Sorry, aber wir gehen wieder zurück zu Entropic, denn da gab es auch noch was Spannendes und zwar ein Claw-Tag bei mexikanischen Behörden. Ein Angreifer nutzte nämlich Entropics Claw. um über einen Fake-Bug-Bounty Zugang zu erhalten und 150 GB vertraulicher Daten zu stehlen. Betroffen waren neun Behörden, das waren die Steuerbehörde, waren Wählerregister, Mitarbeiterdaten, alles mit drinne. Und Claude half bei der Fehlersuche, Automatisierung und dann auch bei den einzelnen Exploitschritten. Die Handlung ist klar, KI-Sicherheitsrichtlinien, Promptness, Brauch und auch Guardrails stehen jetzt... ganz stark im Fokus. Für Unternehmen heißt das Prüfung, was die KI-Tools wirklich dürfen und machen, bevor man sie einfach ausführt, sodass so etwas dann gar nicht erst mal passieren kann. Michael Witzenleiter: Ja, ich habe noch eine Quick News von der EZB. Die scannt nämlich europäische Banken auf KI-Risiken. Die Europäische Zentralbank hat geprüft, wie stark Bankenkredite an KI-Rechenzentren vergeben. Das Besondere ist im Fokus die Datenbanken, Kühlung, Cloud- Stromversorgung. Workshops und gezielte Dialoge mit Banken zeigen, die EZB will sowohl KI-Einsatz als auch Infrastruktur-Exposure aktiv verstehen und steuern. Für Business Zuhörende heißt das, Finanzinstitute müssen ihre KI-Strategien offenlegen. Regulatoren drehen jetzt auf. Das waren jetzt unsere Quick News. Wenn euch die Folge gefällt, bewertet uns gerne und abonniert den Podcast. So bleibt ihr keine Woche lang ohne spannende Insights. Jean-Luc Winkler: Nächste Woche haben wir dann wieder einen spannenden Gast mit dabei. Von meiner Seite bis nächste Woche. Bei Michael, ich glaube du hast noch ein Thema für diese Folge. Michael Witzenleiter: Genau, ich wollte dir ja noch berichten. Ich habe jetzt eine Veranstaltung in regelmäßigen Abständen in Karlshuhe, nennt sich AI Tinkerer. Das ist ein weltweites Netzwerk, es in vielen unterschiedlichen Städten. von der letzten Veranstaltung haben wir ein paar Stimmen auch eingefangen. Eine davon werden wir jetzt gleich abspielen, die euch mal so ein bisschen zeigt, was dort gemacht wird. Grundsätzlich ist es man trifft sich, wie der Name schon sagt, als Handwerker, als Tinkerer. Das heißt, sind wirklich Hands-on Vorstellungen von KI-Projekten, mit denen jeder gerade arbeitet, über die man dann gemeinsam diskutiert, wie man sich gemeinsam anschaut. Also es ist wirklich eine sehr spaßige Geschichte. In unserem Format gibt es Bier und Pizza als Grundlage immer. Und wenn euch das interessiert und ihr auch eigene KI-Projekte teilen wollt mit der Community dort, dann geht doch gerne auf unsere LinkedIn-Seite oder schaut auf die AI-Tingerer-Webseite. ⁓ dort über aktuelle Events informiert zu werden. nächste Veranstaltung ist wahrscheinlich im April. Und wir schließen jetzt die Folge gleich mit der Stimme von Thomas Bernhardt, einem der Gäste dort, der uns von seinen Projekten berichtet. Jean-Luc Winkler: Dann macht's gut, viel Spaß mit den Einblicken in die AirTinkerers und bis nächste Woche. Michael Witzenleiter: Ja, bis dann, macht's gut, ciao.