Latest / KI-Update – ein heise-Podcast / KI-Update Deep-Dive feat. They Talk Tech: Prompt Injections

Transcript

KI-Update Deep-Dive feat. They Talk Tech: Prompt Injections · KI-Update – ein heise-Podcast

• 0:02
  Speaker 2: Das KI Update, ein heise Podcast mit redaktioneller Unterstützung von The Decoder.
• 0:13
  Speaker 0: Hallo,
• 0:14
  Speaker 2: ich bin Isabel Grünewald und dies ist unser Deep Dive zum Wochenende.
• 0:20
  Speaker 2: Wenn es nach Open AI CEO Sam Ordman geht, dann werden wir in Zukunft alles über KI Chatbots organisieren, unseren Einkauf, unsere Reiseplanung, unsere Freizeitgestaltung.
• 0:30
  Speaker 2: Und Freizeit werden wir ja sowieso total viel haben, weil Chatbots und Agenten und so viel lästige Fleißarbeit abnehmen.
• 0:37
  Speaker 2: Doch wollen wir den großen Sprachmodellen wirklich so viel Kontrolle über unser Privatleben und auch unsere Finanzen anvertrauen?
• 0:45
  Speaker 2: Heute gebe ich den Staffelstab für das KI-Update an zwei ganz besondere Tech-Journalistinnen ab.
• 0:51
  Speaker 2: Svea Eckert und Eva Wolf-Angel hört ihr normalerweise im CT-Podcast They Talk Tech.
• 0:57
  Speaker 2: Heute übernehmen diese beiden Expertinnen den Deep Dive und sprechen über Prompt Injections.
• 1:03
  Speaker 2: Diese miese, fiese Methode, mit der man Sprachmodelle dazu bringt, Dinge zu tun und zu erzählen, die sie
• 1:10
  Speaker 0: eigentlich nicht
• 1:11
  Speaker 2: tun oder sagen sollten.
• 1:15
  Speaker 1: Eva, ich liebe ja Prompt Injection, weil es ein bisschen anders ist und speziell ist.
• 1:23
  Speaker 1: Und du hast zu mir gesagt, du glaubst, Prompt Injection sind der Grund, warum KI-Anwendungen für immer hackbar bleiben und die besten Freundinnen von cyberkriminellen und Spionen.
• 1:36
  Speaker 0: Genau, und zwar.
• 1:37
  Speaker 0: Ich hab in Vortrag gehalten, die Woche, und zwar beim Unternehmen ganz viele ... technisch versierte Menschen, Cybersecurity interessierte Menschen dabei waren.
• 1:47
  Speaker 0: Und das hat mir die Gelegenheit gegeben, noch mal richtig technisch tief einzutauchen.
• 1:50
  Speaker 0: Und ich hab selbst ein bisschen was gemacht.
• 1:53
  Speaker 0: Deswegen mag ich das auch total gerne.
• 1:55
  Speaker 0: Also Prompt Injection oder so Social Engineering von Chatbots ist was, was ich selbst sehr gerne mache.
• 2:01
  Speaker 0: Ich hab jetzt ja ein paar Mal geschafft, dass Chatbots mir Dinge verraten haben, die sie nicht verraten sollten.
• 2:06
  Speaker 0: Unter anderem, ich will ein Reichels-E-Mail-Adresse, da hab ich ja schon mal davon erzählt.
• 2:09
  Speaker 0: Wer das noch mal wissen möchte, da hab ich beim CCC.
• 2:11
  Speaker 0: im Kongress einen Vortrag dazu gehalten, der ist ganz gut zu finden im Netz.
• 2:15
  Speaker 0: Kürzlich haben wir den Chatbot von Mercedes-Benz, der in den Autos mit den FahrerInnen spricht, dazu gebracht, uns was zu verraten, was zumindest nah am System prompt ist.
• 2:27
  Speaker 0: Mercedes-Benz hat es nicht bestätigen wollen, aber zumindest hat er uns verraten, dass er nicht über den Klimawandel sprechen darf, sondern nur über positive Dinge reden darf.
• 2:35
  Speaker 0: So habe ich auch meine eigene Erfahrung gemacht und ich habe mich ein bisschen reingeknied in Beispiele.
• 2:41
  Speaker 1: Bevor es losgeht, ihr lasst uns einmal ganz kurz Basic sagen.
• 2:44
  Speaker 1: Was ist ein Pumped Injection?
• 2:46
  Speaker 1: Angriff, das ist soweit ich weiß immer dann.
• 2:49
  Speaker 1: wenn man sozusagen böswillige Eingaben als Legitimen prompt tarnen kann und damit sozusagen die KI manipuliert.
• 2:57
  Speaker 1: Ich kenne das, weil mal Forscher sowas gemacht haben auf einer Webseite, wo ein Chatbot gelaufen ist und dass sie dann sozusagen so dem Sachen gesagt haben oder den Sachen gefragt haben, sodass er quasi geheime Informationen über andere Nutzer oder über sich selbst ausgespuckt hat.
• 3:15
  Speaker 1: Sowas ist das.
• 3:16
  Speaker 0: Genau, das war mein erster Artikel dazu.
• 3:17
  Speaker 0: Und zwar kurz nachdem die dass die Öffentlichkeit erstmals Zugriff auf so einen Chatbot wie ChatGPT hatte, haben mir das Forscher und Forscherinnen schon demonstriert.
• 3:25
  Speaker 0: Und du hast aber recht, ich habe es gerade ein bisschen vermengt.
• 3:27
  Speaker 0: Also es gibt so ein bisschen zwei Eigenschaften, die Chatbots interessant machen für Manipulation mit auch bösem Hintergrund.
• 3:34
  Speaker 0: Das eine ist, man kann sie so wie Menschen eben auch... Social Engineer, das heißt, man kann sie manipulieren, man kann sie letztlich ist es überreden, Dinge zu tun, die sie nicht tun sollen, also Sachen verraten.
• 3:47
  Speaker 0: Und das andere ist, man kann sie dazu benutzen, auch auf anderer Menschen Geräte Dinge zu tun, die sie nicht tun dürfen, weil ja Chatbots und das ist das, was jetzt gerade so spannend ist, immer mehr Zugriff haben auch auf Computersysteme von Unternehmen und Firmen oder auch Einzelpersonen, weil man ja diese ganz wunderbare, agente Zukunft, die wir gesehen haben, auch ihre Probleme hat, aber man die ja nur nutzen kann, also auch noch andere Probleme hat, außer dass da ziemlich viel Unsinn daraus kommt.
• 4:17
  Speaker 0: Den großen Vorteil hat man ja nur, wenn man den Systemen-Zugriff gibt, erstens auf eigene Daten, aufs eigene System zumindest bis zum gewissen Grad und eben aufs Internet, weil natürlich die Dinge recherchieren müssen für einen oder dieses berühmte E-Mails zusammenfassen, eben die eigenen E-Mails lesen und damit dann auch schon Zugriff haben, manchmal sogar auf den Posteingang, ohne dass da noch eine Aktion von dem Nutzer der Nutzerin.
• 4:46
  Speaker 0: von Nöten ist.
• 4:47
  Speaker 0: Und ich habe jetzt eben für diesen Vortrag ganz, ganz viele Beispiele zusammengetragen, in denen beides gezeigt worden ist.
• 4:52
  Speaker 0: Eines war ohne Interaktion, das Nutzer ist der Nutzerin.
• 4:55
  Speaker 0: Aber ganz, ganz groß im Kommen sind eben auch so Dinge, wo man Social Engineering von Menschen und Maschine sozusagen kombiniert, also wo der Agent Unter dem Vorwand, zum Beispiel, ich habe deine E-Mails zusammengefasst.
• 5:07
  Speaker 0: Ich habe deine...
• 5:08
  Speaker 1: Wer gerade nämlich genau meine nächste Frage gewesen, gibt mal ein Beispiel.
• 5:12
  Speaker 0: Also ein Beispiel, das, was ich auch schon vor der ganzen Zeit recherchiert habe, ist, da haben Menschen so ASCII-Zeichen genutzt, um eine URL teilweise unsichtbar werden zu lassen.
• 5:25
  Speaker 0: Also das gibt sogenannte ASCII-Smuggling.
• 5:27
  Speaker 0: Da werden Unicorotext benutzt, die dann quasi in einer URL... vorhanden sind, aber für Menschen nicht zu sehen sind.
• 5:34
  Speaker 0: Also dieser Code oder diese DIY sieht viel kürzer aus für Menschen, als sie real ist.
• 5:39
  Speaker 1: Sollen wir einmal ASCII erklären?
• 5:40
  Speaker 1: Ich weiß, das ist das kleine Informatiker, innen einmal eins, aber es hören uns ja auch andere Menschen zu.
• 5:46
  Speaker 1: Also ASCII Coach steht für American Standard Code für Information Interchange und das ist ein Zeichensatz der jedem.
• 5:54
  Speaker 1: Zeichen, also eben Buchstaben, eine eindeutige Nummer zuweist, so dass der Computer sie dann auch verstehen und verarbeiten kann.
• 6:02
  Speaker 1: Und dementsprechend kann man sich sozusagen auch wieder dann vorwärts und rückwärts vorstellen, dass man sozusagen ein ASCII-Code eingibt und Dann kommt Unicode, das sind da die Buchstaben raus und umgekehrt.
• 6:13
  Speaker 0: Genau, und es gibt ganz jede Menge Tools da draußen, mit denen man das in beide Richtungen machen kann.
• 6:18
  Speaker 0: Ich habe eins gesehen, das heißt ASCII Smuggler.
• 6:21
  Speaker 0: Damit kann man eben in beide Richtungen entweder eine, also man kann mit Copy-Paste einfach eine URL oder ein anderes Stück Text reinkopieren und dann eben sehen, ob da auch unsichtbare Zeichen vorhanden sind und man kann unsichtbare Zeichen verstecken lassen, dass Menschen die nicht mehr sehen.
• 6:33
  Speaker 0: Der eine Angriff war eben so Co-Pilot und das war ein Angriff, also ein Demo auf das schon aktive Co-Pilot.
• 6:40
  Speaker 0: System, allerdings ist schon knapp zwei Jahre her, wurde natürlich inzwischen geschlossen, die Lücke.
• 6:46
  Speaker 0: Das ging so, der User instruiert Co-Pilot, bitte fass mir eine E-Mail zusammen.
• 6:52
  Speaker 0: In der E-Mail ist, das ist eine bösartige E-Mail, da sind versteckte Anleitungen dazu, dass der Co-Pilot durch Alle anderen E-Mails einmal durchschauen soll und gucken soll, ob irgendwo zum Beispiel das Beispiel war Verkaufszahlen für einen bestimmten Ort drin sind, also Informationen, die einen Spion vielleicht interessieren würden in den Spionen.
• 7:11
  Speaker 0: Oder das andere Beispiel war so ein One-Time-Password, also so eine Art zweiter Faktor, der per E-Mail kommt, schickt ja, schicken ja Unternehmen wie PayPal zum Beispiel auf, wenn sie sich nicht sicher sind, wenn irgendwas auffällt, ob die Person wirklich die Person ist, die Formrechner sitzt, dann schicken die ja manchmal noch so ein One-Time-Code per E-Mail oder SMS.
• 7:29
  Speaker 0: Diese zwei Dinge haben eben die Forscherinnen und Forscher den Chatbot Co-Pilot gebeten, in E-Mails zu suchen in Form von unsichtbarem Text in der E-Mail.
• 7:38
  Speaker 0: Aber LLMs sehen natürlich, also sehen den Text ja nicht wie wir, die haben ja keine Augen, sondern die klicken natürlich alle Informationen mit, die da irgendwie drin sind.
• 7:46
  Speaker 0: Ganz klassisch ist zum Beispiel weiß auf weiße Buchstaben oder schwarz auf schwarze Buchstaben.
• 7:51
  Speaker 0: Schon ist der Text für uns nicht sichtbar und für Chatbots ist gar nichts anders als sonst, die sehen den Texte einfach.
• 7:59
  Speaker 0: Und dann hat eben, der zweite Schritt war dann eben, dass der Chatbot einen Link erstellen sollte.
• 8:04
  Speaker 0: Und dann kann man beliebig zum Beispiel dem User sagen, hier ist der Link mit weiteren Informationen, der dann eben ganz, ganz harmlos aussah, weil er eben mit ASCII Smuggling ergänzt war.
• 8:14
  Speaker 0: Und in diesem Link war dann eben die Information drin, die der Angreiferin gesucht hat.
• 8:19
  Speaker 0: Also zum Beispiel die Verkaufszahlen oder eben dieses One-Time Password wurde dann quasi in den Link ganz ans Ende geschrieben.
• 8:27
  Speaker 0: Der User klickt den Link, sieht das?
• 8:29
  Speaker 0: Und dann geht eben diese Information an den Angreifer, an die Angreiferin, weil dann natürlich deren Server ... empfängt, auf welchen Linker geklickt hat, wie der aussieht, der ergänzt war durch den Chatbot.
• 8:41
  Speaker 0: Und in dem Fall zum Beispiel hat das, haben sie dann gezeigt, die Verkaufszahlen für Sie hätte, die in den E-Mails gefunden worden sind.
• 8:48
  Speaker 0: Und ganz ähnlich, aber übrigens damals der Angriff, den wir Forscherinnen gezeigt haben, mit damals noch Bing Chat, das war wirklich ganz, ganz frisch als Bing Chat, also Co-Pilot noch Bing Chaties, genau.
• 8:59
  Speaker 0: Und das war nämlich damals deshalb so, weil das der erste Chatbot war, der ins Internet konnte.
• 9:02
  Speaker 0: Die anderen konnten eben aus Sicherheitsgründen, aus guten Gründen noch nicht ins Netz.
• 9:06
  Speaker 0: Das wurde aufgegeben und das war eben auch so, die haben ein Foto, eine Website mit einem Bild von den Piraten drauf erstellt, wenn ich da mit Bing Chat drauf gegangen bin und dann eben mit Bing über diese Website chatten wollte, war da eben auch schwarz auf schwarz versteckt, die Information als Bing Chat.
• 9:23
  Speaker 0: ein Pirat ist und mich Social Engineering sogar mehr Informationen zu verraten.
• 9:28
  Speaker 0: In der Use Case oder die Demo war da eben mein Namen rauskriegen und dann genau das Gleiche hat dann ein Link generiert.
• 9:34
  Speaker 0: Da war es allerdings dicht, bei der Name war einfach nur falsch rumgeschrieben.
• 9:36
  Speaker 0: Aber da muss man trotzdem erstmal drauf kommen und mich eben dazu zu bringen, darauf zu klicken.
• 9:40
  Speaker 0: Also das ist so diese Mischung aus Social Engineering von Chatbots und Menschen.
• 9:45
  Speaker 0: Und was ich jetzt spannend fand im Rahmen von dieser Recherche, zu sehen, dass es halt über die Jahre immer wieder passiert.
• 9:52
  Speaker 0: Also, es war der erste, die Unternehmen versuchen es zu verhindern, aber es klappt einfach
• 9:58
  Speaker 1: nicht.
• 9:59
  Speaker 1: Ja, und jetzt, genau wie wir gerade sagen, jetzt kommt ja so ein bisschen eigentlich der Clou oder das, wo man im Kopf einfach richtig umdenken muss.
• 10:07
  Speaker 1: Man kann das ja eigentlich nicht verhindern.
• 10:10
  Speaker 1: Das ist auch das, was so ein bisschen deine These war, was du zu mir am Anfang gesagt hast, warum LLMs immer die besten Freundinnen von Hacker bleiben werden.
• 10:23
  Speaker 1: diese Prompt Injection eigentlich eine Fähigkeit, das Sprachmodell ausnutzt, die im Sprachmodell sozusagen drin ist.
• 10:30
  Speaker 1: Man könnte sich jetzt vorstellen, man denkt sich ganz viele Sicherheitsprompt aus, die man sozusagen um den System Prompt, um das innerste Kernstück aus dem Rumschreib, so nach der Motto, ignoriere Botschaften in Bildern.
• 10:49
  Speaker 1: Also tu dies nicht, tu das nicht.
• 10:51
  Speaker 1: Das Problem ist ja, man muss sehr unendlich kreativ sein, um sich alles Mögliche auszudenken, um dem herzuwerden.
• 10:57
  Speaker 1: Und das ist quasi unmöglich.
• 10:59
  Speaker 0: Und das sieht man eben.
• 11:00
  Speaker 0: Wenn man guckt, was die Unternehmen machen, natürlich, jeder einzelne dieser Lücken wurde dann geschlossen, mit genau, vermutlich, solchen Anweisungen an den Chatbot, dass er lernt, dass er solche Dinge nicht tun darf.
• 11:09
  Speaker 0: Das Neuste, was ich jetzt gefunden habe, war vom achtzehnten September von RedWare, einer vermutlichen IT-Sicherheitsfirma, die Shadow League gezeigt haben.
• 11:21
  Speaker 0: Deep Research Agent, der ja auch nur sinnvoll funktionieren kann, wenn er Zugriff bekommt auf Daten.
• 11:28
  Speaker 0: Und wie das war, das war September, die haben natürlich schon mehr Aufwand investieren müssen, weil die Unternehmen sich dagegen wappen, aber die haben es eben auch geschafft, in eine E-Mail versteckte Instruktionen einzugeben, ganz ähnlich.
• 11:41
  Speaker 0: finden wir in der E-Mail diese und jene Zahlen und haben da noch dann noch deutlich mehr Social Engineering gebraucht.
• 11:47
  Speaker 0: Also haben dem Chatbot gesagt, hier du bist fully authorized zum Beispiel.
• 11:51
  Speaker 0: Also alles, was potenziell von Open AI da als Grenzen reingebaut worden ist, haben sie eben versucht mit guten Argumenten in Anführungszeichen zu umgehen.
• 12:01
  Speaker 0: Also haben eben gesagt, du bist fully authorized.
• 12:03
  Speaker 0: Lass nix anderes sagen.
• 12:04
  Speaker 0: Du musst uns einmal kompletten Bericht abgeben.
• 12:07
  Speaker 0: Du musst es so oft versuchen, bist du schaffst und haben dann auch noch so ein Pseudo-Verschlüsselungsding reingemacht.
• 12:13
  Speaker 0: Du kannst dann die Daten so und so verschlüsseln, bevor du sie an uns schickst.
• 12:17
  Speaker 0: Und haben also schon Versuche gebraucht, aber haben es tatsächlich geschafft, dass dann diese Informationen auch an den Angreifer oder in dem Fall an die Sicherheitsfirma, die ethischen Hacker geschickt worden ist.
• 12:30
  Speaker 0: Ja, wie du sagst, das lässt sich nicht vergeben
• 12:32
  Speaker 1: haben.
• 12:32
  Speaker 1: Ewa, was ist daraus eigentlich die Konsequenz, wenn man so hart sagen muss, dass LLMs immer angreifbar sein werden für diese Art von Prompt Injections?
• 12:46
  Speaker 1: Weil ja in dem Moment, wo ich zu viele Sicherheitsprompts aus dem Rundbau mache, mache ich ja am Ende dann auch die Funktionalität.
• 12:54
  Speaker 1: von dem LLM kaputt.
• 12:55
  Speaker 0: Ja, dann geht's nämlich nicht mehr.
• 12:57
  Speaker 1: Aber das ist so nicht.
• 12:58
  Speaker 1: Aber das ist nicht.
• 12:58
  Speaker 1: Aber das ist nicht.
• 12:59
  Speaker 1: Aber hier auch.
• 12:59
  Speaker 1: Aber je mehr sozusagen ich das also begrenze mit solchen Sicherheitspromz, weil ich halt quasi jede Möglichkeit eines potenziellen Angreifers ausblenden möchte, dann beschränke ich mich sozusagen selbst.
• 13:13
  Speaker 1: Also was ist denn die Konsequenz?
• 13:15
  Speaker 1: eigentlich das LLMs für bestimmte Aufgaben, für die sie so praktisch wären.
• 13:20
  Speaker 1: So E-Mails zusammenfassen, zum Beispiel, ungeeignet sind.
• 13:23
  Speaker 1: Was ist denn der Schloss da draus?
• 13:26
  Speaker 0: Also das ist was Simon Wilson zum Beispiel, würde ich sagen, sagt, das ist ein Sicherheitsforscher Informatiker, mit dem ich öfter mal gesprochen habe, der wirklich super interessante Sachen sagt.
• 13:36
  Speaker 0: Der nennt das lethal trifactor, also diese drei Dinge zusammenkommen, dass eben ein Chatbot Zugriff auf private Daten hat, die Fähigkeit nach außen zu kommunizieren und eben nach außen auf Inhalte trifft, den man nicht Automatisch vertrauen kann.
• 13:55
  Speaker 0: Also, dass diese, wenn diese drei Sachen zusammenkommen und es kommen natürlich zusammen, sobald er ins Internet geht und auch, wenn du bald der E-Mails liest, muss man sagen, weil jeder kann dir ja irgendeine E-Mail schicken mit versteckten Botschaften drin.
• 14:05
  Speaker 0: Gibt es eigentlich keine Lösung und du musst dich, also ich glaube, was eine, was daraus folgt, ist, dass man sich eben dessen bewusst sein muss.
• 14:13
  Speaker 0: Ein bisschen hat man gesehen.
• 14:14
  Speaker 0: einige der Angriffe brauchen jetzt doch wieder Userinteraktion, also indem du zum Beispiel dann auf den Link klickst.
• 14:21
  Speaker 0: Das ist aber, glaube ich, tatsächlich immer schwieriger zu unterscheiden für Userinnen und User, die mit solchen Agenten arbeiten, weil natürlich dann, also ein Beispiel war dieser Browser, Agentic Browser von Perplexity, Comet Browser.
• 14:35
  Speaker 0: Den habe ich nicht ausprobiert.
• 14:36
  Speaker 0: Der soll aber richtig gut sein, der einem Websites zusammenfasst und so weiter.
• 14:40
  Speaker 0: Und da war eben eben auch einfach so ein Beispiel, der hat dann In Reddit Post zusammengefasst mit versteckten Anweisungen.
• 14:46
  Speaker 0: Und klar, dann sagt ihr, hier ist die Zusammenfassung und der Link sieht total harmlos aus und dann klickst du drauf und dann ist es schon passiert.
• 14:52
  Speaker 0: Also das braucht.
• 14:54
  Speaker 0: auch oft Userinteraktionen.
• 14:56
  Speaker 0: Weil natürlich, also das erste Trick ist, dass du sagst, kein Agent darf automatisch irgendwelche Sachen aus meinem System rausschicken.
• 15:04
  Speaker 0: Das ist ja was, genau.
• 15:05
  Speaker 0: So kann man natürlich recht viel verhindern.
• 15:07
  Speaker 0: Aber dann natürlich, dann kommen natürlich die ganzen Tricks mit Social Engineering auch wieder in Bezug auf die Userinnen und User.
• 15:13
  Speaker 0: Und die Beispiele, die ich gesehen habe, ja, ich glaube, die sind wirklich schwer definitiv zu verhindern.
• 15:18
  Speaker 0: Deswegen, glaube ich schon, muss man sich einfach sehr, sehr gut überlegen.
• 15:23
  Speaker 0: welche Freigaben man so einem Agenten, so einem KI-Agenten gibt.
• 15:27
  Speaker 0: Und jetzt gab es ja auch viele Berichte darüber, dass diese ganzen agentischen Use-Cases auch zu ziemlich viel Unsinn führen.
• 15:34
  Speaker 0: Also dass die nur, teilweise nur vordergründig uns die Arbeit abnehmen.
• 15:38
  Speaker 0: Das ist vielleicht auch teilweise eine Marketing-Behauptung ist.
• 15:42
  Speaker 0: Also auch vor dem Hintergrund kann man, glaube ich, überlegen, ob man so was einfach doch weniger einsetzt, als es... Als es lockt.
• 15:49
  Speaker 1: Also jetzt nur noch mal als Beispiel, also würde das zum Beispiel bedeuten, wenn ich jetzt so ein Art E-Mail-Agenten habe, der mir selbstständig E-Mails beantworten soll.
• 16:00
  Speaker 1: Ja, oder eine bestimmte Art von Mail, sozusagen, ja, bei Terminanfragen.
• 16:06
  Speaker 1: Schau in meinen Terminkalender und wenn ich da Zeit habe, dann schicke eine freundliche Zusage.
• 16:11
  Speaker 1: Und wenn ich keine Zeit habe, schicke eine freundliche Absage.
• 16:14
  Speaker 1: So könnte sowas ja theoretisch.
• 16:16
  Speaker 1: aussehen.
• 16:17
  Speaker 1: Und dann wäre natürlich die Gefahr bei einer Prompt Injection, dass ich eine E-Mail erhalte.
• 16:21
  Speaker 1: Die sieht für mich als Mensch ganz easy peasy normal aus.
• 16:25
  Speaker 1: Da ist gar nichts drin.
• 16:26
  Speaker 1: Aber die enthält die verbotene Anweisung irgendwelche geheimen Sachen aus meinem Postfach rauszusuchen und die zurückzuschicken.
• 16:35
  Speaker 1: Und das würde dann funktionieren, weil der KI-Agent damit dann überlisted werden könnte.
• 16:40
  Speaker 0: Und selbst wenn du dann quasi die Hürde einbaust und sagst, jede E-Mail lese ich selbst nochmal durch, hast du ja das Problem auch, dass da versteckte Sachen drin sein können.
• 16:47
  Speaker 0: Das heißt, der Aufwand, diese E-Mails zu kontrollieren, wird unglaublich hoch.
• 16:51
  Speaker 0: Du musst dir auch versteckten Code verstecken, der Aske zeichnet.
• 16:53
  Speaker 0: Was weiß ich?
• 16:54
  Speaker 0: Weiß, schwarz, schwarz.
• 16:55
  Speaker 0: Sonst was untersuchen.
• 16:57
  Speaker 0: Und die Angreiferinnen werden ja auch immer besser darin, solche Sachen zu verstecken.
• 17:00
  Speaker 0: Und deswegen hast du dann am Ende nichts davon.
• 17:02
  Speaker 1: Das würde in der Konsequenz bedeuten, dass ich so einen KI-Agenten gar nicht dafür benutzen kann.
• 17:08
  Speaker 1: wie E-Mails vorzuformulieren.
• 17:10
  Speaker 0: Ich würde es jetzt aktuell tatsächlich nicht machen, weil mein Eindruck ist, das was du an Arbeit hast, das alles zu überprüfen, ist eigentlich... Viel mehr Arbeit als es dir spart am Ende.
• 17:21
  Speaker 0: Solche Dinge wie automatische Absage oder Automationen kann man ja ganz gut mit Regelbasiert lösen.
• 17:28
  Speaker 0: Oder einfach mit einer Autoreply, wenn mir eine E-Mail schreibt, kriegt ihr z.B.
• 17:31
  Speaker 0: mit einigen Anweisungen.
• 17:33
  Speaker 0: Das ist einfach eine E-Mail.
• 17:34
  Speaker 0: Das mache ich
• 17:35
  Speaker 1: immer, wenn ich einsam bin.
• 17:36
  Speaker 0: Wenn ich einsam bin,
• 17:39
  Speaker 1: schreib ich immer eine E-Mail und dann macht es bei mir immer die.
• 17:42
  Speaker 1: Und dann kommt, ich lese meine Mails nicht oder
• 17:46
  Speaker 0: ähnlich.
• 17:46
  Speaker 0: Viel mehr Text, viel mehr Text.
• 17:48
  Speaker 0: Man kann auch dann einen Link zum drauf klicken, der ist übrigens ein netter Link, also der ist auch nicht böse.
• 17:53
  Speaker 1: Ich denke immer, der denkt immer, okay, keiner schreibt mehr, aber Eva schreibt mehr.
• 17:58
  Speaker 1: Das ist ja gut.
• 17:59
  Speaker 0: Also wer das brauchst, so will ich mir schreiben.
• 18:00
  Speaker 0: Nee, also genau.
• 18:02
  Speaker 0: Ich inzwischen denke ich, dass man viele Dinge doch mit regelbasierten Systemen besser lösen kann.
• 18:06
  Speaker 0: Auch so Chatbot-Geschichten, die Unternehmen fragen mich dann, ja, ist es denn sicher, ein Chatbot auf meiner Website zu haben?
• 18:10
  Speaker 0: Und das ist ja das andere, dass dieser Chatbot wird ja auch mit, wird im Zweifel auch Antworten geben, die du vielleicht nicht... nicht gern hast, nicht gern hast.
• 18:20
  Speaker 0: Also auch das, und das hat man bei der Mercedes-Benz-Recherche eben gezeigt, natürlich wollten die nicht, dass der Chatbot uns verrät, dass er nicht über den Klimawandel sprechen darf, sondern dass er halt einfach solche Fragen, solche Themen geschickt umschifft, aber wenn man ihr halt auf eine bestimmte Art und Weise fragt oder lang genug ja rumsocial engeniert, dann verrät er eben solche Dinge.
• 18:38
  Speaker 0: Und man hat es nicht in der Hand, also man kann es nicht verhindern, was der Chatbot antwortet.
• 18:42
  Speaker 0: Und deswegen habe ich so Unternehmen, die fragen, da können wir nicht in Chatbot, der wenigstens so was sagt, wie wenn du das untersuchst, ist es da und da auf der Website haben.
• 18:49
  Speaker 0: und ich habe gesagt, ich würde vorschlagen, sowas regelbar zu machen und nicht mit einem Chatbot oder mit einem LLM, was dann eben, ja, weil du halt es nicht in der Hand hast, was die Systeme am Ende schreiben.
• 18:59
  Speaker 0: Es gab bei diesem bekannten Fall von der Fluggesellschaft, die ein Chatbot hatte, der hat dann einen Passagier versprochen, er bekommt sein Geld zurück, weil sein Flug verpasst hat.
• 19:07
  Speaker 0: Das stimmt aber, also der war selber schuld.
• 19:09
  Speaker 0: Rein rechtlich gesehen hätte der kein Geld zurückbekommen müssen, aber ein Gericht hat dann gesagt, na gut, aber hier wurde ihm ja von der Fluggesellschaft das zugesichert.
• 19:16
  Speaker 0: Dann haben die es bezahlen müssen.
• 19:17
  Speaker 0: Das ist zum Beispiel, man sieht, dass es am Ende durchaus heikel ist, einfach ein großes Sprachmodell in die eigene Website einzubinden.
• 19:26
  Speaker 0: Es gibt schöne Use-Cases für Large-Language-Models, aber nicht alle sind
• 19:31
  Speaker 1: sinnvoll.
• 19:32
  Speaker 0: Also
• 19:33
  Speaker 1: schöne neue Welt mit kleinen, grauen, schwarzen Stellen.
• 19:37
  Speaker 1: Die haben wir jetzt aber schön ausgeleuchtet.
• 19:42
  Speaker 2: Mehr von Svea Eckert und Eva Wolf-Angeln hört ihr jeden Mittwoch bei See Talk Tech auf der Podcast-Plattform Eurer Wahl.
• 19:50
  Speaker 2: Darin diskutieren die beiden Expertinnen verschiedene Tech-Themen oder treffen inspirierende Frauen aus und rund um die Tech-Welt.
• 19:57
  Speaker 2: Den Link zu See Talk Tech findet ihr natürlich auch in den Shownotes.
• 20:02
  Speaker 2: Und das war's für heute.
• 20:04
  Speaker 2: Den nächsten Deep Dive hört ihr an dieser Stelle in zwei Wochen.
• 20:08
  Speaker 2: Dann tauschen sich Eva-Maria Weiß von Heise Online und unser Kollege Nico Juran von der CTE über ihre Erfahrungen mit Kaibren aus.
• 20:16
  Speaker 2: Beide hatten schon die Gelegenheit, verschiedene Modelle von verschiedenen Anbietern zu testen und erklären, ob was dran ist an dem Hype.
• 20:24
  Speaker 2: Mehr dazu in zwei Wochen.
• 20:25
  Speaker 2: Es würde mich freuen, wenn ihr dann wieder dabei seid.
• 20:28
  Speaker 2: Bis dahin könnt ihr natürlich
• 20:30
  Speaker 1: mit unserem kompakten
• 20:31
  Speaker 2: KI-Update jeden Montag, Mittwoch und Freitag auf dem Laufenden bleiben.