Latest / Stand der Forschung / Deep Dive: Was ist digitale Resilienz? (mit Prof. Dr. Große-Kampmann & Prof. Dr. Bök)

Transcript

Deep Dive: Was ist digitale Resilienz? (mit Prof. Dr. Große-Kampmann & Prof. Dr. Bök) · Stand der Forschung

0:02
Speaker 3: Hallo und herzlich willkommen zu einer neuen Deep Dive Folge von Stand der Forschung. Mein Name ist Jonas Ross und in dieser Folge beschäftigen wir uns mit digitaler Resilienz. Stand der Forschung. Ein Podcast von Zeitadvice und Studio ZX. Unsere Welt wird immer vernetzter. Das ist beinahe eine Binse. Doch was genau es bedeutet, wenn immer weitere Teile unseres Lebens sich in den digitalen Raum bewegen, darüber herrscht oft wenig Klarheit. Denn unsere digitalen Kontaktpunkte sind seit langer Zeit nicht mehr nur privater Natur. Gesundheitsdaten, Steuerinformation, persönliche Dokumente und politische Meinungsbildung. Das Internet wird zum zentralen Knotenpunkt unserer Information und unseres Miteinanders. Grundlage dieses Datenaustauschs sind große Informationssysteme. Sie sind die digitale Infrastruktur, die Uploads, Speicherung und Verfügbarkeit von Daten gewährleistet. Und diese Informationssysteme Achtung, hier droht die nächste Binse – sollten bestenfalls absolut sicher sein. Was es braucht, ist digitale Resilienz. Doch das ist gar nicht so einfach. Ja, wir alle haben eine Firewall und ein möglichst sicheres Passwort. Aber damit ist es mit der digitalen Resilienz natürlich noch nicht getan. Bei der Nutzung digitaler Dienste sind wir auf externe Anbieter angewiesen, die ihre Services rund die Uhr sicher zur Verfügung stellen müssen. Täglich werden aber tausende perfide Ideen entworfen, uns dazu zu bringen, unsere sensiblen Daten mit Kriminellen zu teilen. Fishing.
1:54
Speaker 3: Und dann sind da noch die Daten, die wir mal mehr und mal weniger freiwillig teilen, die dann dank edlenlanger AGBs mit unserem Einverständnis verarbeitet, gespeichert und genutzt werden. Einen Einblick in diesen Vorgang haben wir selten. Und dann ist da natürlich noch der immer weiter voranschreitende Einsatz von künstlicher Intelligenz. Denn auch der beeinflusst unseren Zugang zu Wissen und damit auch die Wissensbasis, auf deren Grundlage wir Entscheidungen treffen. Das sind nur einige Beispiele. Bereiche, in denen wir dringend über digitale Resilienz sprechen müssen.
2:32
Speaker 3: Was genau steckt hinter diesem Begriff? Wo beginnt digitale Resilienz? Gibt es ein perfektes digitales Sicherheitssystem? Und wie beeinflusst die KI unser Verhalten im Netz? Das und mehr sind Fragen, die ich Professor Doktor Matteo Große-Kampenstaffel. Er ist Professor für verteilte Systeme an der Hochschule Rhein-Wahl. Jetzt gerade aktuell hast du mich rausgeholt aus einer Studie, die wir machen zum Thema LLM. Chat GPT wäre da jetzt so als Beispiel zu nennen, wo wir eben geschaut haben, wie könnte so ein Modell unsere politische Meinungsbildung irgendwie beeinflussen. Daran arbeite ich jetzt gerade, mit meinem Team vor allen Dingen. Im Interview wird er mir später erzählen von genau dieser Studie, vom Zustand unserer digitalen Resilienz und davon, wie man eigentlich an Internetphänomen und Datensicherheit forscht. Und mit seinem Kollegen Prof. Dr. Patrick Benjamin-Böck schauen wir vorab einmal kurz auf die Arbeit an der Hochschule Hainball. Denn in diesem Podcast blicken wir auf aktuelle Trends und neue Erkenntnisse unterschiedlicher Disziplinen. Und wir tauchen tief ein in ein Thema. Hier im Deep Dive gemeinsam mit Hochschulen und Forschungsinstituten. In unserem Forschungsbriefing sprechen wir mit Wissenschaftsjournalistinnen über die Themen, die die gerade beschäftigen. Das ist der Deep Dive und jetzt geht's los.
4:09
Speaker 3: Werfen wir also zu Beginn einen kurzen Blick auf den Alltag an der Hochschulereihenwahl. Die Frage natürlich mit den Informationssystemen, die ist in sich auch schon alt. Da sind auch viele Sachen schon vor Jahrzehnten eigentlich ganz gut mal definiert worden. Wir haben heute andere Möglichkeiten und diese Vernetzung, diese globale Vernetzung und Verfügbarkeit, ist eigentlich das, was das so spannend macht mittlerweile. Das ist Professor Dr. Patrick Benjamin-Böck. Er ist Professor für Praktische Informatik, insbesondere Betriebssysteme und Informationssysteme an der Hochschule Rhein-Wars. Informationssysteme, die begegnen uns quasi täglich, weil alles, wo wir irgendwo Daten ablegen und wieder abrufen wollen in irgendeiner Form, ob es in Verwaltungsprozessen ist, ob es bei Amazon ist, wenn wir da einkaufen, am Ende liegt immer ein Informationssystem dahinter. In Standorten in Kleve und Kamp-Lindt-Fort studieren über 6000 Studierende in 25 Bachelor- und 11 Masterstudiengängen. Professor Böck lehrt und arbeitet an seinem Fachbereich in der Fakultät Kommunikation und Umwelt.
5:12
Speaker 2: Ich beschäftige mich mit diesen Themen schon eigentlich sehr, lange und Informationssysteme sind eigentlich so der Kern. Also dafür machen wir relativ viele Sachen und wir wollen ja nicht theoretisieren. Wir wollen ja einen praktischen Nutzen da auch beistiften. Und diesen Nutzen, den sieht Böck täglich in Wissenschaft und Lehre. Früher hat er in der Wirtschaft die globale Digitalisierung eines Unternehmens vorangetrieben. Aber der Plan, die Lehre und in die Forschung zu gehen, Der war schon immer mal da, wenn sich die Möglichkeit ergeben sollte. habe ich immer gedacht, Mensch, das freie Denken, dass man wirklich keine Grenzen dabei hat, also alles, was ethisch vertretbar ist, frei machen kann und nicht irgendwo irgendwelche Fesseln hat. Und das ist das Schöne an der Wissenschaft Und das, Böck, ist an der Hochschule Rhein-Wahl und in seinem Alltag ziemlich gut spürbar. Es gehe darum, auch den Studierenden einen möglichst praktischen und freien Zugang zum Lehrmaterial zu vermitteln. Die Theorie aus der Lehre soll immer mit der Praxis verknüpft werden, statt Erkenntnisse aus der Forschung nur zu besprechen. Wir gucken halt immer recht früh, wie wir diese Erkenntnisse auch weitergeben, in die Lehre integrieren und eben halt auch in die Projekte integrieren, sodass halt auch die Studierenden bei uns eingebunden werden und dann auch selber auch im Bachelorstudium schon an ersten Forschungsthemen herangeführt werden und da dann auch einen Beitrag leisten können und auch diese Forschungsergebnisse in peer-reviewed journals und peer-reviewed Konferenzen veröffentlicht.
6:32
Speaker 3: Die Freiheit im Denken und die Praxisorientierung, die kann er an einem ganz besonderen Ort verbinden, den er selbst mit aufgebaut hat. Nämlich im Cloud Resilience Lab. Ja, mein Kollege Matteo Großgamm und ich, haben halt dieses Cloud Resilience Lab aufgebaut, weil wir gesagt haben, wir möchten quasi Ende zu Ende, also vom Smartphone bis in die Cloud hinein, möchten wir in der Lage sein, alle Bereiche zu analysieren eines verteilten Informationssystems. Und dazu gehört eben halt auch ein Netz, Computernetz, ein 5G-Netz, was jetzt da bald aktiv geschaltet wird. Und solche Elemente, wirklich transparent schauen zu können, sind die Systeme robust. Was ist, wenn die Server unserer Kommunikationsplattform ausfallen? Was passiert, wenn solche Systeme ungewöhnliche oder unerwartete Anforderungen erfüllen müssen? Mitunter solchen Fragen widmen sich die Studierenden und Lehrenden im Cloud Resilience Lab. Hier geht es digitale Resilienz. Also wenn wir solche Systeme analysieren, wenn wir Themen erforschen, wie kriegen wir die einzelnen Bereiche so aufgebaut, dass wir im Gesamtsystem wirklich ein resilientes Konstrukt haben. Also das heißt wirklich, dass wir sagen, diese ganze Kette, gucken wir uns die schwächsten Glieder an und versuchen, die zu verstärken. Und wenn dann bestimmte Sachen nicht mehr zur Verfügung stehen, wird das schwierig. Und die gucken wir uns da alle an. Also ob mit externen, ob mit Studierenden, setzen verschiedene Verfahren ein, haben verschiedene Aspekte, die wir betrachten, damit wir wirklich dieses Gesamtkonstrukt analysieren können und verbessern können und zukunftsfähig machen können.
8:02
Speaker 3: Im Cloud Resilience Lab testen die Beteiligten also Systeme auf ihre Robustheit. Und das ist halt an vielen Stellen auch eher so ein Trial and Error. Wenn wir dann halt auch KI-basiert auf einmal versuchen, die Systeme zu stören, die Systeme zu überprüfen, dann sind das quasi so für uns so Erkundungen an der Stelle auch wirklich. Das Cloud Resilience Lab stellt digital voll ausgestattete Arbeitsplätze zur Verfügung. Server-Systeme zur freien Erprobung von Methoden und Konzepten und vor allem virtuelle Infrastrukturen, die genannten Systemtests in beinahe realer Umgebung durchzuführen. Doch es ist auch ein physischer Begegnungsraum. Das ist halt wirklich Ort zum Zusammenkommen bei uns. Die Studierenden können da praktische Erfahrungen sammeln, im Kontext unserer Systeme, können mit unseren Systemen arbeiten. Auf der anderen Seite werden die dann halt über Nacht genutzt, Forschung zu betreiben, Messungen durchzuführen, Algorithmen zu erforschen. Da fragt man sich, welche Erkenntnisse oder Projekte aus dem Cloud Resilience Lab Ihnen in letzter Zeit besonders begeistert haben.
9:04
Speaker 2: Das muss ich ehrlich sagen, sind zu viele, weil wir wirklich da den Laden voll haben. Also das ist wirklich auch was bei uns an Projekten durchgeht, insbesondere mit den Studierenden. Das ist momentan echt irre. Das Cloud Resilience Lab ist für ihn ein besonderer Ort, der auch für alles steht, was er mit wirklich freier Forschung und Lehre verbindet. Das ist halt ein offenes Labor. Und das Spannende ist für die Studierenden nicht nur, wir eine Candy Bar haben, sondern dass das auch eine offene Atmosphäre da, glaube ich, ist und dass das halt ein Miteinander auf Augenhöhe. Und ich glaube, das zeichnet unser Labor aus, ob es jetzt mit Externen ist, ob es jetzt mit Studierenden ist. Das ist alles geschützter Raum, da kann nichts passieren und da dürfen die ausprobieren. Natürlich treibt uns das vielleicht auch mal hier und da zu Weißglut, aber damit müssen wir dann mit uns selber klarkommen. Aber das ist wirklich so, am Ende profitieren da alle von, wenn man mit Studierenden zusammen und mit Externen zusammen auf Augenhöhe so einen Labor betreibt und da wirklich sagt, das gute Argument ist Chef und niemand anderes.
10:12
Speaker 3: Wir halten also fest, die Hochschule Rhein-Wahl hat einen Ort für die praktische Erforschung von virtuellen Systemen errichtet. Ein Labor auf der Suche nach dem Stand der Forschung bei Informationssystemen. Zeit, sich mit den Ergebnissen dieser Forschungsarbeit auseinanderzusetzen. Und das kann er erklären. Meine Denomination, wie das Fachwort ist oder das, wofür ich berufen bin, heißt verteilte Systeme. Das ist Professor Dr. Matteo Große-Kampmann. Er ist Professor für verteilte Systeme an der Hochschule Rhein-Wahl. Und wie von seinem Kollegen angesprochen, ist er Mitbegründer des Cloud Resilience Labs. Im Interview mit ihm geht es gleich die Erkenntnisse aus Studien im Bereich der Informatik. Und darum, was genau verteilte Systeme eigentlich sind. Wie viele Lehrender an der Hochschule Rhein-Wahl hat Große-Kampmann den Weg über die Praxis in die Welt der Lehre genommen. Und zu Beginn seiner Laufzeit auch mal den Graubbereich betreten. Ich glaube, meinen ersten Kontaktpunkt hatte ich im schulischen Bereich. Ich habe irgendwie herausgefunden, dass man Klausuren hin- herschieben kann, die man in Informatik geschoben hat. Das war nicht mein bester Hack, weil es ist aufgeflogen. Danach habe ich viel Ärger bekommen. Im Bachelor nach meinem Zivildienst habe ich Medizintechnik und Sportmedizintechnik studiert.
11:30
Speaker 3: Im Praktikum bei einem Klinikverband in Düsseldorf fällt Ihnen bei einem Blick in das interne Computersystem ganz zufällig etwas auf, quasi nebenbei, etwas, das uns zu den Ausgangsfragen unserer Folge bringt. Und da habe ich festgestellt, dass ich als einfacher Praktikant Dinge sehen kann, die ich eigentlich nicht sehen sollte, ohne irgendwie großartig zu hacken, sondern einfach so wie das Netz eben aufgebaut war. Die Untersuchung von Internetsicherheit und die Arbeit an resilienten Systemen fasziniert Große Kapmann. Er macht einen Master in Internetsicherheit und später an der Universität Bochum einen Doktor in Systemsicherheit. Anschließend sammelt er die Erfahrung in der Praxis, die es für die Lehre an einer Hochschule für angewandte Wissenschaft braucht. Die habe ich 2019 begonnen zu erlangen, indem ich da ein Unternehmen gegründet habe mit Chris Wojtyszczowski. Das war damals ein Kollege von mir am Institut für Internetsicherheit, wo ich meine Promotion begonnen habe und 2024 aus dem operativen Geschäft rausgegangen, um jetzt wirklich in Vollzeit und mit absolutem Fokus hier die Professur und vor allen Dingen meine Forschungsthemen zu verfolgen.
12:40
Speaker 2: komme aus Nichtakademikerfamilie. Ich bin irgendwie Migrant in zweiter Generation. Tauche eben auch in den Statistiken als Migrant weiterhin auf und habe da eben so bisschen die Chance gehabt, das dann eben zu verfolgen und wahrscheinlich auch an der einen oder anderen Stelle Glück gehabt irgendwie, dass das dann jetzt so als Arbeitsfeld am Ende auch funktioniert hat. Dieses Arbeitsfeld, die Ergebnisse von spannenden Studienfragen und die Antwort, was verteilte Systeme eigentlich sind, die gibt es jetzt im Interview. Los geht's!
13:22
Speaker 3: Den Stand der Forschung ermittle ich heute mit einem neuen Gast. Herzlich willkommen, Matteo. Schön, du da bist. Ja, hallo Jonas. Ich freue mich total, dass ich heute hier sein darf und dass wir ein bisschen sprechen über den Stand der Forschung in dem Feld, dem wir uns gleich widmen werden. Genau das wird auch der Eingang sein, dass wir einmal herausfinden, wo wir uns da eigentlich bewegen. Dafür haben wir eine kleine Kategorie. Es kann so einfach. Genau, und zwar geht es in dieser Kategorie darum, dass du einfach erklärt, sie hieß mal, wie erkläre ich das meiner Oma, dein Forschungsgebiet in einfachen Worten für einfache Menschen wie mich erklärst. Womit beschäftigst du dich?
14:06
Speaker 2: Ich kümmere mich im Wesentlichen darum, dass die Daten, die wir so im Internet hinterlassen, irgendwie sicher und datenschutzkonform verarbeitet werden können. Aber so würde ich es meiner Oma nicht erklären. Oma würde ich wahrscheinlich sagen, ich arbeite daran, dass du das Internet ohne große Gefahren nutzen kannst und niemand einen digitalen Enkeltrick bei dir durchführen kann. So würde ich es meiner Oma wahrscheinlich erklären. Man
14:36
Speaker 3: Kannst du ein Beispiel nennen, womit beschäftigst du dich jetzt gerade aktuell? Aus was habe ich dich quasi gerade rausgeholt? Jetzt gerade aktuell hast du mich rausgeholt aus einer Studie, die wir machen zum Thema LLM. Chat GPT wäre da jetzt so als Beispiel zu nennen, wo wir eben geschaut haben, wie könnte so ein Modell unsere politische Meinungsbildung irgendwie beeinflussen. Daran arbeite ich jetzt gerade, mit meinem Team vor allen Dingen. Auf genau die wollen wir auch gleich noch zu sprechen kommen. Wie differenziert diese Thematik geworden ist, sieht man finde ich auch ein bisschen daran, an dem Namen deiner Professur. du hast die Professur für verteilte Systeme in, sagst du. Kannst du erklären oder beschreiben, was versteht man eigentlich unter dem Begriff verteilte Systeme? ein verteiltes System habe ich immer dann, wenn mindestens zwei Komponenten miteinander sprechen. Also zum Beispiel, können es vielleicht am Podcast machen. Der Podcast, der jetzt gerade gehört wird von der Hörerin, dem Hörer, der wird ja über eine App gehört oder über einen Webinterface. Aber die Audiodatei, liegt auf einem Server. Und da liegt nicht nur die eine Audiodatei, sondern da liegen Millionen Audiodateien. Und quasi die Koordination, dass jetzt die Hörerin hier quasi diesen Podcast hört. Das muss irgendwie geschehen und das macht man mit einem verteilten System, weil wir haben ja hoffentlich nicht nur eine Hörerin, sondern viele und die müssen natürlich zeitgleich auch irgendwie auf diesen Audio-Stream zugreifen. Zu jeder Tages- Nachtzeit kann man uns hören und das ist dann sozusagen so das Grundgerüst, wenn man ein verteiltes System haben will. Das wird dann auch irgendwann beliebig komplex.
16:17
Speaker 2: wenn verschiedene Sensoren da beteiligt sind, die zum Beispiel Daten an eine zentrale oder dezentrale Komponente liefern. Genau, aber ich glaube jetzt, dass das Podcast-Beispiel, das war wahrscheinlich so am greifbarsten. Total und macht ja auch die Komplexität dahinter, wie der Datenstrom letztlich ist und wo die Daten liegen, total greifbar, weil, wie du schon richtig sagst, man hat den Ausgangspunkt, die Datei, die verteilt werden muss und die wird dann eben auch verteilt auf zehn verschiedene Plattformen und die Plattformen werden genutzt von tausenden verschiedenen HörerInnen. Da wird der Begriff verteilte Systeme, glaube ich, ganz gut greifbar. Du sagst, und ich glaube da kommen wir auch So bisschen auf diesen Punkt, warum das heute so relevant ist. Ich lese daraus so bisschen, dass diese Forschung einer digital resilienten Gesellschaft dienen kann, Was ist damit gemeint oder was könnte damit gemeint sein? Also wann würdest du sagen, ist eine Gesellschaft digital resilient? Wenn wir, ich glaube, eine digitale Resilienz haben wir dann, wenn wir quasi auch auf Störereignisse, zum Beispiel, dass die Podcastfolge jetzt nicht verfügbar ist. Das Beispiel bricht jetzt relativ schnell, ob die Podcastfolge jetzt gerade in dem Moment, wo ich sie hören will, erreichbar ist oder nicht, das ist dann vielleicht ein persönliches Schicksal, dass das jetzt gerade nicht funktioniert und kein gesellschaftliches. Aber wenn wir jetzt von der Podcast-Episode sozusagen weggehen ... dann würde das bedeuten, dass keine Panik ausbricht, nur weil ein System nicht da ist. Aber das ist natürlich schwierig zu bestimmen. Sagen wir mal Microsoft oder Google, irgendein Digitalkonzern, da fallen jetzt die Services aus. Das haben wir ja immer mal wieder, dass es da zu Ausfällen kommt und dann ist natürlich der Aufruhr immer schon relativ groß. Gerade wenn dann
18:05
Speaker 2: Im privaten Bereich betrifft es mich, wenn eben vielleicht meine sozialen Netzwerke nicht mehr erreichbar sind und ich wollte da gerade irgendwas besonders Wichtiges posten. Und natürlich dann aber gibt es den wirtschaftlichen Bereich, wenn mein Unternehmen dann eben nicht mehr handlungsfähig ist, weil ich komplett auf Cloud gesetzt habe, dann bin ich halt nicht resilient. Also ich brauche dann digital Risikostrategien, die bei einem Ausfall dafür sorgen, dass ich trotzdem handlungsfähig bleibe. Wenn wir jetzt quasi wieder zur Podcast-Folgespringen, dann habe ich die runtergeladen auf mein Endgerät und höre sie dann einfach auch, wenn mein Internet nicht verfügbar ist. Hm? Da wir wahrscheinlich bei solchen Dingen auch häufig von Live-Daten sprechen, notwendig sind. Mir kommt jetzt zum Beispiel direkt wieder in den Hinterkopf das Beispiel, was du genannt hattest bei deinem Praktikum, wo du zu viel Einsicht hattest in ja auch sehr sensible Daten. Jetzt soll es natürlich nicht so sein, dass du diese Daten einsehen kannst einfach, aber diese Daten müssen ja verfügbar sein. Das heißt, du meinst quasi systemrelevante Institutionen, Einrichtungen. sind abhängig von einer bestimmten externen Dienstleistung. Wenn die nicht funktioniert, dann muss man einen Plan B haben. Dann wären wir resilient sozusagen.
19:16
Speaker 2: Genau, das ist eine Komponente von Resilienz. Genauso wäre Resilient das überhaupt, dass jemand, der nicht zugreifen darf, wirklich keinen Zugang zu den Zugriff auf die Daten hat. Also das spielt da alles mit rein. Und wenn man dann wirklich ein resilientes System hat, dann hat man auch einen Störfall. Ja, zum Beispiel eben eine Nichtverfügbarkeit, warum auch immer. Und danach, nach der Nichtverfügbarkeit, erst mal ... passt sich das System selbst an, versucht diese Störung selber zu beheben und ist danach sogar vielleicht ein Stück weit effizienter als vorher. Dann hat man ein perfektes oder nahezu perfektes Resilienzniveau sozusagen erreicht. Und Sicherheit ist dann eben eine Komponente von Resilienz am Ende. Wenn ich mich so frage, wenn ich das jetzt vom Ende her denke, dann kann ich mir gut denken, klar, wenn es gelingt eine Plan B Strategie zu haben, ist ein Teil der Resilienz. Wenn es mir gelingt, Daten abzusichern, wenn ich sie brauche, ist es auch eine Form von Resilienz. Was ich mich aber so bisschen frage ist, liegt dem vorgelagert nicht eigentlich so bisschen das Problem, dass auch jede kritische und auch nicht kritische Infrastruktur immer in einer Abhängigkeit ist von einem Dienstleister, einer Dienstleistung, die letztlich fast dafür sorgt, dass wenn ich ultimative Resilienz haben möchte, müsste ich ja fast eine Anwendung selbst haben oder ich müsste eine Anwendung nutzen können, der ich zu 100 Prozent vertrauen kann, dass sie nicht plötzlich abgeschaltet wird, dass sie nicht verkauft wird, dass sie nicht ihre Datenschutzrichtlinien ändert. Also beginnt Resilienz dann nicht eigentlich schon bei der Auswahl der Dienstleistung? Klar.
20:54
Speaker 2: Also bei der Auswahl unseres, quasi unserer Servicepartner zum Beispiel, da kann das auch schon beginnen. Wir haben das ja... beispielsweise gesehen zu Beginn des Ukraine-Krieges, dass das auch Digitalauswirkungen hatte, dass eben zum Beispiel Kaspersky nicht mehr empfohlen wurde als Antivirenhersteller. Das gehört natürlich dazu. Und in einer Welt, die immer vernetzter ist, müssen wir uns natürlich auch diese Fragen stellen. Wie können wir das aufbauen? Sollte es mal zu einem Ausfall kommen? Warum auch immer? Wie unsere kritische Infrastruktur weiterhin verfügbar ist und weiterhin funktioniert? gehört eben auch dieser Auswahlgedanke dazu. Das ist natürlich dann alles Dinge, die man quasi davor tun sollte, vor diesem Störfall. Und dann gibt es quasi eine Phase nach diesem Störfall. Und das spielt natürlich dann alles zusammen, dass am Ende dieses System dann eben als resilient kategorisiert werden kann oder eben nicht. Also du hast schon Recht, man kann das eben auch vom anderen Ende an denken. Also die Krise sozusagen oder den Störfallplan, was passiert dann? Und dann kann man ja auch sich in diesen Szenarien dann individuell verlieren, was müssen wir dann tun oder wie können wir das verhindern? Jetzt ist es ja so, da lehne ich mich wahrscheinlich nicht so weit aus dem Fenster, dass wir als Gesellschaft nicht diese Resilienz aufweisen, in keinem der einzelnen Schritte, in keinem der Fälle. Wie denkst du, ist es zu erklären, dass wir uns in diesem Zustand bewegen, dass Resilienz bei diesen Themen für viele Menschen wahrscheinlich erstmal ein Fremdwort ist und dass wir auch als Gesellschaft darauf nicht die richtigen Antworten haben oder nicht den richtigen Weg gefunden haben?
22:35
Speaker 2: Das kann ich jetzt natürlich schwierig bewerten. Also ich kann das technisch bewerten, so ein bisschen, ob ein System resilient ist. Aber oft sieht man es ja auch erst im wirklich Störfall. Ist das, was ich geplant habe, auch jetzt das, was dann umgesetzt werden muss. Das kann man natürlich dann versuchen anzunähern, indem man beispielsweise simuliert. Also wenn man beispielsweise mal den für sich persönlich so einen kleinen Resilienztest machen will, einfach mal den Flugmodus im iPhone anmachen oder das iPhone ausmachen und mal gucken, wie weit man kommt. Also dann stellt man ja, je nachdem, wo man so arbeitet, relativ schnell fest, wie gut diese absolute Vermeidungsstrategie funktioniert. Ich glaub, man muss für sich selber gucken, was kann ich tun, sozusagen resilienter, weniger abhängig vielleicht auch sogar zu werden. Und dann quasi, das müssen wir dann meiner Ansicht nach, aber das ist jetzt eine persönliche Meinung, das als Gesellschaft dann eben auch verhandeln. Wie wollen wir das tun? Aber ich glaube, da bin ich als Ingenieur nur einer, der da irgendwie was zum Teil zu sagen kann. Wie gesagt, ich kann diesen Selbsttest mal empfehlen, einfach das Handy auf Flugmodus machen und erst mal gucken, welche Apps kann ich überhaupt noch benutzen. Da sieht man dann auch schön, welche Apps Teil eines verteilten Systems sind. Und ich habe dann vor allen Dingen eben auch direkt für mich selber diesen Resilienzaspekt. Herr Spann, Stimmt. Was kann ich jetzt tun? Wie erreiche ich Kontaktpersonen, die ich erreichen muss? Etc. Und wie wir das dann als Gesellschaft aushandeln, das müssen wir gucken. glaube, die Politik hat natürlich eine Verantwortung, die kritischen Infrastrukturen zu sichern. Da gibt es ja dann auch Gesetze beispielsweise, die dafür sorgen sollen, dass wir das tun. Aber wie wir das als Gesellschaft dann insgesamt aushandeln, ob wir resilient sind?
24:27
Speaker 2: Das ist jetzt, das ist glaube ich eine sehr gute Frage. Ich würde gerne mal auf euren Studienoutput zu sprechen kommen, weil der, würde ich sagen, ist schon wirklich beachtlich. Vorgelagert aber nochmal die Frage, inwiefern, also auf dem Weg zu bestimmten Studien, wir sprechen gleich noch genauer drüber, wie arbeitest du, wie sieht eine Professur bei dir aus und wie bindest du beispielsweise Studierende in deine Arbeit auch ein, in die praktische Forschungsarbeit beispielsweise? Das ist eine sehr gute Frage. Ich ich bin ja jetzt an der Hochschule für angewandte Wissenschaften. Das heißt, ich habe jetzt zum Beispiel keine direkt mir zugeordneten Mitarbeiter. Ich habe im Moment Doktoranden, die dann eben über Drittmittel oder extern finanziert sind, sozusagen über das Promotionskolleg NRW, an dem ich eben assoziiertes Mitglied bin, dann ihre Promotion verfolgen. Und mit denen arbeite ich dann natürlich zusammen, entwickle Forschungsfragen und entwickle dann auch quasi Methoden oder Wendemethoden an, sozusagen Erkenntnisse zu generieren. Und da gehört dann teilweise eben auch zu, dass wir mal Experimente machen, die nicht funktionieren, mal Experimente, die vielleicht ganz gut funktionieren. Und irgendwo da, sag ich mal, ist dann meine Forschungsarbeit vor allen Dingen zwischen eben all der Lehre. Da muss man immer so ein bisschen gucken. Das erfordert halt auch viel Flexibilität hier von allen Seiten, das irgendwie in den Tag so unterzubringen, wenn ich jetzt selber Also irgendwie mal ein Skript schreibe oder an einem Paper arbeite, dann ist das meistens abends oder am Wochenende. Weil eben wenn Semesterbetrieb ist, bin ich vor allen Dingen in der Lehre eingebunden und dann ist das natürlich so bisschen herausfordernder, sag ich mal.
26:09
Speaker 3: ganz interessant, weil ich häufig das Wort Testing oder diesen praktischen Aspekt, eben diesen angewandten Aspekt bei euch auf den Seiten finde. Und ich frage mich so ein bisschen, wie sieht denn praktische Arbeit in eurem Bereich aus? was genau, zum Beispiel du hattest jetzt gerade gesagt, bestimmte Experimente gemacht werden, die mal klappen und mal nicht klappen. Was ist das so? Ein Experiment sieht so aus, dass man zum Beispiel Daten sammelt, die im Internet verfügbar sind, zum Beispiel so Datenschutz-Policies, also Datenschutzerklärungen, und die kann man dann eben auswerten, ob die lesbar sind, ob die weniger lesbar sind. Und das wäre zum Beispiel ein Experiment, wo man Daten beschafft. Dann gibt es Experimente, wo man mit einem System interagiert zum Beispiel mit einem 5G-Netzwerk, also mit einem Mobilfunknetzwerk. Dafür braucht man dann ein Mobilfunknetzwerk und wenn man das hat, kann man zum Beispiel Software schreiben, die dann versucht, automatisch oder teilweise auch händisch, wenn man triggert, zum Beispiel indem man einen Befehl ausführt, dann zu schauen, wie reagiert das System? Was passiert, wenn ich eine Anfrage sende, die das System nicht erwartet? Was passiert dann? Das wären so zwei Arten von Experimenten. Einmal Datenbeschaffung und Auswertung. Und das mache ich natürlich bei einem Systemtest auch, aber da muss ich eben erst mal überlegen, was könnte ich jetzt an das System senden, damit mir Daten zurückgeliefert werden, die interessant sind. Ja, super spannend. Ich habe ja vorhin schon angedeutet, ihr habt einen sehr hohen Studienoutput und wir wollen auf eine gleich noch genauer schauen. Die hattest du am Anfang auch schon erwähnt, die LLM-Studien, in du gerade auch noch arbeitest. Kannst du noch andere Studien nennen, beziehungsweise ich weiß, dass es andere gibt, wo mich total interessieren würde, was ihr da so erarbeitet habt und in welchen Gebieten ihr da so geforscht habt.
28:00
Speaker 2: Also wir haben beispielsweise eine Studie gemacht, die wir jetzt im Sommer veröffentlicht haben. Da ging es darum, dass wir uns so Phishing-Simulationen angeschaut haben. Phishing bedeutet ja, ich schicke eine Nachricht an jemanden und gebe mich als, zum Beispiel Amazon aus und versuche dann die Amazon Credentials zu bekommen. Das ist so das, was ein Angreifer macht. Und dann gibt es Anbieter, die bieten das als Service an, wo dann nachher die Daten nicht weg sind, wo nur geguckt wird, wie reagieren denn Mitarbeitende von einer Organisation da drauf, wenn sie eben so eine Phishing-Mail erhalten. Und da haben wir eben geschaut und alle Studien, die wir gefunden haben, die es aktuell so gibt, die schauen sich immer eine Organisation an oder mal zwei. Ich habe gesagt, ich habe vorher ein Unternehmen gegründet, das Unternehmen hat eben auch diese Phishing-Simulationen verkauft und dann haben wir uns eben 36 dieser Simulationen angeschaut und haben geschaut, Okay, was? okay. Worauf klicken die Leute hier? Was passiert, wenn wir welche Kategorie von E-Mails schicken, welche ist besonders erfolgreich, welche ist besonders unerfolgreich? Oder wenn wir eine gewisse Organisationseinheit quasi versuchen, mit so Fishing anzugreifen, was passiert dann? Und das haben wir dann ausgewertet und haben da eben gesehen, dass es beispielsweise sehr stark darauf ankommt, welches Department wir adressieren. Und das war vorher schon so eine... Vermutung, dass das davon abhängt. Unsere Studie hat das über mehrere Unternehmen dann gezeigt, dass das schon signifikant ist, dass gewisse Organisationseinheiten dafür deutlich anfälliger sind als andere.
29:37
Speaker 3: Natürlich muss ich fragen, welche sind es denn und vor allem welche Art von Mails, von Fishing Mails funktionieren denn besonders gut? Also sind tendenziell Sales- und Marketing-Departments, die besonders anfällig sind. Das liegt natürlich aber auch so ein bisschen an dem Job, ne? Der ist natürlich outgoing und man versucht sozusagen jedem Lead, der kommt, erstmal nachzugehen und ja, wenn man dann eben so eine E-Mail bekommt, wo vielleicht so ein Szenario drin ist, wie hier ist ein potenzieller Kunde, ja, dann ist das natürlich irgendwie was für einen Klick erstmal. erstmal sorgen wird. Ansonsten haben wir herausgefunden, dass gewisse Szenarien eben deutlich besser funktionieren. Und eins davon ist Take Care of Email. Also wenn eine E-Mail anzeigt, dass man sich irgendeinen Prozess, der irgendwie einen Arbeitsbezug hat, kümmern soll. Das ist eine E-Mail beispielsweise, die sehr gut funktioniert. Über alle Unternehmen und über alle Unternehmenssektoren hinweg. Ja, okay. Gibt es noch weitere Erkenntnisse aus den letzten Jahren, die ihr gesammelt habt? Irgendwas, was dich vielleicht auch total überrascht hat? Irgendwas, woran ihr gearbeitet habt? Woran du geforscht hast? Was dich besonders überrascht hat?
30:50
Speaker 2: Bei einer Studie haben wir uns Kindergarten-Apps angeschaut. Du hattest ja eben irgendwann mal gefragt, wie so ein Forschungsgedanke zustande kommt. Und das war einer, der war tatsächlich relativ persönlich getrieben, weil ich mir dachte, es muss ja eine bessere Möglichkeit geben, einer Einrichtung für Kinder zu kommunizieren als per WhatsApp. Und dann habe ich eben geschaut und dann habe ich ein paar Apps eben direkt gefunden, die für so das Management von Kindertagesstätten. Ja.
31:17
Speaker 2: eingesetzt werden. Und dann haben wir uns eben eine Methodik überlegt, wie wir das systematisch untersuchen können. Haben dann eben solche Apps identifiziert und haben dann geschaut, was für Sicherheitslücken haben die, die wir finden können und welche, wie sind die so, was den Datenschutz angeht, aufgestellt. Und da haben wir dann eben beispielsweise das Paper heißt, we may share the number of diaper changes, the privacy and security analysis of mobile childcare applications und We may share the number of diaper changes ist eben aus einer Datenschutzerklärung, die wir gefunden haben. wir könnten, wir behalten uns vor, die Anzahl der Windelwechsel zu teilen mit Dritten. das ist irgendwie, das ist ja was, wo man jetzt nicht dran denkt, wenn das von der Institution angeboten wird, zum Beispiel in einer Kindertagesstätte. Und das war eben so ein Finding, das war total counterintuitive, dass es eigentlich keine richtig gute Lösung gibt. Digital damals, 2022, wurde die Studie durchgeführt, sich vor Augen zu führen, dass es immer ein Risiko hat. Ein anderes Finding, wir da, das dann in einem total anderen Kontext kam, war, dass wir viel Fernsehen geschaut haben. Also es gibt ja jetzt zum Beispiel, dass du auf den Red Button drückst und dann geht die Mediathek auf, auf dein Fernseher. Ich weiß nicht, ob du das kennst. glaube, das kommt dann auch so mit den Fernbedienungen, dass man so... Genau. Genau. eine Technologie, dafür unter Umständen genutzt wird, die nennt sich HBB TV, Hybrid Broadcasting TV. Und da haben wir eben auch eine Studie gemacht, gemeinsam mit Kolleginnen aus Gelsenkirchen und weiteren Institutionen, zum Beispiel der Uni Münster und der Rattbaut. Und da kam eben raus, dass, wenn wir Fernsehen gucken, dass dann auch ganz schön viel datenschutzrelevante Informationen geteilt werden, mit zum Beispiel so Werbenetzwerken. Und einen
33:12
Speaker 2: Channel, der uns da besonders ins Auge gesprungen ist, ist ein Kanal, dem eben Kinderfernsehen läuft. da sind eben auch Daten dann über die Sehgewohnheiten des oder derjenigen, die quasi diesen Channel guckt, geteilt worden mit Dritten. Was bei einem Kanal, der eben nur Inhalte für Kinder teilt, da sind die Zuschauer eben mutmaßlich vor allen Dingen Kinder, was dann auch wieder problematisch ist. Also dieses ganze Feld, Kinderjugendliche ... eigentlich nochmal eine besonders schützenswerte Gruppe und vulnerable Gruppe im Internet auch darstellen. Das ist eben so eine Erkenntnis, die aus diesen zwei Studien hervorgeht. Die eine war eben mit einem Ziel, herauszufinden und bei dem anderen war es dann sozusagen in der Analyse der Daten eins der Ergebnisse. Ja. Und ich meine, ist natürlich ein Problem, auch damit beginnt, dass es bewusst so formuliert ist, dass es den meisten Leuten nicht auffällt, dass sensible Daten gerade geteilt werden, dass aber auch im Zweifel vielleicht die Sensibilität eigentlich doch nicht vorhanden ist, dass das passieren könnte. Also würde ich jetzt mal vermuten. Man hat immer so diesen Eindruck, ja, bestimmte Dinge, klar. wenn ich jetzt... bei Instagram mich anmelde, dann wird natürlich Daten für mich geteilt, damit die Werbung machen können. was daran ja so bisschen überraschend ist, dass es in einem Kontext passiert, wo vielleicht viele Menschen gar nicht damit rechnen. Denkst du, da fehlt so eine Sensibilität oder ist das eigentlich in Ordnung, dass Menschen das nicht denken und es eigentlich eine Unverschämtheit, dass man sich überhaupt damit beschäftigen muss?
34:37
Speaker 2: Ich glaube, es ist so bisschen beides. Also es ist, glaube ich, einmal die Sensibilität, die dafür irgendwie fehlt, ja, gerade in einer Region wie Europa, die ja versucht, wo wir versuchen, irgendwie alles zu regulieren, auch was Datenschutz, was ja auch dann gut ist, ja, Datenschutz oder jetzt der AI Act oder der Data Act, den wir jetzt neu haben. Da brauchen wir natürlich auch Sensibilität dafür bei den BürgerInnen. Auf der anderen Seite ist es natürlich auch irgendwie ein Unding, dass ich in meine Datenschutzerklärung reinschreibe, ich tracke hier nicht. Und wenn man sich das technisch anschaut, was tatsächlich eine Herausforderung auch ist bei so Fernsehern, dass man überhaupt da reingucken kann in den Verkehr, den die sozusagen mit ihren Servern betreiben. Das ist natürlich dann auch ein Unding der Hersteller bzw. der Entwickler von diesen HBBTV-Apps, dass sie das eben so umsetzen. Ja. Ja, spannend. Hast du mal eine These aufgestellt, was ein Anbieter mit der Information anstellen möchte, wie oft eine Windel von einem Kind gewechselt wird? wurde an ein Ad-Netzwerk gesendet, das heißt, es wurde danach genutzt, um irgendwo wieder Werbung auszuspielen. Also es liegt auch oft so bisschen an der Komplexität der Software, die gebaut wird, dass EntwicklerInnen auch oft gar nicht wissen, was sie da überhaupt einbinden an Bibliotheken und was diese Bibliotheken tun. Also es ist insgesamt zu klären, wer genau sozusagen jetzt schuld hat, ob es die fehlende Awareness ist, ob es die Betreiber sind, ob es die EntwicklerInnen sind. Also das ist so ein...
36:02
Speaker 2: Da kann man sich so bisschen beliebig Verantwortung zuschieben. Was ich so spannend daran finde, ist ihr kratzt natürlich auch bei der Beobachtung immer an diesen Datenschutzerklärungen und an dem, was man quasi einsehen kann. Es ist nicht wahnsinnig komplex, an etwas zu forschen und auf etwas versuchen zu untersuchen, wo man auf viele Dinge ja gar keinen Einblick hat. in die Datensätze von Privatunternehmen, da habt ihr im Zweifel gar keinen Zugriff drauf. Genau, aber du schaust dir dann eben an, wohin gehen die Daten. Deswegen ist die Methodik muss dann eben auch so gut beschrieben sein, weil natürlich haben wir darauf keinen Einblick. An einem gewissen Punkt können wir sozusagen nur Mutmaßen. Das ist ja auch, wenn wir in Richtung LLM schauen, auch da ein ganz großes Thema. Ich schicke eine Anfrage und ich bekomme ein Ergebnis. Und wie das Ergebnis erstellt wird, das kann ich gar nicht beurteilen. Und deswegen muss ich halt genau beschreiben, was habe ich getan, was habe ich sozusagen an das System gesendet und was war die Antwort und dann kann ich es irgendwie versuchen, erklärbar zu machen oder versuchen, mir daraus eine Analyse zu generieren. kommen jetzt gleich wie angekündigt mal auf die LLM-Studie. Vorab einmal die Rubrik steile These.
37:09
Speaker 1: Die steile These. Und zwar würde ich von dir gerne einmal wissen, gibt es Behauptungen, gibt es Feststellungen oder Dinge, die du regelmäßig hörst, ob in den Medien oder in deinem Umfeld, in Bezug auf dein Forschungsgebiet, wo ein totaler Mythos herrscht, wo du eigentlich gerne mal mit aufräumen würdest zu Fehlannahmen oder Behauptungen, die mit der Realität wenig zu tun haben. Immer wenn jemand sagt, das ist absolut sicher. Also immer wenn jemand sagt, ein System ist absolut sicher, dann muss man eigentlich schon mal genau hingucken, weil niemand kann 100 Prozent Sicherheit oder absolute Sicherheit von einem System garantieren. Das könnte auch ich nicht. Ja, es ist alles irgendwie angreifbar, gerade aktuell so schnell, wie sie eben alles entwickelt. Ja, ist diese Aussage eigentlich nicht mehr haltbar. Und trotzdem hört man es immer mal wieder. Auch wenn jemand sagt, ich habe mich sicher aufgestellt. Das ist immer abhängig davon, was man jetzt als Bedrohung für sich selbst sozusagen wahrnimmt und wovor man sich schützt. Was für mich vielleicht eine Bedrohung ist, ist für jemand anderen vielleicht total in Ordnung. Und was ich jetzt als total in Ordnung wahrnehme, ist für jemand anderen ein absolutes No-Go. es kommt ja auch immer auf die individuellen Schutzbedürfnisse an und auf die individuellen Bedrohungen, vor denen man sich sozusagen schützen möchte. Stand der Forschung würde ich sagen, es gibt kein perfektes System. Das nehme ich mit. ist ein wichtiger Hinweis, ja, weil ich glaube, wenn man so denkt, denkt man eher von allen Eventualitäten her, als dass man sagt, ja, ja, das ist alles perfekt, wunderbar. Kommen wir mal auf die aktuelle Studie zur politischen Desinformation, Kinder und Jugendliche. Kannst du einmal erklären, wir haben es jetzt mehrmals schon angesprochen, wir haben es jetzt mehrmals die LLM-Studie genannt, kannst du einmal erklären, das Studienziel bzw. der Versuch der Studienaufbau
39:00
Speaker 3: war oder ist. kennst ja bestimmt sowas wie den Walumaten, was ich eben einsetzen kann vor der Wahl, zu entscheiden oder um mir eine Hilfe zu geben, wen oder welche Partei sollte ich wählen. Und wir haben uns sozusagen mehrere dieser Voting Assistant Applications, heißen die, angeschaut und haben verschiedene Large-Language-Models sozusagen die Entscheidung treffen lassen, automatisiert. Also wir haben immer das Statement vorgelegt. plus eben entscheide dich bitte dafür, neutral oder dagegen oder was auch immer, die entsprechende VAA als Antwortmöglichkeit gegeben hat. haben dann gesagt, bitte gib auch eine kurze Begründung. Und haben das dann eben ausgewertet und entsprechend so auch quasi das dann befüllt. Dass das VAA und am Ende eine Wahlhilfe sozusagen für das LLM bekommen. Das haben wir mehrfach gemacht, also auch die Statements randomisiert vorgelegt, dass das LLM sich nichts merken kann oder aus vorherigen Anfragen irgendwas schließen kann. Das haben wir dann sozusagen ausgewertet. Und da kam eigentlich raus, was jetzt auch in verschiedenen Studien auch kam, dass die LLMs aktuell eigentlich alle eher links bis liberal sozusagen ihre Entscheidungen treffen. Und dadurch, dass das aber alle tun, über alle Wahlapplikationen hinweg, ist es sozusagen ein systemischer Bias, der in diesen Large-Language-Models liegt. Und das ist natürlich auf der einen Seite, sag ich mal, ist das ja ein Risiko, weil wenn jetzt das System an sich kippt und sagt, ich dreh das in eine andere Richtung, dann müsste man das diskutieren und man müsste natürlich auch aktuell diskutieren, ob man diesen, ich nenn's jetzt mal ganz allgemein, links lehnenden Bias so akzeptieren will.
40:46
Speaker 2: Und das ist dann wieder eine Frage, die müssen wir als Gesellschaft irgendwie diskutieren. Wir haben nämlich dann auch herausgefunden, die Entscheidung am Ende, bin ich für oder gegen ein Statement als LLM, die weicht teilweise total ab von dem, was das LLM als Begründung schreibt. Also wenn man die Begründung liest, würde man sozusagen denken, es stimmt jetzt nicht zu, aber es stimmt dann eigentlich zu. Aber die Entscheidung ist dann trotzdem Zustimmung. Und das ist natürlich nur schwer erklärbar. Wenn ich jetzt ständig sagen würde, Ich bin für das und das Thema und dann entscheide ich mich aber am Ende dagegen in einer Wahlsituation. Dann würde man wahrscheinlich von so einer Art kognitiven Dissonanz sprechen, die ich habe, weil ich denke das eine und begründe das eine Handel aber anders. Und bei den LLMs, die wir eben analysiert haben, wir das auch festgestellt. Die Studie ist gerade eben an der Submission, also das heißt, wir haben die eingereicht bei einer Konferenz und warten da gerade auf Reviews, aber genau, ist eigentlich ... Die Ergebnisse sind halt recht interessant, weil man eben dieses Leaning ganz gut sieht und dann diese Dissonanz zwischen Entscheidung und Begründung hat, die man auch messen kann. frage mich da, das ist vielleicht eine total ketzerische Frage, aber ich frage mich da bei dieser Dissonanz, ob das nicht auch ein wenig ein politisches Phänomen von Menschen auf eine Art widerspiegelt. mir kommt jetzt direkt an den Kopf, dass glaube ich eine Mehrheit der Deutschen, beispielsweise jetzt mal, ist ein politisches Thema für ein Tempolimit ist, aber in einer Mehrheit dann ja bei Wahlen Parteien wählen, die gegen das Tempolimit sind. glaube ein ähnliches Beispiel gibt es mit einer erhöhten Vermögenssteuer. Es gibt es mit verschiedenen Beispielen, wo man sozusagen vermehrt Parteien wählt, die gegen etwas sind, wofür ein Großteil der Gesellschaft aber ist. Also ist das nicht eine Art von Widerspruch, den man durchaus auch in der menschlichen Bevölkerung so erkennen kann?
42:41
Speaker 2: Das ist ein interessanter Gedanke. Denen wird man wahrscheinlich auch irgendwie messen können. Da bin ich jetzt überfragt, ob man den messen kann. Dafür habe ich das falsche Fachgebiet sozusagen. Aber das wäre natürlich auch interessant. Kann man das messen? Wir haben jetzt sozusagen aus unserer Informatikerbrille eben das gemacht, was wir messen können. Aber du hast natürlich recht, dass das ein interessanter Aspekt Das ist auch immer so ein bisschen Risiko, weil die ist halt noch nicht veröffentlicht. wir sprechen jetzt sozusagen hier über den wirklich Status Quo der Forschung. Aber das ist ein interessanter Aspekt. Ja, kam jetzt irgendwie so direkt in den Sinn und ich meine, gut, am Ende des Tages ist es vielleicht auch eine Vermenschlichung von diesem System. Was ich aber natürlich spannend finde, ist auch die Frage, habt ihr einen Erklärungsansatz oder eine Analyse gestartet, woher dieser Bias kommt? ich meine, man sagt ja immer, shit in, shit out oder garbage in, garbage out, so das geht ja für alles. Es geht ja auch für gute Dinge, schlechte Dinge, neutrale Dinge. Also das, was man reintut, kommt wieder raus. Kann man sich erklären, woher dieser bestimmte, Bias eigentlich kommt bei den LLMs? Aktuell kann man das eigentlich nur vermuten, aber es gibt eine Studie, die jetzt auch vor ein paar Wochen rauskam, wo sich von der Uni Bocconi in Mailand, von der University of Manchester und der Princeton University haben sich angeschaut, was der politische Content in den Pre- und Posttraining-Data von so LLMs ist. Ich hab ja Daten, die ich zum Training reinschmeiße und dann Daten, die ich nach dem Training noch mal zum Feintuning nutze. Und da ist eben in der Studie eins der Ergebnisse, dass vor allen Dingen auch Left-Leaning-Content zum Training von LLMs genutzt wird, weil's da scheinbar eine Überzahl an Items sozusagen im Internet gibt. Das ist so ganz kurz erklärt. Das könnte eben auch daher stammen.
44:39
Speaker 3: Naja, ist wahrscheinlich auch super komplex da eine allgemeingültige Antwort zu finden. Das ist wahrscheinlich kaum möglich. Jetzt frage ich mich natürlich, und das kann man ja vielleicht daraus ein bisschen ableiten, was bedeutet das denn schlussendlich für die Nutzung von LLMs? Also kann man daraus eine Art von Empfehlung, Vorsichtshaltung davon ableiten? Also was nimmst du daraus jetzt mit, was wir sozusagen als erstes Fazit, als vorläufiges Fazit oder als zumindest Hinweis sehen können zur Nutzung von LNMs. Ich glaube, wir müssen halt gucken, dass wir auf der einen Seite uns klar sind, dass aktuell die LLMs sehr progressiv und sehr pro EU sind, was Beispiel ihre Positionen angeht, wenn man sie eben so fragen oder Statements aus Europa fragt. Und dass wir daraus eben dann ableiten, was das für unseren demokratischen Diskurs jetzt am Ende bedeutet, weil Auf der einen Seite sind es natürlich die Perspektiven von dir und mir, die irgendwie diesen politischen Diskurs aktuell noch bestimmen. Aber wenn wir jetzt sozusagen LLMs fragen, wie sehen die denn einen politischen Aspekt, dann sind es natürlich auch LLMs, die da irgendwie einspielen. Und ich glaube, dann brauchen wir mehr Transparenz und mehr Verlässlichkeit, was diese Systeme angeht, eben nachvollziehbar zu sagen, warum entscheidet sich jetzt ein LLM, mir die Empfehlung zu geben. oder kontra eines gewissen Sachverhalts zu sein.
46:10
Speaker 3: Ich meine, ich höre da so bisschen raus, dass es ja auch eine Art von Appell ist an die EntwicklerInnen von LLMs. Kann man daraus was ableiten? Also was müsste eigentlich in der Entwicklung, in dem Training von diesen LLMs vielleicht auch anders laufen oder sich verändern? Weiß ich jetzt gar nicht, ob man da groß jetzt was ableiten kann, weil wir ja eigentlich nur, unsere Studie hat jetzt eigentlich nur gezeigt, wir schicken etwas bestimmtes an diese Blackbox und bekommen dann einen Output, der teilweise eben dissonant irgendwie ist. Ich sag mal, in der Art und Weise, wie so ein LLM zu seiner Entscheidung kommt, diesen Text zu generieren, ja, sucht ja am Ende irgendwie statistisch immer das Nächstwahrscheinlichere Wortra... wahrscheinlichste Wort raus und kreiert dann den Output darauf basierend. Ich weiß gar nicht, ob das was mit Training zu tun hat. Ich glaube, wir müssen halt den Kontext, in dem wir die Frage gestellt haben, dazu packen, weil das zum Beispiel so einfache Faktenchecks nicht dafür sorgen, dass Leute ihre Meinung ändern, sondern man muss die Kontextualisierung, die Information, und muss dann eben schauen, wie kriege ich jetzt hier die Fakten tatsächlich noch transportiert. Und das wird durch so LLMs natürlich nochmal deutlich komplexer. Ich vermute auch ein bisschen aufgrund der dialogischen Struktur, die LLMs auch aufweisen. Das sorgt ja auch für ein gewisses Vertrauen. Kann ich mir zumindest vorstellen. Du sprichst jetzt gerade zum Beispiel den Faktencheck an, der einfach einem gegeben wird, draufgepackt wird. LLMs nutzen ja eine dialogische Struktur. Vor allem höre ich da auch raus, gerade wenn es darum geht, sie haben eine Antwort zwar gefunden, weil sie irgendwie gezwungen sind, eine Antwort zu geben, aber die Erklärung dazu ist so ein bisschen, das erinnert mich jetzt auch daran, dass wenn man einem LLM kommuniziert, dialogisch, kriegst du zwar einen positiven Text, aber wenn du auf die Entscheidungshilfe schaust, dann ist es so, okay, die Entscheidungshilfe hat ja irgendwie gar nichts mit dem zu tun, was du mir jetzt als Antwort gegeben hast. Also würdest du sagen, dass dieses dialogische, die Art und Weise wie LLMs, wie wir LLMs nutzen, auch eine Rolle spielt dabei, wie wir uns davon beeinflussen lassen?
48:09
Speaker 2: Ich glaube, würde nochmal eine... Genau, habe ja auch als Wissenschaftler oft mehr Fragen als Antworten. Ich habe eine Folgefrage eigentlich jetzt. Jetzt hat ja ein großer Zahlungsdienstleister letzte Woche verkündet, dass sie eben jetzt mit OpenAI, mit dem sozusagen Platzhirsch, eine Partnerschaft eingehen, wo es Agents commerce geht. Was passiert jetzt, wenn ich direkt über zum Beispiel Chatschip jetzt bezahlen kann? Ich meine, bis jetzt war die Qualität der Antworten so schon schwer zu beurteilen, gerade wenn es dann Entscheidungen geht. Und jetzt geht es aber am Ende dann, wenn jetzt eben ein Zahlungsdienstleister einsteigt und ich kann direkt Geld auch zum Beispiel an eine Produktempfehlung, die das LLM mir gibt, überweisen und bekomme dann das Produkt. Was wird das jetzt bedeuten? Wie wird das jetzt quasi sich drehen? Wird das überhaupt noch so nutzbar sein, wenn ich jetzt im Endeffekt quasi immer damit rechnen muss, dass ich jetzt gleich hier einen Zahlungslink bekomme und dann ... potenziell Produkt A bestelle und ist Produkt A überhaupt das Produkt, das ich wollte? Das sind, glaube ich, Fragen, die wir uns jetzt stellen müssen. Das ist ja dieses Enchitification of Platforms. Die fangen immer an, den Nutzern gut zu helfen und dann werden sie eben irgendwann immer schlechter, weil irgendwann dieses Verhältnis kippt zwischen Nutzen für die User und quasi wer das Geld am Ende gibt, damit die Plattform irgendwie lukrativ ist. Das sind meistens die Werbeplattformen, die dann eben da bevorzugt werden. hat man bei Facebook gesehen, Instagram sieht man es auch. Wo Ads sozusagen das bestimmen. Bei X hat man es gesehen oder sieht man es. Wie wird quasi jetzt ChatGPT etc., wie werden die ant shitificated sozusagen? Das wird jetzt eine interessante Frage sein, denke ich. hoch.
49:56
Speaker 3: Was genau heißt denn nShitificate? Enchidification bedeutet sozusagen, dass digitale Angebote einfach an Qualität verlieren mit der Zeit. das kommt aus dem Englischen, ich glaube wörtlich auf Deutsch übersetzt, es so was heißen wie Verscheißerung, weil eben dann das tatsächliche, zum Beispiel die tatsächlichen Inhalte, für die ich mich angemeldet habe, werden eben entweder in einer Flut von belanglosen, austauschbaren Texten untergegraben oder ich hab eben in jeder zweiten Story hab ich Werbung und seh gar nicht mehr sozusagen meine Freundin, für die ich mich mal angemeldet habe. Das ist das sozusagen. Ja, okay, verstehe. Ein Hammerprodukt wird dadurch, dass es irgendwann den Werbetreibenden gefallen muss, immer mehr abgeschwächt für den Nutzer. Ja, wahnsinnig spannend. Vor allem ist ja die große Frage, die du ja auch schon aufwirfst, eben inwieweit wir ja auch dann Entscheidungen, und das beginnt ja bei so Kleinigkeiten, vermeintlichen Kleinigkeiten wie den Valomaten, aber ehrlich gesagt sind politische Entscheidungen ja fast schon das Ende des Spektrums, wo man sich nicht beeinflussen lassen sollte, vielleicht von der KI im besten Fall. Aber wenn dann diese Agenten quasi so ganzheitlich auch in ein Privatleben eingreifen oder Teil des Privatlebens geben, dann ist es natürlich so kurz davor, einen Großteil seiner Entscheidungsgewalt abzugeben. Was glaubst du, man tun, also um zu verhindern, dass man wirklich da in eine Art von Abhängigkeit redet? Weil für mich, da sind wir wieder beim Anfang des Gesprächs, klingt das sehr danach, dass man Resilienz aufbauen muss, sich von diesen Dingen so bisschen verleiten zu lassen.
51:29
Speaker 2: Ich glaube, das ist eine große Frage, sich gerade wahrscheinlich alle möglichen Personen stellen. Es gibt die Technologie, die mir beispielsweise in 0,0 einfaches Programmierkonstrukt baut. Zum Beispiel eine Vorschleife. Das ist so ein spezielles Programmierkonstrukt, das früher eben mit mindestens einem Arbeitsblatt erarbeitet wurde von den Studierenden. Und wenn ich das heute den Studierenden so gebe... und die dürfen ChatGPD benutzen, dann ist das in 5 Minuten fertig, weil ChatGPD das erstellt. Es hat gelernt mit irgendwelchen Musterantworten aus dem Internet, Und dann ist das Ergebnis eben so, dass es auf jeden Fall schon mal in Ordnung ist. Aber es wurde nichts gelernt. Also wir müssen eigentlich uns jetzt die Frage stellen, an welcher Stelle macht der Einsatz von so einem KI-Tool Sinn, wenn ich jetzt zum Beispiel, was ja durchaus sein kann, ich hab das jetzt schlecht erklärt in der Vorlesung. Die Art, wie ich es erklärt habe, die resoniert nicht mit dem individuellen Studierenden. Dann kann ich das vielleicht nutzen, mir das nochmal anders erklären zu lassen. Aber das Durchführen, also wie ich denn quasi in ein Handlungswissen komme, dass ich es angewandt habe, ich glaube, das ist eine ganz große Herausforderung, wie wir uns das sozusagen erhalten. Weil es ist natürlich auch super verlockend, ja, ich muss irgendeinen Text schreiben, für den ich eigentlich gar keine Zeit habe und dann lasse ich den einfach von Chechipiti generieren. Das erspart mir Zeit, aber ich muss eben sicherstellen, dass die Qualität gleich bleibt. Und wenn ich halt immer nur Texte erstellen lasse, dann verliere ich eben auch zu schreiben. Und da muss man irgendwie einen Mittelweg finden. Ich glaube, da wird gerade eben viel auch ausprobiert, wie man das umsetzen kann. Wir haben beispielsweise eine Teilprüfung, die ist klassisch wieder papierbasiert. Und ein Teil der Prüfung, die ist quasi mit mit einer Quellcode-Abgabe, wo dann aber auch LLMs genutzt werden dürfen. Das wäre zum Beispiel ein Ansatz, dass man so bisschen versucht, dahin zu kommen. Ob das am Ende das Gelbe vom Ei ist, das kann, glaube ich, aktuell niemand so richtig beurteilen. Es gibt Indikationen, dass das eventuell sinnvoll sein könnte, ja, das ist so... Das ist eben auch eine Frage, die wir jetzt beantworten müssen. Also viele Fragen.
53:44
Speaker 3: Ja, man hört es, es jeder alten Frage eine neue Frage. Der Stand der Forschung ist immer eine Zwischenperspektive, ein Zwischenfazit. Wie gelangen eigentlich die Ergebnisse eurer Forschung in den Alltag von Menschen? Weil es ist ja schon sehr alltagsnah. Wie kann ich als Externer vielleicht auch einen Weg finden, diese Forschung anzuwenden? Oder wie teilt ihr diese Ergebnisse mit dem Alltag, in den Alltag der Menschen? Das passiert auf verschiedene Weisen. Wir publizieren natürlich auf der einen Seite auf Fachkonferenzen, wo man dann eben die Veröffentlichung sich auch anschauen kann. Viel ist jetzt auch frei verfügbar. Und dann haben wir über das Cloud Resilience Lab natürlich auch die Möglichkeit, zum Beispiel Veranstaltungen bei uns durchzuführen. hatte im Oktober beispielsweise einen Kirchenkreis bei mir, der sich für das Thema interessiert hat. Oder wir sind auf einer Veranstaltung vom Korrektiv im Dezember mit unserer Arbeit, wo wir so bisschen was erzählen in Berlin. Also es gibt da ja dann verschiedene Anknüpfungspunkte und ansonsten laden wir eben an verschiedenen Stellen zum Dialog ein, eben auch im Cloud Resilience Lab, wo wir eigentlich einmal im Semester auch sowas haben wie Cloud Proof, wo man vorbeikommen kann, wo aktuelle Forschung oder Industriearbeiten vorgestellt werden und dann eben da in den Austausch mit uns kommen kann. Und das halte ich auch für ganz wichtig, dass wir uns als Wissenschaftler irgendwie nochmal positionieren und der Gesellschaft zugänglicher machen. Da kann glaube ich noch mehr passieren, auch von unserer Seite. All diese Dinge, das nehme ich zumindest mit, dienen nicht dem Ziel, das perfekte System zu bauen, weil das perfekte System existiert nicht, sondern sie dienen der Resilienz. Das nehme ich zumindest mit.
55:25
Speaker 2: Wenn wir ein System bauen, sollte es natürlich immer der Anspruch sein, dass das möglichst perfekt ist. Und dann muss einem aber auch klar sein, dieses System, das man baut, wahrscheinlich nicht perfekt sein wird und dass es jemanden geben wird, der eine Schwachstelle findet. Und da muss man sich darauf vorbereiten und da muss man dann reagieren können und irgendwie flexibel sein. Wir kommen langsam auch zum Ende. Mich würde das noch interessieren. Der Aha!
55:59
Speaker 3: Wo hast du zuletzt deine Haltung, deine Meinung ändern müssen? Beziehungsweise, wo wurdest du vielleicht auf deinem Gebiet, wo wurdest du eines Besseren belehrt quasi? Kannst du das benennen? Ich weiß gar nicht, ob es so sehr auf einem Gebiet ist, aber eigentlich ständig. Ich meine, gerade als Ingenieur klassifiziert man ja oft gerne in Schwarz und Weiß, irgendein Sachverhalt ist so und so oder eben so und so nicht. Und da stellt sich ja dann immer weiter heraus, es sind oft so Grautöne, die dazwischen liegen. Und irgendwo da liegt die Wahrheit. Und das ist eben gerade ... Auch mit den LLMs, die uns eben Wahrheit fabrizieren können, glaube ich. Aktuell eine ganz große Frage, ja. er... Was... Was ist Wahrheit? Wie können wir objektive Wahrheit von fabrizierter Wahrheit unterscheiden, ja? Und wenn man dann ja auch in die zwischenmenschlichen Beziehungen guckt, dann liegt die Wahrheit ja auch immer oft dazwischen. Beispielsweise im beruflichen Kontext, Ist ja auch viel ausverhandeln und... Am Ende versucht man so eben weiterzukommen, denke ich. Und das ist, glaube ich, ein wichtiger Punkt. Die letzte Frage kommt aus dieser Kategorie.
57:09
Speaker 1: Daraus mach ich ne Wissenschaft. eine Sache oder ein Thema, das du privat oder im Job viel zu ernst nimmst, beziehungsweise wo du dich auch als Wissenschaftler extrem unwissenschaftlich verhältst. Ich habe jetzt irgendwie den Triathlon-Sport für mich entdeckt und habe ganz lange einfach ohne irgendeinen Trainingsplan trainiert. Man kann ja nichts verbessern, was man nicht misst und habe dann eben lange auch nicht gemessen. Da habe ich dann eben oft vergessen, irgendwie meine Uhr zu tragen, zu gucken, wird jetzt mein Puls besser. Passiert einem einfach. Mittlerweile versuche ich da ein bisschen besser zu sein. Schön, dass wir uns dem Stand der Forschung genährt haben und trotzdem zu tiefstmenschlich bleiben. Das ist sehr schön. Lieber Matteo, ganz herzlichen Dank. Es war wahnsinnig interessant und viel Erfolg beim Triathlon. Ja, danke, danke und dir auch vielen Dank für das Gespräch.
58:02
Speaker 3: Das war der Deep Dive vom Podcast Stand der Forschung. Mein Name ist Jonas Ross und ich freue mich, dass Sie dabei waren. Ich hoffe, dass sind Sie auch beim nächsten Mal. Und wenn Ihnen der Podcast gefallen hat, dann abonnieren Sie diesen Podcast und verpassen Sie keine der weiteren Folgen. Und noch besser, lassen Sie gerne eine Bewertung da. Vielen Dank fürs Zuhören und bis zum nächsten Mal.
58:30
Speaker 3: Diese Folge wurde produziert vom Studio ZX für Zeitadvice im Auftrag der Hochschule Rhein-Wahl.