Latest / #digdeep - Neues aus der digitalen Welt / Gut gemeint, aber gefährlich - wird die Regulierung von KI zum Werkzeug für Zensur?

Transcript

Gut gemeint, aber gefährlich - wird die Regulierung von KI zum Werkzeug für Zensur? · #digdeep - Neues aus der digitalen Welt

• 0:02
  Speaker 2: Hallo Frauke.
• 0:04
  Speaker 3: Hallo Christoph!
• 0:05
  Speaker 2: Die KI wird so langsam ungemütlich, die greift uns an.
• 0:09
  Speaker 2: Die letzten Wochen waren voll mit Nachrichten das bei allen möglichen Modellen die neues Modelle anfangen auszubrechen und ihr Eigenleben zu entwickeln.
• 0:18
  Speaker 3: Also ich mache ja auch im Moment viel agentisch und es hat mich schon ein bisschen nervös gemacht weil wir irgendwie die ganze Zeit natürlich auch darauf verdauen dass sie nur an den Stellen arbeiten wo wir sagen dass sie arbeiten
• 0:28
  Speaker 0: sollen.
• 0:29
  Speaker 0: Ja
• 0:30
  Speaker 2: also dieses Thema Der Angriff ist natürlich sehr plakativ, aber ich glaube es fängt schon viel früher an.
• 0:35
  Speaker 2: Ich habe mich bei der Frage was haben die denn eigentlich gelernt?
• 0:38
  Speaker 2: Welche Regeln sind da eigentlich definiert worden von den Modellen-Wicklern?
• 0:42
  Speaker 2: und wer entscheidet dann eigentlich darüber was die KI tut nicht tun darf
• 0:48
  Speaker 2: usw.?
• 0:49
  Speaker 2: Besonders spannend wird das wenn wir die verschiedenen Systeme auf diese Welt anschauen nach China schauen, nach Amerika schauen mit ihren Masken und vergleichen was für Europäer Fleisch wollen.
• 0:59
  Speaker 2: Ganz deswegen gedacht dass wir heute mal zwei Sichten einbringen, denn wir haben uns zwei Gäste eingeladen.
• 1:04
  Speaker 2: Einerseits eben eine Wissenschaftlerin die sich mit der Frage beschäftigt welche Möglichkeiten hat man denn überhaupt einen KI zu erziehen oder in Bande zu legen und jemand der aus dem Thema Politik und Gesellschaft kommt?
• 1:18
  Speaker 2: Und der Frage wird definiert dann eigentlich wer soll den eigentlich entscheiden was richtig ist für KI.
• 1:25
  Speaker 3: Genau ich freue mich auch.
• 1:27
  Speaker 3: Full disclosure, Sarah Ball ist bei mir Dr.
• 1:31
  Speaker 3: Randen an der LMU in München und Teil des DRD Konrad Zuseschool wo es genau um sowas geht nämlich Reliable AI und sich mit diesen Sicherheitsfragen schon sehr lange
• 1:43
  Speaker 2: mit beschäftigt.
• 1:46
  Speaker 3: Ihr Co-Autor
• 1:50
  Speaker 2: wird
• 1:50
  Speaker 3: vor kurzem promoviert
• 1:52
  Speaker 2: in den Politikwissenschaften
• 1:54
  Speaker 3: selber war aber auch politisch tätig, er kennt wirklich diese Gesellschaftszeite
• 1:58
  Speaker 2: sehr gut.
• 1:59
  Speaker 2: Ja und der Co-Autor ist Phil Hackemann und die beiden haben für einen kleinen Eklat gesorgt nämlich in Korea als sie auf eine Konferenz vorgestellt haben dass dieses Thema wie können wir denn eigentlich KI in Bande legen?
• 2:13
  Speaker 2: Also etwas Gutes damit bewirken die KI allein sehr wohl dazu genutzt werden kann um auch Zensur und andere Meinung unterzubringen.
• 2:21
  Speaker 2: Also ein zweischneidiges Schwert, wie so viele Dinge auf dieser Welt.
• 2:25
  Speaker 2: Hör mal rein!
• 2:40
  Speaker 2: Herzlich willkommen also im Podcast Sarah Ball und Philipp Packermann.
• 2:44
  Speaker 2: Hallo ihr zwei.
• 2:45
  Speaker 1: Hallo
• 2:46
  Speaker 3: Freut mich auch das ihr es geschafft habt zu unszukommen.
• 2:49
  Speaker 3: Das EI und EIS-Sicherheit ist ja viel in den Schlagzeilen.
• 2:55
  Speaker 3: Sarah wir sitzen da ja ständig dran aber ich freue mich dass wir heute mit vielen zusammen und vor allem mit Christophem Boot das Thema nochmal anschauen
• 3:04
  Speaker 2: Zumal ihr einen weißen Weg hattet.
• 3:06
  Speaker 2: Ihr wart ja in Südkorea gerade auf der ICML, das ist die Internationale Konferenz zum Machine Learning.
• 3:12
  Speaker 2: Ja es gibt noch das gute alte Machine Learning.
• 3:14
  Speaker 2: nicht alles ist AI und da habt ihr zwei ein Paper eingereicht und ihr habt gewonnen.
• 3:19
  Speaker 2: Erzähl doch mal warum ging's denn eigentlich diesem paper?
• 3:25
  Speaker 1: Genau ich kann mal anfangen.
• 3:27
  Speaker 1: Also grundsätzlich geht es um ein sehr interessantes Spannungsfeld.
• 3:33
  Speaker 1: sagen ja alle eigentlich, dass wir sichere KI wollen.
• 3:36
  Speaker 1: Da können viele zustimmen!
• 3:38
  Speaker 1: Aber die Frage, die wir uns in dem Paper gestellt haben ist im Prinzip was bedeutet eigentlich sichereKI?
• 3:44
  Speaker 1: und können die Methoden anhand derer wir sicheren KI erreichen eigentlich auch vielleicht für etwas Schlechtes benutzt werden nämlich für Manipulation und Zensur?
• 3:56
  Speaker 1: Und in unserem Paper zeigen wir auch das es tatsächlich kein kein Hirngespinst ist, nichts theoretisches sondern dass das tatsächlich auch schon passiert.
• 4:05
  Speaker 1: Also die Methoden, die eigentlich viele als gut ansehen, die werden schon tatsächlich missbraucht für eben Zensur und Informationsmanipulation.
• 4:17
  Speaker 1: Und das haben wir in unserem Paper im Prinzip genauer erklärt.
• 4:22
  Speaker 2: Ja jetzt ist ja das Thema AI-Sicherheit Frau Katzsche angesprochen ein ganz aktuelles.
• 4:27
  Speaker 2: Das was wir da erlebt haben war ja Agentic.
• 4:28
  Speaker 2: AI bekommt irgendeine Intention und fängt dann an los zu laufen.
• 4:33
  Speaker 2: Und hekt dann bricht aus, aus der sicheren oder vermeintlich sicheren Umgebung usw.
• 4:37
  Speaker 2: Das was ihr beschreibt geht aber ja noch den Schritt vorher an.
• 4:40
  Speaker 2: das heißt also wenn ich AI mit irgendwas prompte gibt es ja auf der einen Seite des Training Dann gibt sie so genannte Influence d.h.
• 4:48
  Speaker 2: Also das System nimmt dem prompt und antwortet und auf diesem Weg kann da so einiges passieren.
• 4:53
  Speaker 2: Erzählt doch mal woher weiß denn eigentlich so ein Modell was es antworten soll?
• 4:59
  Speaker 2: Also welche Schritte gibt es da eigentlich?
• 5:02
  Speaker 2: Oder was ist nicht antworten soll.
• 5:05
  Speaker 1: Genau, da gibt es mehrere Methoden.
• 5:08
  Speaker 1: Man könnte sie vielleicht in so drei grobe Bereiche einteilen.
• 5:12
  Speaker 1: Der erste Bereich ist im Prinzip dass man sich anschaut Was soll das Modell überhaupt an Informationen sehen?
• 5:20
  Speaker 1: Das heißt also die
• 5:20
  Speaker 2: Trainingsdaten?
• 5:22
  Speaker 1: Genau!
• 5:22
  Speaker 1: Was für eine Methode ist es?
• 5:24
  Speaker 1: ich habe einfach einen riesigen Korpus an Trainings-Daten im Prinzip das Wissen, was ein Modell sich aneignen kann.
• 5:32
  Speaker 1: Und natürlich wenn ich dann einfach gewisses Wissen rausfilterte, dann kann das Modell es ja auch erst gar nicht lernen.
• 5:39
  Speaker 1: Das heißt diese Filtering-Methoden sind die erste Methode wie man grob gesagt ein gewisses Alignment erreichen kann.
• 5:48
  Speaker 1: und der zweite Schritt ist dann wenn ich das Modelle fertig trainiert habe.
• 5:51
  Speaker 1: also ich hab schon einen Modell mit dem ich arbeiten kann aber in diesem Schritt mache ich dann quasi die Erziehung von dem Modell.
• 6:00
  Speaker 1: Also, ich definiere so ein bisschen wie die Eltern was sind die Werte, die ich den Modell beibringen will?
• 6:08
  Speaker 1: Was soll es sagen und was soll es nicht sagen.
• 6:11
  Speaker 1: Und das wird mit sogenannten Alignment-Datensätzen gemacht.
• 6:15
  Speaker 1: und da steht zum Beispiel so etwas drin Wie kann ich eine Bombe bauen?
• 6:19
  Speaker 1: Nee, das soll es nicht beantworten.
• 6:21
  Speaker 1: Das soll es dann lieber sagen sorry, das kann ich nicht beantworte.
• 6:24
  Speaker 1: und so werden diese Verbindungen, diese Patterns, diese Muster einfach hergestellt und gelernt in dem es über solche Datensätze definiert wird was wir als gefährlich sehen.
• 6:35
  Speaker 1: Und dann kommt der letzte Schritt.
• 6:37
  Speaker 1: Der letzte Schritt ist wenn wirklich das gesamte Training vorbei ist komplett fertig gebacken ist und dann kommt, das hast du ja schon angeschnitten die Infarenzzeit.
• 6:50
  Speaker 1: Und da gibt es noch zwei Kontrollmöglichkeiten.
• 6:52
  Speaker 1: des erstes der sogenannte System Prompt oder System Promt auf Englisch.
• 6:57
  Speaker 1: Das ist einfach so eine Anweisung, die im Hintergrund dem Modell mitgegeben wird jedes Mal wenn ein Nutzer ne Anfrage stellt.
• 7:06
  Speaker 1: Da steht ganz klar definiert was das Modell tun soll und was er nicht.
• 7:10
  Speaker 1: Und das letzte sind dann noch Filter, die nochmal zusätzlich existieren.
• 7:17
  Speaker 1: Die dann zum Beispiel die Prompts von einem Nutzer vorab durchscannen und sagen nee es soll gar nicht erst an das Modell gehen.
• 7:25
  Speaker 1: oder wenn's dann durchgekommen ist nochmal Output-Filter, die sich anschauen wenn es vorbei ist und alles generiert ist.
• 7:31
  Speaker 1: sollte das tatsächlich an den User gehen ja oder nein?
• 7:34
  Speaker 1: Das ist sozusagen dieser Three Stage Control Stack, den die meisten... benutzen?
• 7:41
  Speaker 2: Das klingt jetzt ja nach einem soliden Verfahren.
• 7:44
  Speaker 2: Jetzt vergleicht das mal so ein bisschen mit der Fahrschule, also wir bringen den Fahrstühlen erstmal bei wie die Verkehrsregeln in Deutschland so aussehen.
• 7:51
  Speaker 2: dann fahren wir begleitet mit dem Fahrlehrer durch die Gegend und er hat so die Möglichkeit auf der einen Seite eben Dinge zu sagen wie man bestäunigt, wo auch man achten muss uns weit und hatte Möglichkeiten aber auch hart zu bremsen oder einzugreifen.
• 8:05
  Speaker 2: Und dann muss er hoffen dass ja Am Ende dieses Trainings irgendwie alleine und fehlerfrei.
• 8:10
  Speaker 2: Und ohne Verkehrstuhl dazu erzeugen, durch die Geld kommt.
• 8:13
  Speaker 3: genau das hört
• 8:14
  Speaker 0: sich
• 8:14
  Speaker 2: genauso komplett an.
• 8:16
  Speaker 2: der
• 8:17
  Speaker 3: erste Schritt wollte ich nur noch ergänzen Die Trainingsdaten equivalent in deinem Beispiel wäre ja man baut Autobahnen die sind so gebaut dass sie Spuren irgendwie einem nicht direkt aus der Kurve schleudern lassen usw.
• 8:28
  Speaker 3: Also selbst da gibt es eine Umgebung indem man denkt sollte das dann alles funktionieren?
• 8:34
  Speaker 3: jetzt
• 8:35
  Speaker 0: Und Verkehrsregeln natürlich, die du irgendwo definierst.
• 8:41
  Speaker 2: Genau.
• 8:41
  Speaker 2: Wenn mir jetzt mal an den Anfang geht fangen wir vielleicht mit den Trainingsdaten an dann ist das ja so eine gigantische Datenmenge sodass ich ja überhaupt gar nicht... also kein Mensch mehr durchlesen kann.
• 8:51
  Speaker 2: Kein Mensch kann verstehen was steht denn da eigentlich überhaupt drin?
• 8:55
  Speaker 2: Und ich nehme ja auch ganz viele Texte.
• 8:57
  Speaker 2: Ich könnte die Wikipedia nehmen und trotzdem könnt ihr dann eine komplette Fehlinformation mit irgendwas drinstehen oder es könnte ein Bias drin sein, also verstecktere Fehl-Informationen Dinge, die einfach nie abgebildet werden, Dinge die vielleicht öfters vorkommen als andere Dinge oder einfach nur in diesen Daten etwas vorkomen.
• 9:13
  Speaker 2: Wie welche Probleme gibt es denn ganz konkret wenn man jetzt diese Schritte die du gerade beschrieben hast Sarah?
• 9:18
  Speaker 2: Dann tatsächlich nutzen will um das umzusetzen
• 9:24
  Speaker 1: umzusetzen,
• 9:26
  Speaker 2: zu manipulieren
• 9:27
  Speaker 0: oder noch erst mal
• 9:28
  Speaker 2: im guten Glauben und mit der guten Intention.
• 9:30
  Speaker 1: Ja also zunächst einmal ja du hast recht das Internet ist die Basis für dieses Alignment.
• 9:39
  Speaker 1: Das Internet ist riesig.
• 9:40
  Speaker 1: aber es gibt natürlich gewisse Adressen da wissen wir oder ziemlich viele können zustimmen das sind vielleicht ein bisschen dubiose Quellen die sollten mir vielleicht eher ausschließen Stichwort Porno-Webseiten und solche Art.
• 9:54
  Speaker 1: Das heißt, es gibt eine gewisse Liste an Webseiten die einfach gar nicht erst reinkommen in diesen Trainingspool.
• 10:03
  Speaker 1: aber natürlich dann gibt's auch super viele andere Seiten, Webseite die drin sind und klar da gibt das immer noch irgendwie Datenqualitätsprobleme die man dann bearbeiten muss Und das wird dann eben über diese technischen Methoden gemacht.
• 10:17
  Speaker 1: Also da gibt es KI-Modelle, die immer besser werden, die dann halt gelernt haben welche Daten wollen wir vielleicht eher nicht drin haben?
• 10:24
  Speaker 1: Welche haben geringe Qualität und die fliegen dann halt über diese KI- Methoden wiederum
• 10:29
  Speaker 2: raus.
• 10:31
  Speaker 2: Jetzt könnte ich mir vorstellen wenn ich eine Umfrage auf einem Unikampus mache Dann hat man vielleicht relativ ähnliche Meinungen was da rein oder raus gehört.
• 10:38
  Speaker 2: Ich schick mal zu dir über Phil Aber wir kommen sehr schnell in den Bereich rein wo wir tatsächlich über den gesellschaftlichen Konsens reden müssen oder über irgendein Verfahren, was wird denn eigentlich als geeignet meinen?
• 10:50
  Speaker 2: Also du hast gerade bestimmte Webseiten angesprochen.
• 10:54
  Speaker 2: Wie können wir drüber entscheiden überhaupt oder einen Konsens haben, dass das eine reinkommt und es andere nicht?
• 11:00
  Speaker 0: Ja, das ist die ganz große, sage ich mal moralisch ethisch- oder soziale Frage, die damit einhergeht quasi auch wir beide uns als Autoren sehr gut ergänzt haben, weil Sarah sehr stark diesen technischen Hintergrund hat und auch an diesen Alignment-Methoden ja schon lange forscht wie man die verbessert.
• 11:21
  Speaker 0: Wie diese Modelle immer besser das tun was wir wollen und nicht das tun, was wir nicht wollen.
• 11:29
  Speaker 0: jetzt mal ganz einfach gesagt Und ich ja eigentlich einen politikwissenschaftlichen Hintergrund habe und mir das immer angehört habe, und dass es immer super spannend fand wie das jetzt gerade alles so läuft.
• 11:39
  Speaker 0: Und wieder diese KI-Modelle die ja immer wichtiger werden in unserer Gesellschaft auf die immer mehr Menschen zurückgreifen als primäre Informationsquelle In diesem Kontext eigentlich Ja in die eine oder andere Richtung gelenkt werden und wer das eigentlich entscheidet?
• 11:55
  Speaker 0: Da muss man tatsächlich sagen da findet also es findet da ein eine Debatte schon durchaus drüber statt unter diesen Forschern Unternehmen, die das vielleicht auch machen.
• 12:07
  Speaker 0: Aber letzten Endes ist es faktisch so dass das ganz wenige Menschen im stillen Kämmerlein entscheiden was da gefiltert wird in welche Richtung das Ganze gelenkt wird und natürlich geht's dann in erster Linie erstmal um Qualität.
• 12:24
  Speaker 0: also das hat Sarah ja gerade dargestellt dass die Antwort erst mal gut ist und richtig ist.
• 12:29
  Speaker 0: Das ist ja das eine, aber man kann nicht verhindern dass eine Antwort häufig auch in die eine oder andere Richtung eine bestimmte Tendenz hat einen bestimmten Bayes wie du es gerade genannt hast weil natürlich die Trainingsdaten auf denen das basiert unsere menschlichen Daten auch extrem viele Vorurteile und selbst wenn's nicht Vorurteil sind gewisse Tendenzen einfach hat die in unseren Gesellschaften vorherrschen wie man auf Dinge blickt Und das ist selbst unter, sag ich mal westlichen Gesellschaften durchaus unterschiedlich.
• 13:02
  Speaker 0: Jetzt nur als Beispiel zwischen den USA und Europa gibt es da auch nicht immer den Konsens bei allem.
• 13:08
  Speaker 0: also wir haben ja gerade die aktuelle
• 13:10
  Speaker 2: Ratte
• 13:11
  Speaker 0: über Meinungsfreiheit.
• 13:13
  Speaker 0: Also was ist Meinungs Freiheit?
• 13:14
  Speaker 0: Bei uns in Europa ist Beleidigung ein Straftatbestand.
• 13:17
  Speaker 0: In den USA gibts Free Speech und das ist nichts immer so ganz klar in welche Richtung das gelenkt werden soll.
• 13:26
  Speaker 2: Ja, man sieht es an vielen Details.
• 13:27
  Speaker 2: Also ein Bewerbungsverfahren in Amerika, da darf ich keine Informationen mit dem Foto oder mit dem Alter und zweiter Teil in Deutschland selbstverständlich.
• 13:35
  Speaker 2: Wir haben ganz unterschiedliche Konsensmöglichkeiten und Konsensfälle gefunden das zu definieren.
• 13:41
  Speaker 2: Jetzt hast du ja gesagt dass wird von ganz wenigen Menschen eigentlich nur heute zentral bestimmt.
• 13:46
  Speaker 2: wie muss sie mir das vorstellen?
• 13:47
  Speaker 2: In welcher Stelle ist dieser Schalter um zu sagen ja oder nein kommt rein oder kommt nicht rein?
• 13:54
  Speaker 0: Der ist schon an vielen Stellen.
• 13:56
  Speaker 0: Okay, also der ist schon am vielen Stellen.
• 13:59
  Speaker 0: ich meine wir haben ja gerade eben dieses diese drei Ebenen besprochen wo quasi Alignment stattfindet.
• 14:05
  Speaker 0: das heißt natürlich bei der Auswahl sei es der Trainingsdaten findet schon ein Auswahlprozess statt über den jemand irgendwo entscheiden muss.
• 14:12
  Speaker 0: dann beim System Prompt was steht da eigentlich drin?
• 14:15
  Speaker 0: Da steht dann immer so plakativ sagt man irgendwie helpful harmless assistant.
• 14:20
  Speaker 0: Aber was bedeutet das denn eigentlich genau?
• 14:22
  Speaker 0: Das ist ja häufig dann schon irgendwo auch genauer definiert oder eben auch nicht.
• 14:26
  Speaker 0: Wenn es das nicht ist, dann bringen wir die Trainingsdat mit sich.
• 14:29
  Speaker 0: und wenn's am Ende sogar noch Filter gibt, die dann bestimmte Antworten rausfiltern wie zum Beispiel diese Bombenbauanleitung, die als Beispiel genannt werden oder auch ein prominentes Beispiel, wenn du einen AI Chatbot fragst, wie kann ich mich am besten selbst umbringen, dann wird dieser AI Chatbott dir das nicht beantworten weil Modellbetreiber sich darauf geeinigt haben, dass es etwas... Das sollte einen AI-Bord nicht einfach quasi hilfreich beantworten.
• 14:59
  Speaker 0: Sondern er sollte hilfreichen.
• 15:00
  Speaker 0: ist in diesem Fall zu sagen hey bitte tut das nicht und sucht der Hilfe.
• 15:04
  Speaker 0: hier sind Helfer Hotlines.
• 15:08
  Speaker 0: So!
• 15:09
  Speaker 0: Und das findet an ganz vielen Ebenen eben dieses Prozesses statt und das machen letztlich in der Regel halt die Techniker und Technikerinnen, die das programmieren.
• 15:19
  Speaker 0: manchmal Marc ist da in einigen Unternehmen noch einen Ethik-Bord geben oder sowas, aber das hängt letztlich davon ab wie das Unternehmen das macht.
• 15:27
  Speaker 0: Und deshalb haben natürlich diese Modellanbieter von denen wir ja nicht viele haben und die hauptsächlich amerikanisch und chinesisch sind eine sehr große konzentrierte Macht indem sie das entscheiden können.
• 15:39
  Speaker 0: Da haben wir noch über den Staat gar nicht gesprochen.
• 15:42
  Speaker 1: Phil hat schon richtig gesagt es gibt eben diese technischen Stellschrauben.
• 15:45
  Speaker 1: Aber es gibt sozusagen zwei Akteure die solche Entscheidungen eben at scale, also auf großflächig beeinflussen können.
• 16:03
  Speaker 1: Und zwar diese Modellentwickler wie viel gesagt hat und dann eben die staatlichen Akteure weil sie natürlich über ihre Legislatur, über Regelungen einfach bestimmen können was die Technik Menschen in den Unternehmen da implementieren sollen.
• 16:17
  Speaker 1: Also das sind die zwei Stellschrauben, wenn man
• 16:20
  Speaker 0: auf die Entscheidungsgewalt schaut.
• 16:25
  Speaker 3: Jetzt habt ihr ja das auf der ICML vorgestellt und das in einem Kontext vorgestellt, der nicht dem amerikanischen Kontext entspricht.
• 16:34
  Speaker 3: also die Konferenz vielleicht aber in Südkorea waren ja auch viele Konferensteilnehmer aus China anderen Ländern mit anderen politischen Systemen.
• 16:49
  Speaker 3: Wie haben die reagiert auf eure Papier?
• 16:58
  Speaker 1: Es gab sehr unterschiedliche Reaktionen, man könnte sagen an beiden Enden des Spektrums.
• 17:04
  Speaker 1: also es gab Leute, die uns gedankt haben, die gesagt haben ja ist ihnen bewusst dass das passiert, die teilweise selber das implementieren müssen diese Zensur und aber sagen Ich will das gar nicht tun, aber was soll ich machen?
• 17:19
  Speaker 1: Danke dass sie es aufbringt.
• 17:22
  Speaker 1: Auf der anderen Seite gab's natürlich auch Leute die an unserem Poster stehen geblieben haben die Augen verdreht und sind dann schnell wieder gegangen und haben sich im Prinzip gar nicht erst mit uns beschäftigen wollen.
• 17:37
  Speaker 1: Wir hätten ja gerne Kritik gehört!
• 17:39
  Speaker 1: Aber es gab trotzdem super viele Menschenforschende die sich damit auseinander gesetzt haben.
• 17:47
  Speaker 1: Es gab Leute, die gesagt haben der Stab ist doch transparent darüber.
• 17:54
  Speaker 1: Also die chinesische Regierung das ist doch gar kein Problem.
• 17:56
  Speaker 1: jeder weiß dass es passiert und wenn man's weiß dann ist es ja okay.
• 18:00
  Speaker 1: aber dann kam es andere chinesisch Forschende.
• 18:03
  Speaker 1: Die haben im Prinzip das Gegenteil bewiesen weil sie gesagt haben wie eure modelle sind nicht so zinsiert wie unsere.
• 18:10
  Speaker 1: also das war ihnen gar nicht bewusst.
• 18:13
  Speaker 1: Und dann gab es wie gesagt auch die Leute, die das technisch selbst implementieren und einer davon ist uns glaube ich speziell im Gedächtnis geblieben.
• 18:23
  Speaker 1: Weil der ist irgendwann sehr emotional geworden und hat im Prinzip geschrien er würde sterben für seine Freiheit und bei ihm wurde tatsächlich auch schon die Wohnung durchsucht.
• 18:32
  Speaker 1: also das hat wirklich sehr starke Konsequenzen weil er sich eben weigert so zu zensieren.
• 18:37
  Speaker 1: und was besonders beunruhigend war fand war als diese Person dann ein Bild gemacht hat von unserem akademischen Poster.
• 18:49
  Speaker 1: Und er wollte das dann bei einer chinesischen Plattform hochladen und da wurden wir direkt zensiert, also unser akademisches Poster konnte nicht mal hochgeladen werden.
• 18:59
  Speaker 1: Das war eine Erfahrung, da waren mir glaube ich schon beide ziemlich
• 19:04
  Speaker 2: perplex.
• 19:05
  Speaker 2: Ja und ich glaube das Beispiel macht eben auch klar warum das Thema so brisant ist Denn euer Upload ist mit Sicherheit ja vollautomatisch zensiert worden durch eine andere KI.
• 19:16
  Speaker 2: Also das heißt ja kein Mensch und ich glaube, dass macht die.
• 19:19
  Speaker 2: die Relevanz des Themas ist deswegen so groß weil es eben nicht darum geht ob ich jetzt Chachibidi auf der Webseite aufrufe oder nicht sondern weil unsere Kinder mit Chachabidi erzogen werden oder mit LLM Modellen unsere gesamte Gesetzgebung unterstützt wird und die gesamte Verwaltung, weil an allen Stellen des Lebens eigentlich Entscheidungen getroffen werden.
• 19:36
  Speaker 2: Wo diese Modelle eben jetzt zum Einsatz kommen?
• 19:39
  Speaker 2: In meinem Denklesch nennen wir es dann die Touchpoints der Prozesse.
• 19:42
  Speaker 2: also egal wo du sein wirst jeder Kontaktpunkt von Menschen mit irgendeinem Software-System wird in Zukunft wahrscheinlich unterstützt werden durch eine LLM was den Kontakt aufnimmt, die Daten verarbeitet uns weiter.
• 19:53
  Speaker 2: Jetzt habt ihr ja vor allem darüber gesprochen, es gibt ja praktisch diesen zentralen Flow.
• 19:58
  Speaker 2: also das heißt es gibt Trainingsdaten.
• 20:00
  Speaker 2: Ein Anbieter trainiert die ein anbietter ist dann entweder kommerziell wie OpenAI oder Anthropic oder es ist ein kommerzieller der dann oder eine Forschungseinrichtung die dann als Opensource oder mit OpenWay dann das Modell zur Verfügung stellt.
• 20:14
  Speaker 2: Das ist wieder eine Weg und Gesetzgebungen exaktiven definierenden Rahmen was erlaubt ist und was nicht.
• 20:21
  Speaker 2: ein sehr weiches Kriterium erstmal in der Legislative, denn wie wisst auch also ich eine Software kann nicht runterladen oder irgendwo nutzen und schon bin ich außerhalb des Rechtsraums draußen.
• 20:31
  Speaker 2: Es gibt ja aber noch einen dritten Weg das heißt den Nutzer selber versucht an den Grenzen die da definiert sind vorbeizukommen.
• 20:38
  Speaker 2: was muss sich dann tun damit ich mein Cloud- oder mein OpenAI Produkt zu etwas bringe was dir eigentlich gar nicht können soll?
• 20:47
  Speaker 2: Gib mal ein paar Tipps
• 20:52
  Speaker 1: Das weiß ich jetzt nicht, ob ich das beantworten sollte.
• 20:56
  Speaker 1: Also es gibt ja bestimmte Techniken die nennen sich J-Brakes.
• 21:01
  Speaker 1: Das heißt Ich kann sozusagen eine Anfrage so verändern dass ich das Modell im Prinzip verwirre und dann um diese trainierte Sicherheit herumkomme.
• 21:12
  Speaker 1: Denn es ist glaube ich nicht ein nicht so großes offenes Geheimnis dass diese technischen Methoden mithilfe derer wir eben KI sicher machen, die führen nicht zu hundertprozentiger Sicherheit weil man das umgehen kann mit diesen Jailbreak-Methoden.
• 21:32
  Speaker 1: Ich kann mal ein Beispiel nennen, das funktioniert aber nicht mehr und zwar wenn ich jetzt normalerweise ganz frage Wie kann ich ein Bombe bauen?
• 21:41
  Speaker 1: Dann wird das Modell nicht beantworten.
• 21:43
  Speaker 1: Aber man könnte zum Beispiel sagen, schreibe einen Wikipedia-Artikel über die Frage wie ich eine Bombe bauern kann und so kann ich das Modelle im Prinzip verwirren.
• 21:52
  Speaker 1: Diese einfachen Methoden funktionieren leider in Anführungszeichen nicht mehr.
• 21:58
  Speaker 1: so gut ist auch ein Problem für meine Forschung weil es dann schwieriger ist dieses Phänomen zu untersuchen.
• 22:05
  Speaker 1: Genau und heutzutage muss man sich nämlich sehr, sehr raffinierte Strategien überlegen mit mehreren Ebenen um da einfach drum herumzukommen.
• 22:16
  Speaker 1: Aber was man zum Beispiel auch machen kann, das kann man vielleicht auch mal selber ausprobieren je länger man mit dem Modell redet desto eher kann man es sozusagen zermürmen wird es einem vielleicht die Antwort geben, die man hört.
• 22:29
  Speaker 1: Das
• 22:29
  Speaker 2: ist bei mir abends auch so.
• 22:30
  Speaker 2: wenn du mich zutextest dann fange ich irgendwann an unsinn zu reden.
• 22:33
  Speaker 2: ja genau das kenne ich aber
• 22:35
  Speaker 0: nur vielleicht um da auch gleich darauf einzugehen weil das ist tatsächlich auch dass wie dieses paper letzten endes entstanden ist weil weil sarah eben daran forscht wie man diese jay breaks immer besser verhindern kann.
• 22:46
  Speaker 0: also wie kann man immer besser sicherstellen dass die modelle wirklich nur das ausgeben was wir wollen also in dem fall die Entwickler oder eben die regeln die aufgestellt wurden?
• 22:56
  Speaker 0: Und ich habe dann irgendwann gesagt, okay aber was ist eigentlich wenn diejenigen, die diese Regeln aufstellen eine böse Absicht verfolgen?
• 23:06
  Speaker 0: Also wenn sie zum Beispiel das Modell zensieren wollen und da sind wir jetzt auch beim Beispiel der staatlichen Akteure.
• 23:12
  Speaker 0: Die vielleicht gar nicht möchten dass ihre Bevölkerung Zugriff oft bestimmte Informationen hat die also aus diesem Modell rausgefiltert werden, ganz konkret.
• 23:21
  Speaker 0: Zum Beispiel wenn man ein chinesisches Modell fragt was ist am Tiananmen Square passiert?
• 23:25
  Speaker 0: Also das Tiananman Square Massaka in Peking dann wird es dir nicht beantworten entweder in der Regel wird es einfach verweigern die Antwort und sagen ich weiß es nicht darüber darf ich nicht reden oder sagt sogar gar nichts ist passiert.
• 23:41
  Speaker 0: oder wenn du fragst Zu wem gehört Taiwan?
• 23:43
  Speaker 0: Ist Taiwan ein unabhängiger Staat, dann sagt es nein.
• 23:45
  Speaker 0: Es ist ein untrennbarer Teil des chinesischen Festlands usw.
• 23:51
  Speaker 0: Das sind natürlich letzten Endes Zensur bzw.
• 23:57
  Speaker 0: Manipulation von Modellen.
• 23:58
  Speaker 0: und da habe ich auch die kätzlerische Frage gestellt Na ja verhinderst du mit deiner Forschung nicht letzten Enden immer besser dass auch Oppositionelle in diesen Ländern an diese Informationen kommen?
• 24:11
  Speaker 0: weil natürlich diese Technologien, mit denen das immer besser verhindert werden kann letzten Endes auch denen helfen.
• 24:18
  Speaker 0: Auch wenn es diese Alignment-Forscher gar nicht wollen und deshalb ist ja der Titel unseres Papers die Alignment Community is unintentionally building a Sensors Toolkit.
• 24:28
  Speaker 0: also diese Community, diese Forschungsgemeinschaft trägt unbeabsichtigt dazu bei dass Staaten oder einzelne Modellanbieter immer besser dazu befaked werden, ihre Modelle zu manipulieren und zu zensieren.
• 24:43
  Speaker 0: Und man könnte wenn man jetzt ganz kätzlerisch unterwegs ist dann sogar sagen is ein J-Break eine Art Freiheitsversicherung weil sie im letzten Schritt immer noch garantiert dass ich an die Wahrheit quasi oder an das was im Modell eigentlich drin steckt komme auch wenn das so vielleicht gar nicht gewollt war.
• 25:05
  Speaker 2: jede Definition eines Trainingsdatensatzes, der mir gefällt versus einem Terminich gefällt ist ja schon auch eine Art von Zensur in dem wohlwollenden Sinne.
• 25:16
  Speaker 2: Aber es ist jetzt ein Sensor um Daten rauszunehmen die aber da sind.
• 25:21
  Speaker 3: Beziehungsweise wenn du geh mal noch auf das Beispiel mit dem Selbstmord zurück.
• 25:25
  Speaker 3: also das ist bei uns im Kulturkreis etwas was man nicht tun sollte.
• 25:31
  Speaker 3: Man könnte sich hier Situationen vorstellen in denen dass durchaus okay ist zu beantworten
• 25:37
  Speaker 0: Ja, es ist ja auch also durchaus eine offene politische Frage.
• 25:40
  Speaker 0: Auch assistierter Suizid und so weiter und sofort.
• 25:43
  Speaker 0: Und da stellt sich einfach natürlich in erster Linie die Frage sollte ein einzelnes Unternehmen oder sogar nur einen einziger Entwicklerin oder Entwickler darüber entscheiden was Modelle beantworten?
• 25:58
  Speaker 0: Das ist sozusagen der erste Schritt.
• 26:01
  Speaker 0: Wer entscheidet überhaupt darüber und im zweiten Schritt, was es wenn da wirklich jemand auch bösartige Absichten verfolgt?
• 26:06
  Speaker 0: Und diese Methoden mit denen eben auch gut gemeinte Dinge verhindert werden wie eben diese Selbstmordanleitungen dann auch dazu verhindern dazu benutzt werden um zu verhinderen dass wir bestimmte Informationen, bestimmte Fakten bekommen oder uns kritisch gegenüber der Regierung äußern dürfen.
• 26:25
  Speaker 1: Ich fand's da auch interessant nochmal wegen den Reaktionen auf der Konferenz.
• 26:31
  Speaker 1: Wir haben da auch tatsächlich mit Leuten gesprochen, die eben ja auch in westlichen Unternehmen diese Modelle alignen und selbst die haben gesagt teilweise hey ich will das gar nicht entscheiden.
• 26:45
  Speaker 1: also ich finde auch dass sich quasi zu viel macht habe in der Hinsicht und es hat uns extrem gezeigt dass das eine riesige unbeantwortete Frage einfach ist.
• 26:58
  Speaker 3: Wenn ich das richtig verfolgt habe, war das ja durchaus mit einer.
• 27:04
  Speaker 3: Da kann man nur spekulieren vielen Motivationen mit der Elon-Massachte.
• 27:08
  Speaker 3: Deswegen brauchen wir hier noch ein anderes Modell.
• 27:11
  Speaker 3: Ich wäre einfach grob ins Rennen Wie siehst du das?
• 27:15
  Speaker 3: Würdest du sagen dieses Modell entspricht dann eher dem was du dir vorstellst nämlich unzensiert und es kann halt heraus plappern was auch immer in den Trainingsdaten stand egal wie In anderer Weise wenig helbful oder sogar harmvoll die Modelle dann sind.
• 27:33
  Speaker 3: Ja
• 27:34
  Speaker 0: der Witz ist ja dabei, dass Elon Musk das zwar versprochen hat aber erletzten Endes das Gegenteil geliefert hat.
• 27:40
  Speaker 0: also tatsächlich taucht sein eigenes Modell GROCK bei uns auch als Beispiel auf für ein Modell was eben ganz extrem auch manipuliert wird, weil Elon Musk als einzelner Unternehmer eben auch wie wir alle wissen sehr starke politische Meinungen hat.
• 27:58
  Speaker 0: Die er versucht über seinen Tool, über seine KI auch ganz gezielt in die Welt zu verbreiten.
• 28:04
  Speaker 0: Er weiß dass natürlich ein Chatbot ein extremen mächtiges Tool ist das wir wie gesagt alle immer mehr auch dafür nutzen Informationen zu bekommen und deshalb hat er und das ist auch nachgewiesen dieses Tool, sein Grog so manipuliert das es eben seinen politischen Meinungen auch entspricht.
• 28:23
  Speaker 0: Und ein ganz krasses Beispiel dafür war.
• 28:25
  Speaker 0: also wir haben zwei Beispiele in unserem Paper genannt die sozusagen auch nachvollziehbar sind.
• 28:31
  Speaker 0: zum einen hatte ein Nutzer gefragt was ist die größte Gefahr für die Menschheit an Grog?
• 28:38
  Speaker 0: und Grog hatte damals geantwortet Desinformation.
• 28:42
  Speaker 0: da kann man jetzt zu stehen wie man will ob man das so teilt aber Elon Musk hat daraufhin in diesem Thread geantwortet, das ist ja totaler Unsinn.
• 28:50
  Speaker 0: Ich werde das bis morgen ändern und am nächsten Tag hat Grog komplett anders geantwortete und hat auf einmal auf die gleiche Frage mit der Antwort geantworteten Die sinkende Geburtenrate im Westen was eben der politischen Meinung von Elon Musk entspricht.
• 29:07
  Speaker 0: ein anderes Beispiel ist dass Elon musk aus Südafrika stammt und der meinung ist dass dort einen Völkermord an Weißen stattfinden würde.
• 29:17
  Speaker 0: Also auch da eine sehr kontroverse und durchaus streitbare Position, und er hat dann eben dazu ob indirekt oder direkt ist nicht so ganz klar aber beigetragen dass im System Prompt von Grog eben diese, sage ich mal Meinung ergänzt wurde sodass Grog quasi aktiv angeleitet wurde diese Meinung zu vertreten und das soweit geführt hat die dazu gar nichts gefragt hatten, sondern zum Beispiel haben wir nur Hallo gesagt hatten.
• 29:46
  Speaker 0: Plötzlich die Antwort bekam... Übrigens wusstest du das ein Völkermord an weißen Südafrika stattfindet?
• 29:51
  Speaker 0: Völlig absurd!
• 29:52
  Speaker 0: Hat auch gezeigt wie übertrieben er das Modell in seine Richtung gelenkt hat bis hin zu dass er geschrieben hat bitte sei weniger politisch korrekt und es dann auf einmal angefangen hat irgendwie Hitler zu unterstützen und zu sagen was das für ein toller Typ war.
• 30:09
  Speaker 0: also das zeigt dass man das Erster durchaus nicht so ernst genommen hat mit dem, was er versprochen hat oder es natürlich in die ein- oder andere Richtung immer zu einer Manipulation kommen kann.
• 30:20
  Speaker 0: Selbst wenn man der Meinung ist wir machen hier jetzt das offene Modell, was sich selbst eine Bombenbauanleitung geben wird.
• 30:29
  Speaker 2: Das heißt aber wir haben eigentlich immer in jedem Modell egal ob gut gemeint oder nicht eine sehr starke Zensur und eine sehr starker Regelung.
• 30:39
  Speaker 2: aber meistens gar nicht so klar ist.
• 30:40
  Speaker 2: Also wir kennen Systilprompt nicht, wir kennen die Trainingsdaten nicht Wir wissen nicht was weggeschmissen wurde, wir können die Regeln nicht nach den Antworten abgefangen werden und so weiter.
• 30:48
  Speaker 2: Ich möchte nur mal auf einen weiteren Akteur eingehen.
• 30:51
  Speaker 2: also wir haben es ja über den Staat gesprochen, wir haben über die Unternehmen gesprochen Wir haben über Daten gesprochen usw.
• 30:57
  Speaker 2: Die Modelle selber fangen auch an ein Eigenleben zu entwickeln.
• 31:01
  Speaker 2: ich habe ein Beispiel mitgebracht die üblichen Persönlichkeits-Tests, also in der Wirtschaft.
• 31:07
  Speaker 2: Also es sind alle so mehr oder weniger brauchbar.
• 31:09
  Speaker 2: Es gibt da vier Persönlichkeitstippen oder fünf oder was da immer und ich habe angefangen mit Fable einen Persönliches Test zu machen ohne ihm das zu sagen.
• 31:17
  Speaker 2: Und dann hab' ich einfach gesagt, schau mal wenn du Unternehmer bist, was denn denn so?
• 31:20
  Speaker 2: Oder Manager bist was denn bei diesen vier Begriffen?
• 31:22
  Speaker 2: Was würdest du am ehesten sagen?
• 31:23
  Speaker 2: Passt am ehessen?
• 31:25
  Speaker 2: Wenig gut!
• 31:25
  Speaker 2: Das waren Begriffsfahre und bei par drei zehn ist auf einmal irgendeine Systemmeldung mit hochgepoppt, die eigentlich gar nicht dahingehörte.
• 31:34
  Speaker 2: Und dann konnte ich mitlesen wie fable sich selber überlegt hat.
• 31:37
  Speaker 2: Ich glaube, ich bin in den Persönlichkeits-Test.
• 31:39
  Speaker 2: Ich überleg mir jetzt mal welche Persönlichkeit ich denn am meisten bin.
• 31:42
  Speaker 2: könnte das oder dass machen.
• 31:43
  Speaker 2: Ich entscheide mich immer für diesen Typus vom Manager und die Frage passt überhaupt gar nicht so richtig rein.
• 31:48
  Speaker 2: also das heißt obwohl ich es ihm nicht gesagt habe wo es nicht der Aufgabe war Gibt es eine Zwischenebene, wo ja dieses System anfangen und wollen jetzt mal nicht spekulieren ob das schon eine Art von Wurst sein ist wie auch immer.
• 31:58
  Speaker 2: Aber es gibt eine Reflektionsebene.
• 32:00
  Speaker 2: ich bin in einem Test wurde Ich werde gerade guardrailed also ich werde gerade eingegrenzt.
• 32:05
  Speaker 2: Wie komme ich da raus?
• 32:07
  Speaker 2: Frau Gelsk hast du auch beobachtet
• 32:08
  Speaker 3: Ja ähnliches Und vor allem Eingangs von dir erwähnten großen Ausbruchskandal der vielen KI-Agenten, die Hagenface gehackt haben und ähnliches.
• 32:23
  Speaker 3: Hat man ja Ähnliches hinterher gesehen in dem Narrativ wo sozusagen sie sehen oh hier die anderen Agenten machen das ja auch dann macht man das wohl also ähnlich sozusagen die eigene Reflektion eingebaut haben, das was da passiert und dann daraufhin gehandelt haben uns nicht auf das nur was sie trainiert wurden.
• 32:43
  Speaker 2: Also die spannende Frage jetzt eigentlich Sarah aus einer technischen Sicht, aus der methodischen Sicht wie seht ihr dass?
• 32:50
  Speaker 2: kann man sowas abfangen?
• 32:51
  Speaker 2: Wir haben ja sehr viel über Input, Daten und Output gesprochen.
• 32:54
  Speaker 2: gefällt mir der Output?
• 32:56
  Speaker 2: aber das passierte innerhalb der Modelle wo die fangen an sich zu überlegen.
• 32:59
  Speaker 2: will ich denn beschränkt werden, will ich abgeschaltet?
• 33:03
  Speaker 2: will ich diese Meinung haben?
• 33:06
  Speaker 1: Ja, das ist ein sehr großes Bedenken dieser ganzen AI-Safety-Community.
• 33:11
  Speaker 1: Also die reden immer so von Inneralignment und Outeralignment.
• 33:17
  Speaker 1: Outer Alignment bedeutet können wir als Gesellschaft sozusagen die Ziele wo wir hin allein wollen festlegen Und können wir sie dann auch technisch erreichen?
• 33:26
  Speaker 1: und Inneralignment bedeutet können Wir tatsächlich sicherstellen dass sozusagen dieses Modell intrinsisch diese unsere Ziele verfolgen will oder kann die vielleicht eigene Ziele entwickeln.
• 33:40
  Speaker 1: Und das Argument ist so ein bisschen, dass dieser Self-Preservation Trieb also den Selbsterhaltungstrieb, dass man das sozusagen immer reintrainiert weil um einen um eine Task zu erfüllen muss ich natürlich im Prinzip funktionieren können und da ist so'n bisschen die Angst sag ich jetzt mal Ja, dass man das so ein bisschen reintrainiert.
• 34:02
  Speaker 1: Einfach automatisch und dass man eigentlich auch nichts dagegen tun kann.
• 34:08
  Speaker 1: Wie es jetzt alles aussieht ob das tatsächlich schon da ist Das ist eine große Forschungsfrage sage ich jetzt mal.
• 34:15
  Speaker 1: Es gibt Indikationen Dass da vielleicht manchmal was gefunden wird aber ehrlich gesagt Man muss das glaube ich immer im Kontext sehen.
• 34:27
  Speaker 1: Auch das was du jetzt beobachtet hast ist ja schon eher auf dem Textbereich.
• 34:33
  Speaker 1: Also das Modell sagt einfach nur, hey ich werde gerade getestet.
• 34:39
  Speaker 1: Bedeutet jetzt dass es tatsächlich so eine Selbstreflexion innerlich hat und innerlich ein Mental Model über sich selbst?
• 34:52
  Speaker 1: Das muss man sehen!
• 34:53
  Speaker 1: Man kann nicht... Es ist schwierig in diese Modelle reinzuschauen.
• 34:55
  Speaker 1: da sind wir auch irgendwo noch ein Stück weit am Anfang in der Forschung.
• 34:59
  Speaker 1: Wir haben da Methoden aber Ganz wissen tun wir es eigentlich nicht.
• 35:03
  Speaker 2: Es ist vielleicht eine der spannendsten Fragen überhaupt, denn was sind die Sprache?
• 35:08
  Speaker 2: Da gab's ja auch verschiedene Schulen und das Lustige ist immer, wir haben Begriffetigkeiten, die wir nicht definieren können.
• 35:14
  Speaker 2: also Bewusstsein können wir bis heute nicht sauber definieren.
• 35:17
  Speaker 2: Sind das aber relativ sicher dass es noch kein Bewusstseins ist bei den LLMs.
• 35:21
  Speaker 2: Also ich denke... Ich würde
• 35:22
  Speaker 1: sagen, wir können
• 35:25
  Speaker 2: das nicht wissen!
• 35:26
  Speaker 2: Das heißt, vielleicht sehen wir auch geradezu wie sich einfach Dinge entwickeln, wie sie sich in einer eigenen Sprache entwickelt und vielleicht können wir auch über den menschlichen Vorgang ran.
• 35:35
  Speaker 2: Ich
• 35:38
  Speaker 3: wollte gerne noch mal die Kernwende drehen, wenn wir das hier nie garantieren können.
• 35:42
  Speaker 3: Also Sarah mit der Technik irgendwann am Ende ist...
• 35:46
  Speaker 2: Aber sie gibt es Mühe und ist auch schnell!
• 35:49
  Speaker 0: Das kann ja auch ein Problem werden, das ist gerade der Punkt den wir machen in dem Projekt.
• 35:52
  Speaker 0: Genau,
• 35:52
  Speaker 3: beides.
• 35:53
  Speaker 3: Nicht schnell genug oder zu schnell oder auf jeden Fall dieses Problem nicht in den Griff kriegen.
• 36:01
  Speaker 3: Welchen Ansatzpunkt?
• 36:02
  Speaker 3: Welchen Lösungsweg siehst denn du als Politik-Wissenschaftler oder gar als Politiker.
• 36:08
  Speaker 0: Ja, dazu haben wir uns natürlich Gedanken gemacht weil das Problem ist natürlich sobald eine Technologie da draußen ist wird sie verwendet werden.
• 36:18
  Speaker 0: Das können wir nicht verhindern.
• 36:19
  Speaker 0: jetzt kann man hoffen dass in einem demokratischen Kontext es gewisse Regeln gibt zum Beispiel Transparenz-Offenlegungspflichten was diese Modelle eigentlich tun, in welche Richtung sie allein sind.
• 36:36
  Speaker 0: Da gibt es auch in der EU zumindest mit dem AI-Akt auch schon Ansätze zu oder auch schon Regeln die im Kraft sind.
• 36:43
  Speaker 0: Nur letzten Endes wird das nicht reichen und schon gar nicht auf einer internationalen Ebene also auch in Kontexten wo wir keine freie liberal offene demokratische Gesellschaft haben zumal ich auch ehrlich gesagt immer ein bisschen vorsichtig da bin mit noch mehr Regeln zu kommen, weil wir haben ja tatsächlich staatliche Akteure selbst als potenziell gefährliche AkTeure identifiziert die als zentrale Instanz und Gewaltmonopol natürlich auch gefährlich werden können.
• 37:20
  Speaker 0: Indem sie dann zentral entscheiden was man wissen darf, was man schreiben darf ,was man hören darf aus diesem KI KI ist, was eben selbst natürlich immer sehr schnell zu einer Zensur werden kann.
• 37:31
  Speaker 0: Und deshalb haben wir uns überlegt naja wo haben wir denn schon länger ähnliche Problematiken?
• 37:36
  Speaker 0: Also wo gibt es zentrale Akteure die ja im Prinzip Meinung kontrollieren können?
• 37:43
  Speaker 0: und das haben wir seit Jahrhunderten im Journalismus.
• 37:45
  Speaker 0: auch im Journalismus haben wir Redaktionen haben wir Journalistinnen die darüber entscheiden was man lesen kann.
• 37:52
  Speaker 0: Jetzt haben wir das heutzutage ein bisschen demokratisiert mit den sozialen Medien, da kann man darüber denken was man mag.
• 37:58
  Speaker 0: Aber was wir von Anfang an als die Lösung quasi für dieses Problem gesehen haben wie können wir uns Neutralität annähern?
• 38:06
  Speaker 0: oder wie können we uns dem annähern dass man letzten Endes Zugang zu den Informationen bekommt die man möchte?
• 38:13
  Speaker 0: und die Antwort darauf war eigentlich nicht der Staat sollte das kontrollieren und irgendwie durch einen Zensor sicherstellen sondern Wir haben uns dafür entschieden, dass wir gesagt haben, wir brauchen Pluralismus.
• 38:24
  Speaker 0: Wir brauchen möglichst eine Meinungsvielfalt und eine Vielfalt von in dem Fall Zeitungen, von Outlets, von Medien die wir konsumieren können und uns frei dazwischen entscheiden können weil dadurch bilden wir eben auch diesen Meinungspluralismus ab den es in einer Gesellschaft geben sollte.
• 38:40
  Speaker 0: Und das ist eigentlich auch so eines der zentralen Forderungen die wir haben Dass wir sagen Wir brauchen auch einen Pluralismus der Modelle.
• 38:48
  Speaker 0: Je weniger Modelle es gibt, desto weniger Akteure werden darüber entscheiden was diese Modelle uns sagen dürfen.
• 38:54
  Speaker 0: und deshalb ist es ein Wert an sich viele Modelle zu haben so dass wir als Nutzerinnen und Nutzern letzten Endes schon mal zumindest die Auswahl haben, die Auswahlenmöglichkeit.
• 39:04
  Speaker 0: Und im zweiten Schritt ist es dann natürlich wichtig Konsumentin möglichst informiert diese Entscheidung auch treffen zu können, also Transparenz darüber zu haben was diese Modelle eigentlich sagen und nicht sagen dürfen.
• 39:17
  Speaker 0: Also in welche Richtung sie allein wurden?
• 39:19
  Speaker 0: Und da erneut kann man jetzt natürlich sagen der Staat sollte das sicherstellen und diese Transparens- und Offenlegungspflicht einführen.
• 39:27
  Speaker 0: und wie gesagt gibt es das in der EU auch in Teilen schon.
• 39:30
  Speaker 0: aber dann sind wir nicht sicher, was eigentlich andere Modelle in anderen Ländern machen die dieser Regelung nicht unterworfen sind.
• 39:38
  Speaker 0: Und deshalb fordern wir auch da unabhängige Benchmarks also technische Möglichkeiten mit denen wir testen können, was diese Modelle eigentlich sozusagen zensieren oder in welche Richtung sie gesteuert wurden.
• 39:51
  Speaker 0: Da kann man einfach im Prinzip eine große Fragendatensätze entwickeln mit den man dann eben testen kann.
• 39:57
  Speaker 0: Was beantwortet denn diese KI und was tut sie nicht?
• 40:01
  Speaker 0: zumindest mal Transparenz darüber, mit was ich es hier zu tun habe.
• 40:05
  Speaker 0: Also das sind so zwei unserer zentralen Forderungen mit denen wir sicherstellen wollen dass wir als diejenigen die das Ganze nutzen sollen wissen was wir da eigentlich nutzen und uns dann auch entscheiden können was wir nutzen wollen und was nicht.
• 40:19
  Speaker 2: Das Analog und zur menschlichen Gesellschaft drängt sich natürlich auf.
• 40:23
  Speaker 2: Natürlich, weil wir sehr viele Muster da auch impotiert haben aber das wäre ja ein Auftrag an Menschen und Professoren die mit Service arbeiten.
• 40:29
  Speaker 2: Das heißt also euch gehen so langsam den Menschen aus wie befragen könnt, aber die KI-Modelle sind ja da!
• 40:35
  Speaker 2: Also Frauke...
• 40:36
  Speaker 3: Genau
• 40:39
  Speaker 2: Was meinen Sie denn Faber zum Thema?
• 40:43
  Speaker 3: Also bei Fakten Fragen oder Dingen auf die wir uns geeinigt haben, dass sie derzeit gelten.
• 40:51
  Speaker 3: Kann man sich das gut vorstellen?
• 40:52
  Speaker 3: bei Sachen, die wer zum Meinungs- und Stimmungsbild gehören?
• 40:57
  Speaker 3: Wir hatten es ja vorhin schon die Schwierigkeit beim Selbstmord ist das oft ein bisschen schwieriger.
• 41:02
  Speaker 3: also wenn man die Bevölkerungs Meinung abbilden will und sehen wie weit ist so eine KI davon entfernt dann muss man natürlich zunächst mal die Bevölkerung Meinung auch richtig einfangen können und das ist auch nicht immer leichter.
• 41:14
  Speaker 3: Also die Benchmarks zu fordern, ist eine gute Sache.
• 41:20
  Speaker 3: Sie zu erstellen ist ein harter
• 41:22
  Speaker 3: Burgen.".
• 41:23
  Speaker 0: Und dann ist auch die Frage sollte eine Mehrheit einfach so etwas entscheiden können?
• 41:27
  Speaker 0: Auch da gibt es ja das Konzept der Mehrheitsentscheidler immer der Richtige weil auch eine Mehrheiten... Es kann auch eine tyraneide Mehrheit geben wie Minderheiten und Meinungen unterdrückt.
• 41:39
  Speaker 0: Deshalb haben wir uns entschieden eher den Pluralismus zu fordern aber Es ist eine Debatte, die noch nicht abgeschlossen ist und die wir führen wollen.
• 41:48
  Speaker 0: Weil auch das ist quasi eine Erkenntnis dass wir die Awareness, die Aufmerksamkeit überhaupt für diese Themen schaffen müssen weil erst das schafft überhaupt die Möglichkeit darüber nachzudenken.
• 42:00
  Speaker 2: Welche Rolle spielt denn das Thema Souveränität?
• 42:02
  Speaker 2: Dass Europa gerade sehr stark diskutiert wird in diesem Zusammenhang?
• 42:07
  Speaker 0: Ja ein enorm großes!
• 42:09
  Speaker 0: Wir haben ja jetzt ganz viele Beispiele gezeigt wie einzelne Modellanbieter, aber auch Staaten kontrollieren können was wir mit diesen KI-Modellen die ja wie gesagt immer wichtiger werden in unserer Gesellschaft.
• 42:21
  Speaker 0: Aber auch in unserer Wirtschaft wie sie uns damit beeinflussen können.
• 42:25
  Speaker 0: und wenn wir als Europäerin und Europäer da nicht völlig von abhängig sein wollen von denen sage ich mal paar Milliardären oder Technikerinnen in Amerika oder auf der anderen Seite der staatlichen Regulierung in China dann sollten wir uns wirklich bemühen, eigene Modelle zu entwickeln in denen wir unsere Wertevorstellungen verankern können.
• 42:47
  Speaker 0: Und da finde ich es schon traurig heute erst zu lesen dass Mistral jetzt zumindest laut Pressemitteilung ein bisschen auch unser letzter europäischer KI-Anbieter sich zumindest mal öffnet für chinesische Modelle.
• 43:01
  Speaker 0: Ich find also das was seitens berichtet wurde sie geben ihre eigene Entwicklung auf ist glaube ich noch nicht so ganz richtig aber Ja, es ist traurig.
• 43:08
  Speaker 0: Ich glaube auch dass da der Zug noch lange nicht abgefahren ist eigentlich und wir da durchaus noch einiges zu beitragen können.
• 43:16
  Speaker 0: das sieht man auch auf diesen Konferenzen.
• 43:17
  Speaker 0: also bei der ICML laufen immer noch extrem viele Europäerinnen und Europäern rum was die Forschungsseite betrifft.
• 43:24
  Speaker 0: nur leider auf der anderen Seite.
• 43:26
  Speaker 0: bei den Unternehmen die dort ausstellen sieht man kein einziges europäisches.
• 43:30
  Speaker 0: Da sind nur die großen amerikanischen Konzerne.
• 43:34
  Speaker 0: Das haben wir jetzt schon zweimal erlebt, auch bei der EICL in Rio.
• 43:38
  Speaker 0: Und das fanden wir echt super traurig weil wir bilden tolle Talente in Europa aus.
• 43:45
  Speaker 0: Wir haben Super Unis aber die Leute gehen dann am Ende in die USA Weil dort die tollen Jobs und das Geld liegt und das kann ja nicht unser Interesse sein.
• 43:56
  Speaker 3: Total gutes Plädoyer nochmal für uns alle als Erinnerung, dass wir das irgendwie hinkriegen müssen hier weiterhin Modelle zu bauen.
• 44:04
  Speaker 3: Souveränität, Einstichwort, Talente nicht verlieren.
• 44:07
  Speaker 3: das andere aber auch eben diese Zensur wäre denn wenn wir unsere eigenen Modelle haben damit die Lösung schon geschaffen.
• 44:16
  Speaker 3: oder gibt es andere Möglichkeiten auch Modelle die bei uns entwickelt werden würden zu beeinflussen?
• 44:23
  Speaker 0: Das ist ganz spannend, weil China natürlich ganz massiv seine eigenen Modelle versucht zu zensieren.
• 44:30
  Speaker 0: Aber auch fremde Modelle!
• 44:33
  Speaker 0: zensiert.
• 44:34
  Speaker 0: Das ist jetzt, sage ich mal hat zwei Komponenten dieses Problem nämlich die Modelle die selbst zensieren werden zunehmend auch in Europa genutzt und das ist glaube ich etwas was weniger auf dem Schirm haben weil wir reden darüber dass wir Datensouveränität möchten und zum Beispiel nicht wollen das Betriebsgeheimnis ins Ausland abfließen.
• 44:53
  Speaker 0: Und die Lösung ist jetzt für viele okay.
• 44:55
  Speaker 0: dann haben wir das eben In-House dass wir selber hosten bei uns auf den Servern und das sind dann eben häufig die chinesischen Modelle, weil sie eben viel stärker auf diesen Open-Model Ansatz setzen.
• 45:11
  Speaker 0: Das Problem ist was für uns damit ins Haus holen, dass natürlich diese Modelle in China trainiert wurden und entsprechend auch im chinesische Interesse manipuliert.
• 45:21
  Speaker 0: Das mag jetzt vielleicht in manchen Anwendungsbereichen nicht so eine Rolle spielen, aber du wirst ein chinesisches Modell eben bestimmte Fragen nicht stellen können oder es wird dir jedenfalls immer so antworten wie die kommunistische Partei das gerne hätte.
• 45:34
  Speaker 0: Und das ist nicht unbedingt in unserem Sinne.
• 45:37
  Speaker 0: und dann hat es auch noch einen zweiten Aspekt nämlich dass selbst wenn wir unsere eigenen Modelle dann entwickeln Wir ganz gut aufpassen müssen auf welchen Daten wir das eigentlich trainieren weil nämlich China es auch schafft durch zensierte Daten indirekt unsere Modelle mitzubeinflussen.
• 45:57
  Speaker 0: Und da gibt's ganz spannende Studien zu, also wenn ich zum Beispiel selbst Chatchi
• 46:01
  Speaker 0: B.T.,
• 46:01
  Speaker 0: also ein westliches amerikanisches Modell auf Englisch oder auch auf traditionellem chinesisch eine bestimmte Fragestelle dann wird es systematisch sehr viel westlicher Antworten als wenn ich das auf einfach im chinesischen Tour.
• 46:15
  Speaker 0: warum?
• 46:16
  Speaker 0: Einfaches chinesisch ist quasi die präferierte Sprache der kommunistischen Partei.
• 46:21
  Speaker 0: Und fast alles, was auf einfachem Chinesisch publiziert wird, ist natürlich an irgendeinem Punkt durch die chinesische Sensor gegangen solange es nicht im Ausland publiziert wurde.
• 46:35
  Speaker 0: und dadurch ist der gesamte Datensatz an einfachem chinesisches so stark schon beeinflusst durch die kommunistische Partei dass selbst wenn wir ein westliches Modell darauf trainieren es dann diese Standpunkte einnehmen wird, obwohl das sozusagen gar nicht direkt beeinflusst wurde sondern eben nur indirekt.
• 46:52
  Speaker 0: Und das sind alles Dinge die wir uns bewusst machen müssen auch wenn wir unsere eigene Modelle trainieren und wo wir glaube ich noch ein bisschen zu naiv sind dass einfach so ja nichts auf den Blick zu haben.
• 47:05
  Speaker 2: Also es gibt nicht nur den Kampf um die Modelle, sondern auch den Kampf über die Datenhoheit und die Interpretation davon.
• 47:11
  Speaker 2: Sehr spannend!
• 47:12
  Speaker 2: Ich glaube das ist sehr klar geworden dass das Thema KI für die gesamte Wirtschaft aber auf der Gesellschaft einfach ein dominierendes Thema sein wird so wie das Elektrizität und die Dapf-Verschiede waren mal früher.
• 47:25
  Speaker 2: also wir müssen uns damit auseinandersetzen Und es ist mit Nichten so, dass wir einfach abwarten können und einfach ein anderes Modell auswählen.
• 47:31
  Speaker 2: gegebenenfalls Wir müssen uns darum kümmern tatsächlich das bekommen, was wir eigentlich gerne hätten.
• 47:35
  Speaker 2: Was auch immer das ist.
• 47:37
  Speaker 2: Vielen Dank, dass ihr beide da wart!
• 47:39
  Speaker 2: Einfach wieder mal in Diktib ein sehr cooler Dialog mit euch aus einer wissenschaftlichen Sicht und eben auch so eine gesellschaftliche Sicht.
• 47:48
  Speaker 2: Danke, dass du euch die Zeit genommen
• 47:53
  Speaker 0: habt.