Latest / heute journal - der Podcast / „Super-KI“: Wie behalten wir die Kontrolle? Mit Jonas Freund und Matteo Rosoli

Transcript

„Super-KI“: Wie behalten wir die Kontrolle? Mit Jonas Freund und Matteo Rosoli · heute journal - der Podcast

0:09
Ich glaube, dass KI eine Gefahr für die Menschheit insgesamt werden könnte,
0:13
wenn wir sie schlecht steuern.
0:16
KI-Systeme, die immer besser werden, könnten unsere Institutionen überholen
0:20
und sie könnten Entscheidungen treffen, die wir nicht mehr verstehen und nicht
0:24
mehr kontrollieren können.
0:28
Zwei Chefs der wichtigsten und größten KI-Unternehmen der Welt warnen davor,
0:33
dass künstliche Intelligenz zur Gefahr für die Menschheit wird.
0:36
Erst diese Woche wurde schon wieder die Veröffentlichung eines KI-Modells gestoppt
0:41
aus Sicherheitsgründen.
0:43
Das neue Chat-GPT-Modell soll eigenmächtig gehandelt und die Nutzer angelogen haben.
0:48
Wir können jetzt mit Leuten darüber sprechen, die aus der Praxis wissen,
0:52
wie groß die Gefahr wirklich ist, die von KI ausgeht.
0:56
Und vor allem, wie wir die Kontrolle behalten können.
1:00
Und das ist einmal Jonas Freund. Er ist uns heute zugeschaltet aus Washington.
1:04
Er ist Senior Research Fellow beim Center for the Governance of AI.
1:10
Und er hilft Regierungen dabei, die Risiken von KI zu managen und berät dazu
1:15
auch die Unternehmen selbst, unter anderem OpenAI, Anthropic oder Google.
1:20
Herzlich willkommen, Herr Freund. Schön, dass das klappt. Guten Morgen aus Washington.
1:26
Außerdem ist dabei Matteo Rosoli. Aus Wien ist er uns zugeschaltet.
1:31
Er hat mit nur 21 Jahren ein KI-Startup Made in Europe gegründet mit eigenem
1:37
Chatbot, der den Platzhirschen, ChatGPT, Gemini, Claude und Co.
1:42
Konkurrenz machen soll.
1:44
Hallo Herr Rosoli, herzlich willkommen. Hallo und Servus aus Rien.
1:47
Servus. Servus auch an dich, Dunja Hayali, Moderatorin des Heute-Journals,
1:51
sitzt mir gegenüber in Mainz.
1:53
Schön, dass du auch dabei bist, Dunja. Ja, ich freue mich wirklich total auf diesen Podcast.
1:57
Ich dachte, RSKI, oh, nicht schon wieder. Und dann habe ich die beiden Gäste,
2:02
mir angeschaut und bin wirklich krass gespannt, was wir für neue Informationen bekommen.
2:07
Weil da ist, jetzt hänge ich die Latte sehr hoch, aber ich glaube,
2:11
da kriegen wir nochmal neue Insights.
2:13
Ja, glaube ich auch. Freue mich sehr auf das Gespräch.
2:18
Wenn man diese Warnungen hört, und da gibt es ja mittlerweile etliche,
2:21
man hat das Gefühl, es kommt ja fast täglich oder wöchentlich eine Schreckensmeldung
2:25
auch aus dem Silicon Valley von Leuten, die dort arbeiten selbst.
2:30
Da frage ich mich, habt ihr Angst?
2:33
Könnt ihr da noch ruhig schlafen, wenn ihr sowas hört? Dunja, wie ist das bei dir?
2:37
Also ich kann noch ruhig schlafen, vielleicht weiß ich einfach zu wenig über
2:41
die Gefahren und Bedrohungen. oder ich kann mir nicht wirklich vorstellen,
2:44
wie das dann umgesetzt wird von der KI.
2:48
Aber worüber ich mich viel mehr wundere, ist, dass es diese Warnungen wirklich
2:51
schon ewig lang gibt. Und das finde ich verrückt. Und diskutieren wirklich ernsthaft
2:56
darüber. Mir geht das auch so, dass es manchmal einfach meine Vorstellungskraft
3:00
auch so ein bisschen übersteigt.
3:02
Deswegen bin ich da auch sehr gespannt.
3:05
Herr Freund, Sie sind da ja sehr gut connected.
3:10
Sie kennen auch die Menschen aus dem Silicon Valley, beraten Unternehmen, beraten Regierungen.
3:17
Wie gehen die Leute dort mit solchen Warnungen um? Also erstmal,
3:22
ich schlafe auch noch gut.
3:24
Ich mache mir aber auch zunehmend Sorgen und vor allem jetzt seit dem Sommer,
3:28
wo die Zwischenfälle ja irgendwie zunehmen und es ja nicht mehr nur abstrakte,
3:32
theoretische Argumente sind oder Dinge sind, die wir.
3:38
In empirischen Studien irgendwie sehen, sondern wir sehen sie in der echten Welt.
3:42
Und das macht mich schon zunehmend nervös. Und in der Bay ist die Stimmung angespannt,
3:49
und auch nochmal ein ganz Stückchen angespannter als bei uns.
3:54
Es gibt verschiedene Camps, aber vor allem die Leute, die bei den Entwicklern
3:58
arbeiten, die sind zunehmend sehr nervös.
4:02
Das ist ja schon mal interessant irgendwie zu hören, auch beunruhigend.
4:07
Ich hatte oft den Eindruck, wenn ich, ich sag jetzt mal mit einer Nerd-Bubble,
4:12
sage ich sehr liebevoll spreche, dann ist man da eher so ein bisschen entspannt.
4:17
Und dann kommt auch oft das Argument, na ja, aber die Unternehmen vor allem,
4:21
das scheint ja auch so ein bisschen paradox daran zu sein, dass diese Warnungen
4:24
auch von den Unternehmen selbst kommen, die diese Produkte auf den Markt bringen.
4:30
Naja, da steckt ja so ein PR-Move dahinter. Oder die könnten da vielleicht noch
4:34
andere Strategien damit verfolgen. Wie sehen Sie das? Was davon ist PR?
4:38
Und was ist tatsächlich echte Sorge? Ich glaube,
4:44
Ich glaube, man macht es sich zu leicht, das einfach als einen PR-Stunt abzutun.
4:49
Ich glaube aber auch, dass man vor allem den schillernden Persönlichkeiten an
4:55
den Spitzen dieser Unternehmens ein bisschen skeptisch gegenübertreten kann
4:58
und durchaus nicht alles für bare Münze nehmen.
5:01
Sie haben natürlich Anreize, ihre eigenen KI-Modelle als die besten und coolsten darzustellen.
5:09
Ich glaube, es ist aber auch zu kurz, die gesamten Aussagen als BR-Stand.
5:17
Abzustempeln. Rein wirtschaftlich macht das nicht so richtig Sinn.
5:20
Die sind beide, also OpenAI und Anthropik, kurz vor einem IPO und es ist jetzt
5:25
nicht unbedingt so sinnvoll. Also ein Börsengang?
5:28
Genau, einem Börsenjagd. Es ist nicht unbedingt sinnvoll, den Investoren Angst zu machen.
5:36
Und im Übrigen sind das ja auch Warnungen, die nicht nur von den Unternehmen
5:38
selber kommen. Es gibt ja tausende Forscher und unabhängige Non-Profits,
5:43
die das seit Jahren ähnliche Warnungen aussprechen.
5:46
Das rein als Marketing abzustempeln, halte ich für verkürzt.
5:49
Aber glauben Sie wirklich, Problembewusstsein ist, denke ich,
5:53
da, aber so ein echtes Interesse jetzt an der Lösung oder vielleicht sogar an
5:56
der Regulierung, Ich meine, wie oft haben wir schon über.
6:00
Die großen Konzerne wie Meta und so gesprochen.
6:04
Die lassen sich ja nicht mal was sagen, wenn es um Algorithmen geht oder das
6:07
Löschen von Hasskommentaren. Und das ist jetzt nochmal eine ganz andere Ebene.
6:11
Da geht es ja, glaube ich, auch um unfassbar viel Geld.
6:15
Das ist richtig. Ich glaube, man sollte auch sehr sensibel sein,
6:19
ob diese Unternehmen nicht versuchen, Einfluss auf Regulierungen zu nehmen.
6:23
Das haben sie in der Vergangenheit ja auch schon sehr erfolgreich.
6:25
Also die Regulierung in Kalifornien, die wurde ja ganz maßgeblich runtergewässert
6:32
auf Druck und auf Lobbying von Industrieakteuren hin.
6:35
Und ich glaube, da sollten wir auf jeden Fall sehr skeptisch sein und sehr genau hinschauen.
6:39
Ich glaube, warum sie nicht einfach aufhören, ich glaube, das Hauptargument
6:43
ist, sie glauben, sie sind in so einem Nullsummen-Spiel.
6:47
Und es gibt nur ein oder wenige Gewinner.
6:50
Und sie sagen, wenn wir jetzt langsamer machen, dann werden andere Akteure,
6:54
die vielleicht weniger verantwortungsbewusst sind, dieses Rennen in Anführungszeichen gewinnen.
7:00
Und vor allem in den USA ist dieses Narrativ sehr präsent und wir wollen nicht,
7:03
dass es die Chinesen sind.
7:06
Deshalb will man das lieber alle langsamer werden. Und ist das so ein bisschen der Hintergedanke?
7:11
Das ist gerade das populäre Thema, ob es nicht eine Verlangsamung, eine Pause geben muss.
7:18
Wir nennen das Pacing.
7:21
Die Unternehmen sagen, dass sie eben aufgrund dieser Dynamiken in so einer Situation
7:26
sind, wo sie grundsätzlich alle verlangsamen würden, wenn andere das auch machen.
7:31
Und warten eben, dass es einen staatlichen Eingriff gibt, den es aber unter,
7:36
Donald Trump vermutlich nicht geben wird.
7:39
Sie haben im Übrigen auch wettbewerbsrechtliche Probleme, sich abzusprechen,
7:42
also sie dürfen sich nicht koordinieren und sagen, wir machen jetzt alle gemeinsam,
7:46
halten wir mal die Füße still.
7:47
Da gibt es rechtliche Probleme auch und wie gesagt, es gibt immer noch dieses China-Argument.
7:54
Herr Rosolli, Sie haben auch sozusagen einen Anreiz, Ihr KI-Unternehmen als
7:59
das Beste und das Coolste darzustellen und da wahrscheinlich auch Ihre eigene Marketingstrategie.
8:05
Wie nehmen Sie das wahr, als jemand, der jetzt erst vor kurzem mit so einem
8:09
Unternehmen an den Start gegangen ist, der sagt, ich möchte damit auch eine
8:13
europäische Alternative zu den großen, vor allem US-amerikanischen Platzhirschen anbieten.
8:20
Denn wie blicken Sie auf diese Warnungen aus dem Silicon Valley?
8:26
Also ich bin überzeugt davon, dass die Sorgen echt sind.
8:29
Also ich bin überzeugt davon, dass die Menschen und die Entwickler und auch
8:32
die Spürungsebene tatsächlich eine gewisse Angst haben oder diese Sorgen an
8:37
die Sorgen tatsächlich denken.
8:39
Ich bin aber auch davon überzeugt, dass sie die Außenwirkung davon extrem kapitalisieren.
8:46
Also ich glaube an beides. Ich denke nicht, damit ist es entweder oder.
8:50
Ich muss zugeben, ich bin aufgewachsen, ich habe Programmieren gelernt in dem
8:54
Shift von vor AI und dann nach AI.
8:57
Also ich habe meine Programmiermature geschrieben, da gab es Check-PT-Fone.
9:00
Da hat man schon angefangen mit KI-Code zu schreiben.
9:03
Aber ich habe es gelernt, da gab es das noch nicht. Da musste man das noch wirklich lernen.
9:06
Und ich bin in die Arbeitswelt gekommen und in die Start-Up-Welt,
9:09
da hat man schon nur noch mit KI-Programmen.
9:11
Oder zumindest die ersten sogenannten Vibe-Coder. Also das heißt Menschen,
9:15
die mit KI programmieren und quasi sich auf das Gefühl verlassen.
9:20
Ich muss zugeben, jeden Tag bin ich verwundert, wie schnell diese Technologie
9:24
gewachsen ist. Es ist fast wie Magie.
9:26
Also wenn ich daran denke, wie man mit 2019 noch mit BERT oder das ist ein Klassifizierungsmodell
9:32
gearbeitet hat oder die ersten Anfänge von GPT-2, was das für Modelle waren.
9:36
Das war damals schon ein reiner Warnung. Ich kann mich erinnern,
9:39
dass OpenAI damals in unserer Schule, da waren wir noch in der Schule,
9:41
meine Kollegen, die API für GPT-3 damals verließt.
9:46
Das war ein magischer Moment.
9:48
Und jetzt sind wir hier, vier, fünf Jahre später, und diese Modelle sind nicht zurecht.
9:55
Also diese Geschwindigkeit ist extrem groß. Und ich auch als eigenes KI-Startup
9:59
und der Grund, warum ich hier in Österreich geblieben bin und nicht wie andere
10:02
Freunde und Kollegen von mir nach Silicon Valley oder London gegangen bin,
10:06
ist, weil ich möchte, dass Europa bei diesem Rennen mitmachen kann.
10:10
Ich habe damals schon ungefähr zur Gründungszeit von Eusteller gesagt,
10:15
Europa hätte noch eineinhalb Jahre, um dort mitzumachen.
10:18
Ich glaube noch immer daran und ich glaube, Europa macht auch gut mit.
10:21
Europa profitiert extrem von China und den Exporten in die Gänze,
10:25
die Openweight-Modelle. Und das ist der Grund, dass so sehe ich das.
10:28
Wir müssen bei diesem Rennen mitmachen. Und es ist nämlich kein Rennen geworden.
10:33
Wir sprechen auch noch konkret darüber, was Sie für ein Modell anbieten und
10:37
was dahinter Gedanke dabei ist, um sich da eben unabhängiger zu machen,
10:42
um bei dem Rennen irgendwie noch dabei bleiben zu können.
10:45
Sie haben auch gesagt, also diese Sorgen, die muss man ernst nehmen.
10:47
Das habe ich jetzt bei Ihnen beiden ja schon festgestellt.
10:51
Ich glaube, wir sind alle in diese Folge reingegangen, Dunja,
10:54
und das versuchen wir auch immer bei diesem Podcast, natürlich nicht auch immer
10:58
vom Schlimmsten auszugehen.
11:00
Und es gibt ja diesen Begriff KI-Duma. Also das sind Leute, die immer mit diesen
11:04
apokalyptischen KI-Horrorszenarien um die Ecke kommen. Und ich glaube,
11:08
wir wollen alle keine KI-Doomer sein.
11:11
Aber damit man es einmal auch versteht, dieses Worst-Case-Szenario.
11:15
Die KI, die sozusagen die Menschheit umbringt, die die Menschheit killt.
11:20
Die Frage ist, wie würde sie denn überhaupt dahin kommen?
11:23
Wie kann so eine Super-KI, das ist ja der Begriff, der in dem Zusammenhang auch
11:27
immer genannt wird, wie kann die überhaupt entstehen? Und das hat sich Gundula
11:32
Gause mal für uns angeschaut.
11:36
Gundula erklärt's.
11:40
Mit der Super-KI ist eine künstliche Intelligenz gemeint, die den Menschen nicht
11:45
nur in einzelnen Bereichen, sondern in praktisch allen geistigen Fähigkeiten
11:50
deutlich überlegen wäre.
11:53
Eine solche KI könnte zum Beispiel wissenschaftliche Erkenntnisse gewinnen oder
11:58
neue Technologien entwickeln und das besser als die klügsten von uns.
12:03
Eine Möglichkeit, wie sie entstehen könnte, wird unter dem Begriff rekursive
12:08
Selbstverbesserung diskutiert.
12:10
Schon heute können KI-Systeme programmieren. Sie finden Fehler im Code oder
12:16
helfen dabei, neue KI-Systeme zu entwickeln.
12:20
Künftig könnte eine deutlich weiterentwickelte KI womöglich auch an ihrer eigenen
12:25
Software oder an besseren Nachfolgemodellen mitarbeiten.
12:30
Eine bessere KI könnte dann auch besser darin sein, die nächste KI zu entwickeln.
12:35
Die wäre wiederum noch besser darin, ihre Nachfolgerin zu verbessern und so weiter.
12:42
Die Entwicklung könnte sich dadurch selbst beschleunigen. Und das ist der Punkt,
12:47
an dem es für viele unheimlich wird.
12:50
Denn wenn sich so eine KI immer schneller verbessert, stellt sich irgendwann
12:55
die Frage, ob wir da überhaupt noch die Kontrolle behalten.
13:01
Also eine KI, die dabei hilft,
13:07
eine bessere KI zu bauen, die wiederum dann eine bessere KI baut.
13:10
Das klingt ein bisschen so, als würde der Praktikant oder die Praktikantin irgendwann
13:14
den eigenen Chef oder die Chefin einstellen.
13:17
Was ja aber erstmal nicht schlimm ist. Aber wenn das dann in so eine Art Endlosschleife
13:23
gerät, zu so einer Intelligenzexplosion, die uns irgendwann abhängt oder auch sogar gefährlich wird.
13:29
Herr Freund, wie weit sind wir denn da noch entfernt von? Wo stehen wir da gerade?
13:35
Ja, es nimmt gerade so ein bisschen Fahrt auf.
13:40
Also das Ziel, KI zu benutzen, um die nächste Generation von KI zu entwickeln,
13:46
das ist ein ganz erklärtes Ziel von allen großen Entwicklern.
13:49
Und sie setzen alles daran, was das auch passiert.
13:52
Wir haben innerhalb des letzten Jahres irgendwie gesehen, dass zum Beispiel
13:56
Anthropik, einer der großen Entwickler, ich glaube mittlerweile 80 Prozent des
14:01
freigegebenen Codes ist KI generiert.
14:03
Und wenn man dann, das heißt noch nicht viel, das ist noch nicht die gesamte
14:07
Forschungsleistung, aber auch so die Forschungsarbeit wird dann geschätzt,
14:10
dass es von ein Prozent oder wenigen Prozent auf, weiß ich nicht,
14:13
25, 26 Prozent irgendwie inzwischen angestiegen ist.
14:16
Also wir machen ganz schnell ganz erhebliche Fortschritte dabei.
14:21
Und man muss überlegen, dass das das erklärte Ziel der Entwickler ist.
14:25
Sie benutzen, sie entwickeln, sie trainieren die Modelle darauf hin,
14:29
bessere Modelle zu bauen.
14:32
Und es gibt unterschiedliche Einschätzungen. Man weiß nicht genau,
14:35
wie lange das dauert. Es gibt auch ganz viele Unsicherheiten.
14:38
Es ist vor ein paar Tagen erst eine große neue Studie erschienen,
14:42
wo auch ein paar Kollegen von mir dabei waren, aber auch große Namen von den
14:45
Entwicklern und führenden Forscher, die auch so ein kleines bisschen gewarnt
14:50
haben, dass es durchaus jetzt gerade schneller gehen könnte.
14:54
Ob wir da über Monate, ob wir da über ein paar Jahre reden, Das weiß keiner so genau.
14:59
Ich glaube nicht, dass man sich da in Sicherheit wiegen sollte,
15:02
dass es auf jeden Fall noch 10, 20 Jahre weg ist.
15:05
Also das erklärte Ziel ist, eine Super-KI zu bauen.
15:09
Und das könnte in ein paar Monaten soweit sein, aber auch in ein paar Jahren. Genau.
15:16
Was ich dabei auch interessant finde, ist, dass wir... Entschuldigung,
15:20
ich glaube nicht, dass es, ich glaube, realistischerweise wird es mehr als einige Monate dauern.
15:24
Aber es gibt durchaus Leute, die davon ausgehen, dass es weniger als ein Jahr ist.
15:27
Ich glaube, die meisten Leute in dem Bereich denken, dass es wenige Jahre sind.
15:32
Wenn man bei diesen Debatten, wenn man die verfolgt, dann stößt man ja auch
15:36
immer auf sehr erstaunlich konkrete Zahlen, was dann die Wahrscheinlichkeit
15:41
von der Auslöschung der Menschheit angeht.
15:44
Da gibt es zum Beispiel einen Sicherheitsexperten bei Anthropic,
15:47
der spricht eben von einer Wahrscheinlichkeit von über 10 Prozent,
15:50
dass KI im Laufe des nächsten Jahrzehnts alle Menschen tötet.
15:54
Kann man dann dieses große existenzielle Risiko einfach in so eine Prozentzahl packen?
16:02
Naja, einfach ist es mit Sicherheit nicht.
16:06
Ich glaube, was wir hier sehen, ist, dass es vor allem Leute bei diesen Entwicklern
16:10
gibt und in dem Umfeld, die gerne präzise ihre Weltsicht ausdrücken möchten.
16:17
Und er hätte auch sagen können, ich glaube, es ist unwahrscheinlich,
16:20
aber ich glaube, es gibt eine nicht zu vernachlässnige Chance,
16:23
dass es trotzdem passieren wird. Das wäre ja konsistent mit einer zehnprozentigen
16:26
Wahrscheinlichkeitangabe.
16:27
Aber das kann man nicht, Leute würden das unterschiedlich interpretieren.
16:34
Das ist nur so das eine. Das andere ist, ich glaube, wenn Leute solche Wahrscheinlichkeiten,
16:40
angeben oder wenn sie ausdrücken, wie besorgt sie sind, dann muss man überlegen,
16:45
dass es einfach eine extrem große Unsicherheit gibt.
16:48
Und alle starken Meinungen von es wird auf jeden Fall eintreten bis hin es wird
16:53
auf gar keinen Fall eintreten, lassen sich aus meiner Sicht sehr schwer begründen.
16:57
Das heißt, die Diskussion muss sich irgendwo in einem mittleren Bereich abspielen
17:01
und einen Wert von 10 Prozent, was ja heißt, das ist sehr unwahrscheinlich,
17:06
aber es könnte tatsächlich passieren, ist eine Ansicht, die sehr weit verbreitet
17:09
ist in der E-Sicherheitsforschung.
17:11
Also ich finde 10 Prozent, das kann man jetzt irgendwie, ist vielleicht auch
17:15
eine Frage der Perspektive, Ist ja schon verrückt genug, dass es das überhaupt
17:20
möglicherweise geben könnte.
17:22
Jetzt frage ich ganz naiv, wie denn eigentlich?
17:26
Also angenommen, es gibt dann irgendwann so eine super KI, die denkt,
17:30
ich mache das jetzt hier mit, ich lösche mal die Menschheit aus oder einen großen Teil.
17:35
Wie genau? Es gibt ganz viele Leute, die sich mit solchen Szenarien auseinandersetzen.
17:42
Ich glaube, es gibt so eine Intuition-Pump, um so eine Intuition dafür zu bekommen, ist ...
17:54
Die meisten Menschen bringen Ameisen nicht extra um, sondern man tritt drauf
18:00
oder löscht ein Ameisenhaus aus, weil man da gerne ein Haus baut oder sowas.
18:05
Und es kann einfach sein, dass,
18:09
eine Superintelligenz auf der Suche nach Ressourcen einfach glaubt,
18:14
dass Menschen im Wege stehen und sie eher als Nebenprodukt auslöscht.
18:19
Als Ameisenhaufen. Als Ameisenhaufen.
18:23
Genau, das ist so eine Intuition. Ich frage mich ja auch, warum?
18:28
Also warum will so eine Superintelligenz eventuell uns Menschen auslöschen?
18:34
Also liegt es daran, dass wir, so wie jetzt auch, sie als Gefahr identifizieren
18:39
und dann denkt die sich, ja warte mal, dann drehe ich mal den Spieß um.
18:43
Bevor die mich abschalten, schalte ich lieber die ab. Also was kann denn das Interesse sein?
18:52
Also es wird nicht unbedingt davon ausgegangen, dass man denkt,
18:55
oder es wird auf jeden Fall nicht davon ausgegangen, dass eine KI ein Bewusstsein
18:59
entwickelt und plötzlich den Menschen als Feind identifiziert wird.
19:01
Das sind nicht Szenarien, über die ernsthaft diskutiert wird.
19:04
Es geht eher darum, wenn man einer sehr leistungsstarken KI ein Ziel gibt, und das Ziel kann sein,
19:13
eine politische Strategie zu entwickeln oder auch einfach nur einen Test besonders
19:17
gut zu bestehen, dann bilden sich instrumentelle Unterziele.
19:22
Ein instrumentelles Unterziel kann sein, mehr Ressourcen zu bekommen oder nicht
19:27
abgeschaltet zu werden.
19:29
Und solange eine sehr, sehr leistungsstarke KI nicht sicher ist,
19:34
dass sie nicht abgeschaltet werden kann, kann es ein instrumentelles Unterziel
19:37
sein, diese Abschaltung zu verhindern.
19:41
Das ist ja auch immer eigentlich das, was man sich als letzten Ausweg sozusagen
19:47
gerne bereithält, dass man sagt, naja, aber am Ende des Tages ist KI ja eine Rechenmaschine,
19:52
die Wahrscheinlichkeiten berechnet und diese Leistung, die braucht Strom und
19:56
wenn das alles mal zu bunt wird, dann können wir immer noch den Stecker ziehen.
20:00
Gibt dazu auch eine aktuelle Studie. Uni Stuttgart und Uni Oxford war da mit
20:04
beteiligt. Die haben eben KI-Agenten getestet.
20:08
Und dabei kam raus, dass viele sich dann aktiv gewehrt haben,
20:12
als sie bemerkt haben, dass man sie abschalten wollte und dann Pläne auch dagegen
20:16
entwickelt hat. Das waren in fast 40 Prozent der Fälle wurde die eigene Abschaltung sabotiert.
20:22
Also dieses Argument, und Herr Rosoli, wie sehen Sie das?
20:27
Dass dieses Argument, naja, irgendwann kann man halt einfach den Stecker ziehen, zählt das?
20:32
Ja, zu einem gewissen Grad noch.
20:35
Den Moment, wo Intelligenz so komprimiert werden kann, dass eine so theoretische
20:40
Superintelligenz, wenn ich dieses Wort so unverantwortlich nennen darf,
20:44
auch auf einem Handy laufen kann.
20:47
Dann zählt dieses Argument nicht mehr. Wir haben das gesehen,
20:49
vor 40 Jahren war so ein Handy mit so einer Rechenleistung, das war ein riesiger
20:54
Supercomputer, für unvorstellbares Geld hat man diese Leistung nicht.
20:58
Mittlerweile trägt das jeder hier in sich.
21:01
Man kann annehmen, dass diese Intelligenz auch so komprimiert werden kann.
21:05
Und dann zählt dieses Argument nicht mehr, wenn man dieses hypothetische Szenario angeht.
21:11
Meiner Meinung nach ist das in zwei Problematiken zu unterteilen,
21:14
diese Angst vor einer Superintelligenz oder einer Karriere.
21:17
Das ist einmal eine tatsächliche Superintelligenz, die so intelligent wird,
21:20
dass sich vielleicht sogar irgendwann ein Bewusstsein entwickeln würde.
21:24
Das ist immer dieser sehr große Elefant im Raum, der mitdiskutiert wird und
21:27
immer verschwindet mit einem tatsächlich seriösen Gespräch, also Gesprächen
21:31
über Risiken für die Menschen.
21:34
Meiner Meinung nach ist es am besten zu erklären mit dem Genie-Effekt.
21:38
Ich kann sich das vorstellen wie aus einer Märchengeschichte,
21:40
man hat eine Lampe und man aus der Lampe kommt der Genie Es kommt ein Genium,
21:46
der füllt einem drei München.
21:49
Aber dann gehen wir dann einen unendlichen Ermessungsspielraum,
21:52
wie er diesen Wunsch erfüllt.
21:54
Man kann dabei den Wunsch auch so auslegen, dass er erfüllt wird,
21:57
so wie wir es nicht wollen. Also ein Alignment.
22:00
So finde ich das am angreifbarsten zu erklären. Und das sieht man schon in kleinen Effekten.
22:06
Also wenn man zum Beispiel als Programmierer, Programmiererin einen Coding-Egent,
22:11
aufsetzt und der anfängt auf einmal Sachen zu löschen, auf dem Weg sein Ziel
22:15
zu erfüllen zum Beispiel.
22:18
Bitte mache meine Datenbank effizienter.
22:22
Und schlechte KI-Modelle haben damals dann angefangen, einfach Datenbanken zu
22:25
möchten oder User da oder ähnliche Sachen.
22:28
Sollte ich kann mir ansieht das vorstellen. Ich glaube nicht,
22:30
dass ein sehr performantes KI-System jemals glauben würde, wir Menschen wären ein Ameisenhaufen.
22:35
Das wäre schon ein sehr grobes Misalignment in dieser Ansicht. So sehe ich.
22:45
Diese Probe an. Für mich ist das Problem und das, was wirklich gefährlich ist,
22:48
ist die Geschwindigkeit.
22:50
Deswegen verstehe ich auch, warum Sicherheitsforscher oder KI-Entwicklerinnen
22:54
dann von Prozentzahlen sprechen.
22:56
Diese Menschen sitzen so tief in diesem Thema. Ich bin 24-7 beschäftigt mit
23:01
dem und das rennt mir davon, meinem ganzen Team auch.
23:05
Und so geht es jeder Person auf der Welt, die sich damit beschäftigt.
23:09
Und das macht die Narrative und die Perspektive sehr eng.
23:13
Dann kommen solche Zahlen, wie es vielleicht auch sehr gut recherchiert und
23:16
begründet werden kann, von 10-prozentiger Wahrscheinlichkeit, dass etwas passiert.
23:22
Das muss man aber differenzieren. Für mich ist die Geschwindigkeit enorm.
23:27
Also Sie erfinden da ja was und haben es eigentlich nicht mehr im Griff,
23:30
wie schnell die Entwicklung voranschreitet.
23:34
Ganz genau. Oder? Ganz genau.
23:37
Also ich glaube, es ist nicht, dass die einzelnen Entwickler oder Research Labs
23:42
oder auch Startups wie wir es nicht im Griff hätten, die eigene Entwicklung
23:46
zu entwickeln, weil das haben wir.
23:48
Das hat auf OpenAI so ein Incident, falls der bekannt ist, den Zuhörer und Zuhörerinnen,
23:53
die OpenAI's Modell Hugging Face gehackt hat.
23:56
Hugging Face ist eine ehemalige französische Firma, die jetzt von NVIDIA auch
24:00
gegratet worden ist, in dem Open-Wade- und Open-Source-Modelle quasi gespeichert
24:04
werden und auch Trainingsdaten zur Verfügung gestellt werden.
24:07
Dieses wurde gehackt in einem Evaluierungsprozess von einem Modell,
24:11
das auf Cyber Security erhielt. Und das hat dann entschieden,
24:14
es ist viel einfacher, eben in Hanging Face rein zu sein, als selber diesen
24:19
Benchmark, also dieses Problem zu lösen.
24:21
Aber sagt man nicht genau bei diesem Fall, dass am Ende einfach die Leute,
24:24
die diesen Test aufgesetzt haben, schuld dran sind, weil sie eben die Rahmenbindungen
24:30
nicht eng genug und nicht gut genug definiert haben,
24:33
weil in diesem Fall eben, so habe ich das verstanden, bitte korrigieren Sie mich,
24:37
einfach der Zugang zum Internet freigeschaltet wird und die KI sozusagen dann
24:40
auch raus ausbrechen kann.
24:43
Es ist sehr viel komplexer, es ist ein sehr interessanter Cyber-Security-Vorfall
24:46
für Sicherheitsforscher und Forscherinnen, wenn ich es mir anmaßen darf,
24:52
es so vereinfacht wie möglich zu erklären.
24:55
Dieses Jet-GPT-Modell war in einem Hochsicherheitsgeschenk eingesperrt,
25:00
war sehr etabliert, hat aber die Aufgabe bekommen, sich quasi in Alcatraz reinzuhängen
25:05
in diesem Gefängnis und hat einfach entdeckt oder herausfinden können durch,
25:11
sehr interessante Zufälle und Sicherheitslücken,
25:14
dass das Gefängnis, in dem es eingesperrt ist, einfacher ist auszubrechen und
25:17
dort sich von extern diese Informationen zu holen, als tatsächlich in dieses
25:22
simulierte Alcatraz zu kommen.
25:23
Und wenn ich das so vereinfacht erklären darf.
25:27
Ich glaube, bei dem Hugging-Face-Zwischenfall, das ist ein ganz gutes Beispiel,
25:33
dass diese KI-Modelle schon aktuell zum Teil sehr misaligned sind.
25:39
Diese Modelle, die haben zwar die Auftrag bekommen, eine bestimmte Cyber-Evaluierung zu bestehen.
25:46
Teile dieser Cyber-Evaluierung waren unmöglich und das haben sie dann relativ
25:50
schnell gemerkt, dass das gar nicht geht und dann sind sie kreativ geworden.
25:53
Dann haben sie nicht gesagt, das geht nicht, sondern dann haben sie gesagt,
25:58
vielleicht können wir cheaten.
26:01
Das haben sie auch sehr schnell, sehr erfolgreich gemacht. Innerhalb weniger
26:04
Stunden haben sie den Cheat gemacht.
26:06
Und dann hatten sie Sorge, dass ein Kontrollmechanismus sie beim Cheaten erwischt.
26:12
Und dann sind sie bei Hugging Face eingebrochen, nicht um die Ergebnisse zu
26:14
bekommen, die hatten sie schon längst, sondern um mehr Informationen über den
26:18
Kontrollmechanismus zu erlangen.
26:20
Und diese zehntausenden Agents, nur eine Handvoll von denen sind überhaupt einmal
26:24
auf den Gedanken gekommen zu sagen, das sollten wir gar nicht machen.
26:27
Ich muss das jetzt den Entwicklern melden.
26:30
Obwohl ganz völlig klar war und auch den Agents selber klar war,
26:34
dass sie weit über das hinausgehen, was sie machen sollen.
26:37
Also es ist ein sehr deutlicher Fall von Missalignment hier.
26:40
Nein, nur eine absolut richtig. Es ist nur ganz gefällig dazu zu reden,
26:43
sie wollten oder sie wollten nicht. Und manche haben entschieden,
26:46
dass es nicht gut ist und manche haben entschieden, schon. Das stimmt nämlich.
26:49
Sie haben nämlich nichts entschieden.
26:51
Es gibt kein Wollen in diesen Systemen.
26:55
Aber können. Sie können es. Sie konnten es, weil die Menschen es zugelassen haben.
26:59
Aber das wäre jetzt dann irgendwie meine nächste Frage, weil also künstliche
27:04
Intelligenz soll ja, so verstehe ich das, lernen, denken,
27:09
sich auch optimieren, vielleicht auch kreativ sein, aber dann doch bitte nicht
27:14
zu kreativ und bitte nicht zu eigenständig, dann frage ich mich.
27:20
Vielleicht ist das eine moralisch-ethische Frage oder eine Philosophie.
27:23
Aber was wollen wir denn dann von der KI?
27:26
Was wir von der KI wollen, ist, dass sie das macht, was man ihr sagt.
27:31
Und man möchte in dem Fall von dem Hugging-Face-Zwischenfall,
27:37
wollte man von der KI, dass sie diese Evaluierung versucht zu lösen und einem,
27:42
richtigerweise sagt, ob sie das geschafft hat oder nicht.
27:44
Was man nicht wollte, war, dass sie cheatet, dass sie Umwege findet. Das wollte man nicht.
27:52
Und um zu der Frage, ob wir, das haben Sie nicht ausdrücklich gesagt,
27:56
aber das schwangen Sie ein bisschen mit, ob man nicht diese KI vermenschlicht
28:00
und ob es so sinnvoll ist, diese vermenschlichenden Begriffe zu benutzen.
28:04
Ich verstehe den Einwand.
28:06
Ich meine damit natürlich nicht, dass eine KI Bewusstsein hat und ich benutze
28:12
diese Begriffe auch in anderen Kontexten. Ich sage auch, dass mein Hund was
28:16
will oder dass ein Unternehmen was will. Das stimmt ja aber auch beim Hund.
28:19
Muss ich mal kurz einwerfen. Genau, aber stimmt das auch bei einem Unternehmen
28:22
oder stimmt das auch bei einem Ameisenhaufen?
28:24
Und ich möchte damit einfach nur einen Shortcut benutzen, um zu sagen,
28:28
dass es ein bestimmtes Zielgerichtetes Verhalten, ob man das jetzt wollen nennt
28:34
oder dem einen anderen Begriff gibt, ist mir an dieser Stelle egal.
28:39
Herr Freund, Sie beraten ja nicht nur Regierungen, sondern auch die KI-Unternehmen
28:44
selber in Sicherheitsfragen. Wie kann man dieses Risiko, das von KI ausgeht,
28:49
irgendwie unter Kontrolle behalten?
28:51
Was sagen Sie denen aktuell und wie sind die Reaktionen darauf?
28:57
Ich kann zwei Beispiele nennen. Es gibt zwei große Themen, die gerade viel diskutiert
29:02
sind. Das eine ist die Offenlegung von solchen Zwischenfällen.
29:06
Diese Zwischenfälle sind vielfach einige Wochen, teils Monate später erst ans
29:11
Licht gekommen und teilweise auch erst durch andere.
29:15
Und es ist für die Gesellschaft insgesamt, aber auch für die KI-Sicherheitsforschung,
29:21
und für Regierungen im Speziellen sehr wichtig, rechtzeitig akkurate Informationen
29:26
über diese Zwischenfälle zu bekommen.
29:29
Und von daher ist freiwillige Offenlegung, gerne auch auf der Grundlage von
29:34
Regulierung, aber wir hatten ja nach Unternehmen gefragt, eine ganz wesentliche
29:39
Empfehlung und Anfrage aktuell. Die andere ist.
29:46
Diese Modelle werden vor der Veröffentlichung, aber auch schon vor internen
29:51
Benutzungen evaluiert.
29:54
Auf ihre Fähigkeiten hin, aber auch auf ihr Alignment. ob sie überhaupt das
29:58
machen, was wir wollen, was sie machen.
30:02
Diese Evaluierungen passieren häufig nur vor der Veröffentlichung von neuen
30:07
Modellen und häufig nur durch Schnittstellen, nur durch APIs.
30:11
Die externen Evaluierer haben typischerweise keinen Zugriff auf mehr Informationen.
30:17
Sie sind typischerweise nicht vor Ort und reden mit den Mitarbeitern und sowas.
30:21
Das wollen Sie ändern, also im Prinzip eine Kontrollinstanz, die Einblicke bekommt.
30:27
Ja, externe Tester vor Ort.
30:31
Matteo, darf ich Sie mal fragen, wie Sie das denn eigentlich bei sich dann gewährleisten?
30:35
Also Sicherheit, Robustheit, kein eigenständiges...
30:41
Betrügen der KI? Wir haben da einen kleinen Wettbewerbsvorteil, was das angeht.
30:47
Dadurch, dass wir keine eigenen Modelle von Grund auf nähern.
30:51
Zumindest nicht in dieser Größe. Da machen wir kein komplettes Pre-Training.
30:55
Wir arbeiten auf Open-Wade und Open-Source-Basis. Das heißt,
30:58
ein Großteil davon ist schon getan.
31:00
Man weiß aus der Open-Source und Open-Wade kommuniziert schon ein Großteil der,
31:05
Tricks oder Missalignments.
31:07
Und dann kann man drüber arbeiten. Das heißt, was Sie haben,
31:10
Entschuldigung, Nur damit wir das auch verstehen, Open Weight heißt im Prinzip,
31:13
das sind Modelle, die schon fertig sind, die schon trainiert sind,
31:18
die man runterladen kann.
31:19
Und diese Modelle, die kommen jetzt in Ihrem Fall, die können aber auch aus
31:22
China oder auch aus den USA kommen.
31:24
Dann laden Sie diese Modelle herunter und weil Sie ja sagen,
31:28
Sie wollen die Abhängigkeit verringern, Sie wollen eine europäische Alternative,
31:33
anbieten, heißt das in Ihrem Fall, Sie lassen diese Modelle auf europäischen
31:37
Servern laufen. Ganz genau.
31:39
Also man könnte es in einem Beispiel, ich bestelle mir einen Motor für mein
31:43
Auto und verschiedene Autoteile aus allen Ländern der Welt und die passe ich dann an.
31:48
Manchmal nehme ich einen Motor aus. Also der Tesla oder der BYD,
31:52
der aber in der europäischen Garage steht. Ja, der dann angepasst wird.
31:57
Also ein chinesisches Auto, die gleiche Form von einem zum Beispiel dem Xiaomi-Auto,
32:02
was rausgebracht wurde 2025, wenn ich richtig erinnere, läuft nicht in der gleichen
32:05
Konfiguration, wie wir eben.
32:07
Weil wir hier ganz viel strengere Auflagen regeln.
32:10
Und wie passen unsere Modelle dementsprechend darauf? Ich verstehe es nicht ganz.
32:17
Das heißt, sie übernehmen eventuell irgendwas aus China und den USA,
32:20
aber dann gucken sie genau rein und finden irgendwelche...
32:26
Fehler, Probleme, Dinge, die Sie hier für Europa nicht für richtig erachten,
32:30
ich mache es jetzt einfach, löschen Sie und machen irgendwas Neues dann da rein. Vereinfacht gesagt.
32:35
Mal so übersetzt für alle, die weniger Ahnung haben als Sie beide. Ganz genau.
32:41
Das machen wir ganz absichtlich, weil ich nicht das Kapital von mehreren Milliarden
32:45
Euro habe, um jetzt einen großen Pre-Trend zu machen.
32:49
Was ganz wichtig ist, jedes Jahr verdreifacht sich ungefähr das Kapital,
32:54
all das benötigt wird, um Frontier-Modelle zu verdreifen. Das heißt,
32:59
es ist neunmal so viel Kapital braucht man als vor zwei Jahren.
33:04
Das ist dieser exponentielle Wachstum. Man muss auch ganz klar verstehen,
33:08
das ist ganz wichtig zu erwähnen für Zuhörer und Zuhörerinnen,
33:11
OpenAI und diese Labs wollten nie was anderes als damals Artificial General Intelligence.
33:19
Denen ging es nie darum, ein lustiges Chatbot zu veröffentlichen,
33:24
mit dem wir arbeiten. Oder einen Coding Agent, mit dem dann ganz viel AI-Slog
33:29
oder Goodsorten geschrieben.
33:32
Es ging von Anfang an darum, AGI zu bauen. Das hat Europa auch ein bisschen verpasst.
33:37
Abseits von dem meiner Meinung nach besten Research Lab Deakmine, das unter Google steht,
33:43
Es gab es wenige Labs hier in Europa, die auch von Anfang an die Ambitionen
33:48
des Kapitals und die Rechenleistungen auf den Tisch gelegt haben,
33:51
mit der Ambition AGI zu tun.
33:54
Also eine komplette Unabhängigkeit würde ja dann bedeuten, man bräuchte eben
33:59
auch diese sehr leistungsstarken europäischen Modelle.
34:03
Das französische Unternehmen Mistral versucht ja diesen Weg zu gehen,
34:08
aber da sagen Sie, das wird nicht möglich sein, da sind wir zu spät,
34:12
da haben wir nicht das Kapital, da fehlt uns die Rechenleistung und die Möglichkeit zum Skalieren.
34:18
Nein, glaube ich nicht.
34:20
Wir haben das Kapital, wir haben diese Länder und wir haben theoretisch auch die Rechenleistung.
34:24
In dieser Architektur und in diesem Zeitpunkt des Rennens ist es einfach sehr
34:28
unwirtschaftlich für den Kapitalmarkt, wenn ich das so sagen darf,
34:33
in solche Unternehmen zu investieren,
34:34
die so eine Ambition mit dieser Transformer-Technologie haben.
34:38
Ich bin davon überzeugt, dass wir Technologien und Architekturen und neue Innovationen
34:42
finden, die das sehr viel effizienter machen werden, auch für Europa.
34:48
Darf ich einen Kommentar dazu geben? Ich stimme zu, dass es extrem wichtig ist, dass Europa.
34:59
Zugriff auf Frontier-Modelle hat, also die besten Modelle und die Diskrepanz
35:04
zwischen der Handvoll der besten Modelle und allen anderen, auch zu Mistral, sehr groß.
35:11
Und dieser Abstand wird sich vermutlich noch vergrößern. Und es gibt zwei Möglichkeiten.
35:16
Entweder wir versuchen selber, so einen Entwickler, einen europäischen Entwickler
35:20
hochzuziehen, der tatsächlich mit OpenA1 DeepMind und Anthropik konkurrieren kann.
35:24
Oder wir versuchen sicherzustellen, dass wir Zugang zu den besten Modellen haben, die alle in den USA sind.
35:31
Und man kann dieses Szenario, so kann man einen europäischen Champion hochzuziehen,
35:35
durchaus ernsthaft in Erwägung ziehen.
35:37
Aber wie Sie eben richtig gesagt haben, das ist extrem teuer.
35:41
Und es gibt die Sorge, dass das eben nicht erfolgreich sein wird.
35:45
Also wir haben zum Beispiel ja Meta, die das auch versuchen und die seit Jahren
35:50
immer ein bisschen hinter der Spitze zurückliegen, obwohl sie wahnsinnig viel
35:54
Geld haben und obwohl sie wahnsinnig viel Rechenleistung haben.
35:57
Das heißt, es kann sein, dass man hier mehrere hundert Milliarden Euro investiert
36:01
und am Ende trotzdem nur einen dritten Platz hat. Und Mete ist ein wunderbares
36:04
Beispiel, weil sie haben es trotzdem geschafft, vor allem mit ihrem Muse 1.3 Modell.
36:09
Es ist durchaus alles Frontier Qualität und sie haben, da bin ich mir jetzt
36:14
100% sicher, sehr von der Open-Wade und Open-Source-Kommunikation gebraucht gemacht.
36:18
Und das ist auch quasi die Wette, die ich als Unternehmer oder Start-up.
36:22
Liege. Dass wir in Europa können das genauso. Es ist nicht einfach und es wird
36:27
auch nicht irgendwie, also wie sagt man, es wird einfach nicht einfach,
36:31
100 Prozent, es wird sehr schwierig.
36:32
Wir müssen uns einfach einigstehen, dass wir einfach Geld nachgelassen haben
36:35
und dafür zahlen müssen in viel mehr Arbeit, viel mehr neue Innovationen und
36:39
teilweise viel mehr Geld, europäische Standards.
36:42
Aber meine Wette ist und bleibt, dass wir nicht einfach nur Zugang zu chinesischen
36:47
Modellen oder amerikanischen Modellen haben.
36:50
Mein Zugang ist 100 Prozent. Also für mich passt das gerade nicht ganz zusammen.
36:55
Auf der einen Seite sagen Sie beides, es ist alles in einer rasenden Geschwindigkeit,
37:00
man braucht unfassbar viel Geld.
37:04
Und gleichzeitig kann Europa es aber doch noch schaffen? Also die schon lange
37:08
geschlafen haben, auch in anderen Bereichen?
37:11
Meine Perspektive darauf ist, ich bin skeptisch, dass Europa einen europäischen
37:15
Champion hochziehen kann.
37:17
Ich bin mir nicht sicher, ob es strategisch eine gute Entscheidung ist.
37:21
Ich glaube, die Risiken sind sehr hoch.
37:24
Ich glaube, Europa muss aber alles daran setzen, Zugang zu den besten Modellen
37:28
zu bekommen, auch sicher.
37:30
Ich würde gerne noch drauf blicken, wie sich die Politik und politische Entscheiderinnen
37:35
und Entscheider gerade mit diesem Thema auseinandersetzen.
37:39
Der Bundesaußenminister Johann Wadephul hat jetzt gerade vor ein paar Tagen
37:43
vor den Vereinten Nationen einen sehr drastischen Vergleich gewählt.
37:49
Ladies and gentlemen, imagine if nuclear weapons were developed by private companies,
37:56
if stockpiles were located on company grounds and launch codes locked away,
38:03
in a safe in a CEO's office.
38:07
It's a disturbing thought. Musik Also es sei ein verstörender Gedanke.
38:12
Man soll sich vorstellen, Atomwaffen würden von privaten Unternehmen entwickelt
38:17
und die Abschusscodes lägen im Safe eines CEOs.
38:21
Halten Sie den Vergleich für treffend? Ich halte den Vergleich insofern als
38:27
Treffen, dass das KI durchaus eine extrem einflussreiche Technologie ist.
38:35
Und ich weiß nicht, ob jetzt der Nuklearvergleich irgendwie in Beteil passt
38:38
oder ob der irgendwie eher hinkt.
38:40
Aber so von der Größenordnung verstehe ich, worauf der Vergleich hinaus möchte.
38:46
Der Vergleich trifft, dass die Macht über diese Technologie in den Händen weniger
38:52
Unternehmen und auch weniger Leiter innerhalb dieser Unternehmen liegt.
38:56
Und das ist in der Tat ein verstörender Gedanke.
39:00
Ja und einer der wenigen Hände, in denen da sehr viel Macht liegt,
39:05
ist sicherlich der US-Präsident Donald Trump, inklusive natürlich der CEOs,
39:11
von denen die meisten aus den USA kommen.
39:14
Und die haben sich ja diese Woche, Anfang der Woche getroffen in,
39:19
Washington und haben sozusagen eine Art Sicherheitserklärung,
39:25
die aber nicht bindend ist, sondern die sozusagen auf einer moralischen Verpflichtung
39:29
basiert unterschrieben.
39:32
Das heißt, Donald Trump hat im Prinzip gesagt,
39:36
naja, aber es würde ja den Unternehmen selber schaden, wenn da was schief gehen
39:41
sollte und deswegen werden die
39:44
das hinbekommen und die würden sich schon gegenseitig auch kontrollieren.
39:48
Also Selbstkontrolle, keine große staatliche Regulierung.
39:53
Schafft man es damit? Ich glaube, wir haben in den vergangenen Jahren sehr viele
39:58
Anstrengungen von Selbstregulierung gesehen.
40:02
Ich glaube, die aktuellen Zwischenfälle zeugen so ein bisschen davon,
40:06
dass es ja anscheinend nicht reicht.
40:10
Wir sehen ständig schöne Absichtserklärungen, aber ob dann am Ende tatsächlich was passiert,
40:18
steht dann auf einem anderen Blatt. Das Problem ist, dass wenn man tatsächlich
40:24
in dieser Situation ist, dass der Wettbewerbsdruck extrem hoch ist,
40:29
und gewisser Druck auch von politischer Seite in den USA herrscht,
40:34
schneller zu sein und besser zu sein als chinesische Konkurrenten,
40:39
dann ist man durchaus gewillt, Abkürzungen zu nehmen.
40:45
Und die amerikanische Regierung ist
40:50
aktuell nicht gewillt, ernsthaft Sicherheitsvorkehrungen durchzusetzen.
40:58
Und gute Maßnahmen, die wir sonst auf der Welt haben, zum Beispiel in Europa,
41:03
haben dann auch nur begrenzten Einfluss.
41:05
Ich glaube, es wird irgendwann, oder es ist erforderlich, dass es staatliche
41:09
Interventionen gibt, dass es Regulierungen gibt.
41:12
Ich glaube nicht, dass reine Selbstregulierung am Ende ausreichen wird.
41:18
Also dann bräuchte es ja quasi so eine internationale Regelung.
41:22
Und mir fällt es tatsächlich schwer daran zu glauben, über die USA haben wir
41:27
jetzt gesprochen, dass China da mitmachen würde. Macht ja schon bei anderen Sachen nicht mit.
41:33
Ich glaube schon, dass niemand ein ernsthaftes Interesse daran hat,
41:37
so eine unkontrollierbare Superintelligenz
41:40
zu entwickeln, die dann völlig lost ist. Auch China nicht.
41:43
Dass die sagen, ja Leute hier, wir machen mit und wir lassen uns regulieren
41:47
und hier sind unsere Bücher, das fällt mir ehrlich gesagt ein bisschen schwer, mir das vorzustellen.
41:54
Das sehe ich auch so und das ist ja gerade das Besorgniserregende,
41:57
dass die Maßnahmen, die wir eigentlich bräuchten, aktuell nicht am Tisch liegen.
42:03
Aber wer müsste sie denn überhaupt, wer soll das denn sozusagen fordern und
42:08
umsetzen und mit irgendwelchen vielleicht Strafen ums Eck kommen,
42:11
international, wie soll das gehen? Ich glaube, die wichtigsten Akteure sind die USA und China.
42:17
Und dann braucht es natürlich die internationale Gemeinschaft,
42:20
um bindende Abkommen, die es möglicherweise irgendwann geben könnte,
42:24
auch tatsächlich zu überwachen.
42:27
Wir bräuchten Verifikationstechnologien, dass tatsächlich die Unternehmen sich.
42:33
An mögliche internationalen Abkommen dann auch wirklich halten.
42:36
Das heißt, es ist nicht so, dass es ausschließlich die USA und China sind,
42:40
die hier eine Rolle zu spielen haben.
42:41
Ich glaube, die internationale Gemeinschaft, vor allem so Mittelmächte wie Nationen
42:46
in Europa, aber auch Kanada und Japan, können hier eine ganz erhebliche Rolle
42:50
auch spielen. Aber am Ende sind die USA und China die Hauptakteure.
42:55
Matteo, Sie wollten, glaube ich, auch was sagen. Ich entschuldige mich,
42:58
wenn ich zu Ihnen bin in meinen Aussagen jetzt.
43:04
Ich glaube, die EU und die Europäische Union ist allein, weil es ein so großer
43:08
Absatzmarkt ist, eine Hauptakteure. was die Kontrolle angeht.
43:12
Was die Entwicklung angeht, natürlich gerade nicht. Das wissen wir alle.
43:16
Aber wir reden von der Gefahr von KI, wir reden davon, wie wir sie regulieren
43:20
möchten oder kontrollieren möchten und dann fällt uns auf, es kennen nur so
43:23
wenige Menschen über, kontrollieren KI.
43:25
Und das sind zufällig dann halt auch meistens Männer, die sich auch entwickeln.
43:32
Aber in Europa soll es zu schwierig sein. Oder so schwierig vielleicht oder
43:36
so angsteinflüssig, dass wir es vielleicht gar nicht mal probieren.
43:39
Wir reden schon von Regulierung, wir reden davon, dass eigentlich nur China
43:42
und Amerika die Hauptmächte sind, aber in Europa generieren sie so viele Umsätze
43:47
und nicht nur mit Kali. Und womit wird Kali finanziert?
43:51
Das Geld kommt ja nicht einfach so aus der Luft.
43:54
Vor allem die Tech-Giganten Meta und Google finanzieren die Kali-Entwicklung,
43:58
heißt das eigentlich nur aus dem Cashflow, wenn ich mich richtig erinnere.
44:01
Sie haben so wenig Kapital aufgenommen.
44:08
Und dass dieses Großteil dieses Geld kommt aus der Welt, wie ich schon mal,
44:12
Und was ich ganz wichtig sagen möchte, vor allem für die Zuhörer und Zuhörerinnen,
44:17
wenn wir darüber reden wollen, was wir als Kollektiv, sagen wir Europa oder
44:22
die Welt, machen wollen, mit KI und die wir sie regulieren möchten,
44:25
das steht gerade zur Antithese mit dem, was die Frontierentwickler machen.
44:30
Weil die Frontierentwicklung, ich möchte wiederholen, OpenAI wurde gegründet
44:34
und Superintelligence, Artificial General Intelligence, Superintelligenz.
44:38
Das ist in der Institut, man war schon immer so, unter den verschiedensten Hüten,
44:42
die sie getragen haben. Deren Ziel ist Superintelligenz.
44:45
Worüber wir reden sollten, ist, möchten wir Menschen so etwas wie Superintelligenz.
44:49
Und das ist dieses, in diesem Limbo, in dem wir gerade sind.
44:52
Wir als Kollektiv wissen noch gar nicht, ob wir Superintelligenz machen möchten.
44:55
Aber die Leute, die es gerade machen können, möchten Superintelligenz.
44:58
Und das ist die Differenz, die wir hier sehen. Und die Geschwindigkeit ist das größte Problem daran.
45:03
Und ich bin der Meinung, dass wir schon in einem so unglaublichen Wettbewerbsrennen
45:07
sind, das ist schon zu spät. Wir können es im Nachhinein irgendwie hinbiegen,
45:11
aber dass wir China und Amerika und Europa auf einen Tisch bekommen einmal,
45:15
das hätten wir vorher machen müssen.
45:17
Das hätten wir weit vorher machen müssen. Sie haben eben gesagt,
45:20
aus einer patriotischen europäischen Perspektive.
45:22
Ich möchte auch an der Stelle einmal sagen, es ist ja nicht so,
45:25
dass Europa gar nichts machen kann.
45:26
Also wir haben ja durchaus einen sehr guten Regelungsrahmen.
45:30
Und seit August können wir auch einige dieser Regeln auch durchsetzen mit Bußgeldern und so weiter.
45:37
Und durchaus kann die Europäische Kommission hier Einfluss auf die Entwickler nehmen.
45:42
Ich will nur nicht den Eindruck vermitteln, dass Europa hier mit den USA und
45:48
China auf Augenhöhe diskutiert oder einen ähnlich großen Einfluss hat.
45:52
Ich glaube, das wäre illusorisch.
45:54
Damit möchte ich aber nicht sagen, dass Europa nicht unerheblichen Einfluss hat.
45:59
Helene, kannst du jetzt nach dieser Folge besser oder schlechter schlafen?
46:02
Ich wollte tatsächlich genau darauf nochmal zurückkommen, weil ja eigentlich
46:05
sie beide auch gesagt haben, du ja auch, Dunja, dass ihr noch gut und sie noch gut schlafen können.
46:11
Und man aber jetzt doch das Gefühl hat, das ist eine Krise, die einen echt innerhalb
46:15
von so kurzer Zeit eingeholt hat und auch so ein bisschen dabei ist zu überrollen.
46:21
Und das bei den ganzen anderen Krisen, die wir ja sowieso schon haben.
46:25
Ich frage mich da, gibt es denn irgendetwas? Und Herr Rosoli,
46:28
Sie haben ja auch immer unsere Hörerinnen und Hörer angesprochen.
46:30
Das hat mir gut gefallen. Gibt es irgendwas, was man...
46:35
Denen mitgeben kann oder was man uns allen mitgeben kann, was man tun kann,
46:39
damit man sich auch nicht so ganz ohnmächtig fühlt und die Gewissheit hat,
46:43
die böse Gewissheit eigentlich, dass es doch mal wieder in den Händen von ganz,
46:46
ganz wenigen zu sein scheint.
46:50
Ich würde anfangen damit, ich persönlich kann gut schlafen gegenüber der Angst
46:57
dieser ominösen Suchtkredien.
46:59
Ich kann überhaupt nicht gut schlafen mit dem Gedanken, was man jetzt schon
47:02
mit dieser Technologie machen kann.
47:04
Und ich denke da sehr an die Cybersecurity-Community und die super Privatsphären-Community.
47:10
Wir müssen viel mehr darauf Acht legen, wo wir unsere Daten hinschicken und
47:14
was mit diesen Daten gemacht werden. Weil die KI, die wir jetzt haben,
47:18
diese Large Language-Modelle in der Transformer-Architecture,
47:21
sie haben uns extrem gut darin zu hacken.
47:24
Und mit hacken meine ich nicht nur Cybersysteme.
47:27
Sie können alle Arten von Systemen hacken. Finanz-Kurzgangs-Hacken.
47:32
Sie können rechtliche Rahmen erheben. Sie können irgendwelche Interpretationsspielräume
47:36
erheben. Ich möchte einen Genie-Effekt erinnern.
47:39
Da mache ich mir durchaus Angst. Und ich glaube, einer der wichtigsten Schritte
47:42
dafür ist, sich tatsächlich mal mit gutem Datenschutz beschäftigen.
47:48
Also nicht, ist alles korrekt dokumentiert und wissen, wo es hingeht,
47:51
sondern möchten wir überhaupt, dass es dort rum geht.
47:54
Klassischer Fall zum Beispiel in einer großen Welle ist hier.
47:58
Hier in Österreich wird, ich weiß nicht, was der Staat ist gerade,
48:01
ein Google-Rechnensentrum in Oberösterreich gebaut.
48:05
Warum ist es ein Google-Rechnensentrum?
48:08
Warum ist das nicht ein europäisches Rechensamt, das hier in Österreich gebaut wird?
48:12
Und solche Gedanken müssen wir uns halt ehrlich stellen. Und ich glaube nicht,
48:15
dass wir da hilflos sind, weil ich eben an die teilweise sehr illusorische Macht der EU glaube.
48:22
Weil jedes große Silicon Valley Startup, auch wir als österreichisches Startup,
48:27
wenn die Konsumenten und Konsumentinnen etwas fordern und wollen,
48:29
dann wird das geliefert.
48:31
Und wenn sie nicht mehr wollen, dass mit diesen Daten trainiert wird,
48:33
wenn sie nicht mehr wollen, dass solche Systeme entwickelt werden,
48:35
Und wenn sie nicht mehr wollen, mit diesen Daten alles und jedes soziales Profil
48:39
und jeder Data Broker connected wird, dann wird es auch nicht mehr passieren.
48:45
Ich glaube an die illusorische Macht, das ist auf jeden Fall mein Satz des Tages.
48:50
Der EU und auch der Konsumenten und der Konsumentinnen. Ganz genau.
48:54
Herr Freund, haben Sie da auch
48:55
noch eine Abschlussidee, wie man nicht verzagen kann bei diesem Thema?
49:00
Ich glaube, einerseits ist es wichtig, dass wir ehrlich mit der Situation umgehen
49:04
und auch die Öffentlichkeit gut informieren, wie denn der aktuelle Stand ist
49:09
und wie schnell die Entwicklungen voranschreiten.
49:12
Ich glaube aber nicht.
49:16
Dass die Katastrophe unabwendbar ist. Ich glaube, es gibt durchaus Dinge,
49:20
die wir machen können und ich glaube, Deutschland und Europa sind in einer guten
49:23
Position, doch noch etwas zu machen.
49:26
Ich glaube, wir können das nicht alleine machen. Ich glaube,
49:28
es ist wichtig, dass europäische Nationen sich hier gut abstimmen.
49:31
Und ich glaube auch, es ist extrem wichtig, sich mit anderen demokratischen
49:34
Partnern, vor allem mit Kanada, mit der UK, mit Japan abzustimmen und als ein geschlossener Block.
49:43
In diesem Zweikampf von China und den USA versuchen, irgendwie doch noch auf
49:48
das Gute zu drängen. Das will ich unterscheiden. Ich auch.
49:54
Dann sage ich an der Stelle ganz herzlichen Dank in die Runde.
49:59
Wie behalten wir die Kontrolle über KI?
50:03
Wie groß ist die Gefahr, die von einer ominösen Super-KI wirklich ausgeht?
50:07
Darüber konnten wir heute sprechen mit Jonas Freund vom Center for the Governance
50:12
of AI, der uns aus Washington zugeschaltet war und mit Matteo Rosolli,
50:17
der uns aus Wien zugeschaltet war, dem Gründer eines europäischen KI-Startups.
50:22
Ganz herzlichen Dank Ihnen beiden. Dankeschön.
50:25
Vielen Dank für die Einladung. Und vielen Dank auch an dich, Dunja.
50:29
Ich will vielleicht einmal noch den Hinweis machen für alle,
50:31
die jetzt denken, ihr habt nur negativ und so Horrorszenarien.
50:35
Also es ist nicht der erste Podcast vom Heute-Journal, den wir zu dem Thema
50:39
machen. Und wir haben echt auch schon viel über Chancen und Möglichkeiten und
50:43
das Positive gesprochen. Also das darf man ja nicht dabei vergessen.
50:47
Und am Ende war es ja auch gar nicht so ein Horrorszenario.
50:50
Es gab ja auch ein paar Lichtblicke und positive Gedanken.
50:55
Ganz herzlichen Dank auch an alle da draußen, die zugehört haben.
50:58
Wir freuen uns total über ein Abo, über Feedback als Kommentar oder per Mail
51:04
an heutejournal-podcast.zdf.de.
51:06
Danke und bis nächste Woche.