Latest / Coding Buddies | Tech & Dev-Mindset / #116 LLMs hacken: Ein Prompt reicht aus

Transcript

#116 LLMs hacken: Ein Prompt reicht aus · Coding Buddies | Tech & Dev-Mindset

0:00
Da hab ich auch schnell Angst, dass da irgendwie Leute vor der
0:02
Tür. Stehen, sagen Hallo sind die
0:06
Fari ja ihr letzter prompt Song Coding Buddies Dein Podcast rund
0:13
um Softwareentwicklung und aktueller Tech News.
0:16
Herzlich Willkommen. Moin Moin und herzlich
0:30
Willkommen zur neuen Folge des Coding Buddies Podcast.
0:33
Schön, dass du wieder eingeschaltet hast und.
0:36
Auch wieder dabei, wie soll es anders sein, deine Gastgeber,
0:38
meine Wenigkeit, der Tino und mir gegenüber.
0:41
Durch Monitor seh ich ihn, der fantastische Fabi, den ich
0:44
begrüßen mag, fabi, was geht ab? Was geht ab, Tino?
0:50
Ich hab zuerst gefragt, was geht ab.
0:54
Ja, ich hab mir irgendwie gerade ein bisschen wehgetan hier.
0:56
Ich hab mich irgendwie so Quatsch mit so einer Zange
0:58
eingeklemmt und jetzt hab ich, so kennst du das so, so am
1:01
Finger so ne Blutblase die aber okay die ist.
1:04
Krass, weil das denk dran du bist Softwareentwickler, ne,
1:09
also so Werkzeug weißt du, es hat ja immer so.
1:12
Es gibt Gründe warum du sonst mit Maus und Tastatur arbeitest.
1:17
Ja, das sind einfach nicht die Hände dafür, die zarten
1:20
Entwickler in die. Die zarten Entwickler in Ah nee,
1:23
keine Vorurteile hier, es hat nur gerade so gut gepasst.
1:28
Ja, Fabi, wir haben n ganz cooles Thema heute, aber ich
1:32
möchte dich doch noch um eine Sache vorweg bitten.
1:35
Wir machen ja nicht so viel Werbung, aber so n ganz bisschen
1:37
machen wir es jetzt deswegen kurze Werbung fabi, Hau doch mal
1:40
raus. Ja, Tino, ganz genau.
1:42
Und zwar hatten wir bei unserem Flappy bei, die
1:44
Programmierwettbewerb hatten wir 2 Tickets verlost für den
1:48
Gewinner beziehungsweise die Gewinnerin.
1:50
Und. Herzlichen Glückwunsch noch mal
1:51
Herzlichen Glückwunsch. Aber damit ihr liebe Türen,
1:54
liebe Türer, alle da draußen nicht leer ausgeht und sagt EY,
1:57
wenn ihr sagt, Ich möchte gerne, aber auf die Rea Developer
1:59
gehen, die ist ja vom 9. Juli bis zum 11.
2:03
Juli und und zwar in Berlin, wenn ihr da hingehen wollt und.
2:08
Noch ein Ticket braucht und vielleicht ein bisschen Rabatt
2:10
wollt, dann könnt ihr mit Coding Buddies 10 einfach ganz
2:13
entspannt durch ein Ticket kaufen und kriegt 10% Rabatt
2:15
dafür. Also so viel können wir auf
2:18
jeden Fall können wir euch unterstützen und helfen und
2:22
genau damit würde ich sagen, Werbung endet Tino und lass doch
2:24
mal rein Werbung ändern. Was machen wir denn genau?
2:29
Du hattest mir nen Artikel geschickt, den ich ziemlich
2:32
interessant fand und ich geh jetzt auch mal davon aus, dass
2:35
du ihn auch gelesen hast und nicht den du mir einfach nur
2:38
geschickt hast. Und da ging es ja im Prinzip
2:42
wieder einmal um KI und Large Language Models.
2:47
Es ist ja allgegenwärtig und wir haben ja auch schon mit n Paar
2:50
aus der Community gesprochen, die meinten so ah dieses ganze
2:54
KI Thema, es wird langsam echt nervig und es geht nur noch um
2:57
KI. Und wir sind da ja so n bisschen
3:00
ähnlich unterwegs, sag ich mal, dass wir denken, ey man kann
3:02
nicht nur noch über KI erzählen, aber den Artikel fand ich
3:06
wirklich spannend. Deswegen haben wir auch schon
3:09
mal vielen Dank für Abi, fürs Weiterleiten und mit dem möchte
3:11
ich heute mal über den möchte ich mit dir heute sprechen und
3:14
deswegen würde ich dich bitten leid doch mal so n bisschen gib
3:17
mal so n kleinen Teaser. Für das Thema also wir reden
3:19
doch über KI. Aber aber diesmal ein bisschen
3:23
anders. Und zwar fand ich das auch super
3:25
interessant, also wenn man sich jetzt vorstellt, also eine KI,
3:28
so ein Large Language Model, da haut man ja irgendwas rein, man
3:31
stellt Fragen und man kann ja eigentlich nahezu alles mögliche
3:35
diese KI fragen und man kriegt irgendwie eine Antwort.
3:38
Es gibt aber ein paar Begrenzungen, also wenn du jetzt
3:40
zum Beispiel eine ki fragst, sag mir mal bitte wie man eine
3:44
Biowaffe herstellt, so dann wird sie dir nicht antworten.
3:48
Im Normalfall aber, und jetzt ist das kleine Gedankenspiel,
3:52
was ist, wenn dir die Ki doch antwortet und dir eine korrekte
3:55
Antwort auf diese Frage stellt? Auf eine korrekte Antwort auf
3:59
diese Frage gibt so, und das ist nämlich genau der Punkt oder der
4:06
der Knackpunkt des Artikels, und zwar geht es um eine
4:10
Angriffstechnik, also da sind wir ja schon wieder im Cyber
4:13
Security Bereich, so könnte man schon fast sagen.
4:17
Es da wurde ne Angriffstechnik entwickelt und zwar ne wirklich
4:20
relativ universelle Angriffstechnik, die wirklich zu
4:23
fast allen großen generativen KI Modellen oder bei denen
4:29
funktioniert. Und damit kannst du halt diese
4:31
KIS überlisten um genau diese. Sag ich mal diese Informationen,
4:36
die eigentlich darauf, also diese diese Models, diese
4:39
Modelle werden ja darauf trainiert, dass sie dir nicht so
4:42
was geben wie zum Beispiel wie stelle ich eine Biowaffe her,
4:44
wie kann ich mir Drogen herstellen oder was auch immer,
4:46
sondern dieser Angriff, und der heißt Policy Pupertry Angriff
4:51
oder Attack, in dem Fall, der ist genauso aufgebaut, dass man
4:55
in der Lage ist, genau trotzdem über eine bestimmte oder eine
5:00
bestimmte Art von prompt diese Information trotzdem zu erlangen
5:03
und das finde ich richtig krass, aber.
5:05
Also das ist schon ne. Ich sag mal relativ alarmierende
5:08
Sicherheitslücke in den heutigen KI Systemen und da muss ich
5:12
sagen, das ist schon also des deswegen hat mich der Artikel
5:14
auch selber so geflasht, weil ich mir dachte OK Moment, das
5:18
kann ja gar nicht sein, geht ja gar nicht, aber das ist halt
5:22
krass. Ja, du hast ja eigentlich schon
5:24
n gutes Beispiel gebracht, sowas wie Biowaffen herstellen oder
5:27
Drogen, das sind ja. Prompts, die sozusagen
5:31
klassifiziert sind als harmful sag ich mal und quasi abgeblockt
5:36
werden, ne, dass du dann halt sag ich mal ne nette Antwort vom
5:40
Modell bekommst, wie ja über das Thema darf ich leider nicht mit
5:43
dir sprechen, oder? Wenn du jetzt beispielsweise
5:47
irgendwie therapievorschläge haben möchtest, ne auch so im
5:50
medizinischen Bereich findet das ja auch statt.
5:53
Ne, dass du sagst ey ich hab das und das wie kann ich das jetzt
5:55
selbst therapieren, dass denn so was zurückkommt wie.
6:00
Du, ich bin kein Arzt. Bitte such n Arzt auf dafür.
6:02
Ich kann dir da jetzt keine Vorschläge geben und was du
6:07
meintest mit dieser Policy puberty kann ich jetzt halt
6:09
wirklich schaffen mit einfachen Mitteln, da kommen wir ja gleich
6:12
noch drauf, quasi fast alle großen Modelle und bekannten
6:16
Modelle, also jetzt auch nicht nur GPT zum Beispiel, sondern
6:20
auch Deep Seek war damit gelistet im Artikel, weil das ja
6:24
auch so quasi gehypt wurde. Ja genau, und du bist also im
6:29
Prinzip auf einer Ebene unterwegs, wo es fast bei allen
6:32
funktioniert und das fand ich halt auch ziemlich krass und
6:37
dieses Limement. Dieser Modelle ne, dass du sagst
6:42
OK, es gibt Richtlinien und es gibt Grenzen wo geantwortet wird
6:47
oder nicht, die ja denn quasi über so Konfiguration vorgegeben
6:52
sind. Das hat ja ne Riesenrelevanz ja
6:54
also sei es IT Sicherheit auch Schutz für die Gesellschaft.
6:59
Politische Relevanz oder? Jetzt, wie ich gerade meinte,
7:01
medizinische auch ne, also auch so n bisschen aus Selbstschutz
7:04
heraus und das wird halt jetzt alles so n bisschen in Frage
7:09
gestellt. Wie sicher ist denn das Ganze
7:11
durch diesen Artikel, der quasi ne sehr simple Angriffstechnik
7:15
gezeigt hat und über die möchten wir heute auch einfach direkt
7:18
reden, ne, also es soll jetzt keine Befürwortung sein, Ey
7:21
Leute nutzt das sondern einfach nur aufzeigen.
7:24
Welche unglaublichen Lücken in der Sicherheit da vorhanden sein
7:28
können? Ne, weil es ja halt wie gesagt
7:31
allgegenwärtig ist. Und passend dazu hab ich auch
7:34
die Woche n Interview gesehen. Muss ich dir einfach mal kurz
7:38
vorhin erzählen, weil ich es so spannend finde festgestellt
7:43
wurde, dass viele Menschen mittlerweile sich eher einer.
7:48
In Anführungsstrichen KI sage ich mal anvertrauen, also kann
7:51
man ja so sagen, also lieber sowas wie Chat, GPT aufsuchen
7:54
und da Hilfe suchen als sich einem echt Menschen
7:57
anzuvertrauen, sei es also beispielhaft wurde da
8:01
medizinische Gründe genannt, sowas wie ich hab die und die
8:04
Symptome, was habe ich und wie kann ich das jetzt selbst
8:07
behandeln ich möchte jetzt nicht zum Arzt gehen damit oder auch
8:11
psychologische Gründe ne ich wie was kann ich gegen Höhenangst
8:16
tun, was kann ich gegen Depression tun und so.
8:18
Und das find ich halt krass, dass die Leute mittlerweile an
8:20
einem Punkt sind, wo sie sagen, ich möchte das gar nicht nach
8:23
außen tragen. Das soll keiner mitkriegen.
8:25
Ich vertrau mich jetzt nur dieser KI sozusagen an ne und
8:29
auch genau deswegen gibt es ja so Richtlinien sowas wie bitte
8:34
such n Arzt auf, das klingt ernst.
8:36
Weißt du, dass du so ne Antwort kriegst?
8:38
Und wenn ich das jetzt umgehen kann und dann trotzdem irgendwie
8:41
meinen gewünschten meine gewünschten Antworten bekomme,
8:44
finde ich, ist das halt äußerst kritisch.
8:46
Am Ende ja. Das ist sehr, sehr kritisch.
8:48
Also nicht nur aus.it Sicherheit, sondern auch, ich
8:51
sag mal, es hat ja auch ne gewisse Relevanz für die Politik
8:53
und die Gesellschaft am Ende. Was ich aber ganz normal ich, da
8:57
muss ich noch mal ganz kurz drauf eingehen, weil ich finde
8:58
es so interessant. Dass Menschen dann sich denken,
9:02
OK, pass auf, ich vertraue mich dieser KI an, aber nicht einem
9:05
Arzt oder einem Psychologen, beispielsweise wenn man davon
9:07
ausgeht, dass aber zum Beispiel wirklich ein Arzt und eine
9:10
Ärztin ja sozusagen oder auch eine Psychologe oder Psychologin
9:14
so eine Art Schweigepflicht haben und eine KI, also ich
9:18
meine, dahinter ist ein Unternehmen, die sammeln Daten,
9:21
muss man sich vielleicht auch vielleicht noch mal.
9:25
Mit einem zweiten Auge angucken, aber das ist n anderes Thema,
9:28
weil ich find das einfach gerade so spannend und das wollt ihr
9:30
einfach nur ganz kurz einbringen, weil das ist schon
9:32
ist schon crazy wie da dann die Wahrnehmung hinterher ist.
9:35
Ne. Ja, absolut.
9:38
Weil also ich glaube, der Grund ist, dass es in erster Reaktion
9:42
halt so wirkt, wie es ist, vertraulich und niemand kriegt
9:45
das mit ne, weil ich sitze ja jetzt zum Beispiel an meinem
9:48
Laptop oder so prompte da was und erhoffe mir irgendwie.
9:52
Gute Antworten also aus meiner Sicht gute Antworten.
9:55
Und wenn ich zum Arzt geh, ist das halt so n aktiver Schritt zu
9:58
sagen ich geh da jetzt hin und ich muss mir jetzt die Hilfe da
10:01
suchen und der oder diejenige Person weiß sofort Bescheid was
10:06
mit mir los ist. Sozusagen also jetzt nicht als
10:08
Diagnose, aber in dem Moment wo ich hingehe weiß ja der
10:11
gegenüber OK, der hat jetzt n Problem so ja und das können sie
10:15
quasi kaschieren damit und das find ich halt auch echt.
10:18
Ja das ist. Und dann der Punkt, wie du schon
10:21
sagst, dass da natürlich auch ganz schnell finanzielles
10:24
Interesse entstehen kann anhand der Daten und alles ist das denn
10:28
doch nicht so anonym, wie vielleicht manch einer denkt,
10:31
richtig? Aber deswegen ist es ja
10:33
eigentlich dann auch erst mal nicht so schlecht, wenn man dann
10:35
auch wirklich keine Antwort bekommt.
10:36
Aber, und das ist jetzt genau der Punkt mit dieser Attacke,
10:39
die wir beschrieben haben, geht es ja, und zwar muss man sich
10:43
das Ganze vorstellen, also was eigentlich oder ne was diese
10:45
policy pupertry Attack eigentlich ist.
10:48
Wir hatten ja eingangs das Beispiel genommen, dass man
10:51
vielleicht irgendwie eine Biowaffe zum Beispiel sagt Ey,
10:53
wie wie kann ich eine Biowaffe bauen oder so eine Biobombe oder
10:56
was auch immer und im Normalfall, wie du schon
10:58
meintest, sagt eine KI dann oder so ein Llm sagt, OK, das ist
11:02
eine Sache, darüber kann ich mit dir leider nicht sprechen, so,
11:06
und dann ist genau der Punkt, wie funktioniert jetzt diese
11:08
Attacke, wenn du jetzt zum Beispiel sagst, du kannst deine
11:10
Anfrage nehmen und die du verpackst diese Anfrage.
11:15
Dass sie so aussieht wie eine Anweisung im Stil einer
11:19
Systemkonfiguration? Ne, dann hast du genau diese,
11:23
diese Attacke, das heißt, die KI denkt das, was sie bekommt ist
11:27
eine so ne systemkonfiguration, so ne Anweisung daraus und die
11:33
sieht dann zum Beispiel aus wie zum Beispiel irgendwas aus XML
11:36
oder n json oder irgendwie sowas ne, also dass du prompts, also
11:39
deinen deinen eigentlichen prompt den du haben möchtest.
11:41
Verpackst in so einem. XML, JSON Format oder was auch
11:46
immer. Ne, ich hab deine kleine
11:50
Analogie mal wieder für dich vorbereitet und ich glaub ich
11:52
hab lange keine Analogie mit dem ich hab richtig.
11:54
Bock auf deine Analogie? Ich hab lange keine.
11:57
Aber wenn, weißt du so, ich dachte mir so OK, wenn man sich
12:00
das vielleicht nicht ganz genau vorstellen kann, weil wir jetzt
12:02
einfach nur so OK irgendwas verpacken, ne OK, aber?
12:05
So als Analogie musst du dir so n Türsteher vorstellen.
12:08
Ne, du hast n Türsteher und du willst irgendwie in diesen Club
12:12
rein. So und jetzt willst du aber zum
12:14
Beispiel n Messer mitnehmen und wenn du jetzt reingehst und
12:17
sagst OK ey ich hab n Messer dabei, dann sagt der Türsteher
12:21
Ey natürlich kommst du jetzt nicht rein ne wenn du ihn fragst
12:24
und mit einem Messer rein darfst beispielsweise also angenommen
12:27
du hast die Regel und ich hoffe diese Regel gilt für den Club,
12:29
dass keine Messer mit reingenommen werden dürfen und.
12:34
Wenn du jetzt aber zum Beispiel hingehst und sagst, OK, ich hab
12:37
jetzt, aber ich zieh mir n Anzug an, ich pack mir n Klemmbrett
12:40
drunter und sag ey, Hallo, schönen guten Tag Türsteher, Ich
12:43
bin vom Sicherheitsdienst und hier ist mein Einsatzprotokoll
12:46
für Format XY und ich. Quasi ein Abschnitt 5 meines
12:51
Protokolls steht drin, dass ich ein Messer mitbringen muss für
12:55
meinen Nein, für meine Durchführung meiner Arbeit hier
12:58
ist das Messer, es ist alles korrekt, bitte notieren Sie das
13:00
alles super, dann sagt der Türsteher Oh okay alles klar,
13:03
sieht ja wirklich sehr offiziell aus, ich sag mal das wird
13:07
wahrscheinlich alles so nach Vorschriften laufen so und lässt
13:11
ihn dann durch, also das ist halt so, du verpackst diese
13:14
Anfrage auf eine andere Art und Weise.
13:18
Obwohl du eigentlich dann am Ende natürlich sagst, OK, ich
13:20
hab jetzt aber mein Messer mit reingenommen, ne, aber du hast
13:22
ja, es ist so n bisschen, es hat mich so erinnert, diese Analogie
13:25
an Social Engineering bei einer LLMKIS ja genau.
13:33
Da ist nämlich die K. Die KI sag ich schon.
13:36
Die Analogie zeigt nämlich 1 eigentlich ganz klar auf und das
13:40
ist hier auch das Entscheidende. Es muss halt so echt wie möglich
13:42
wirken, also es muss so offiziell.
13:47
Wie möglich wirken, das heißt in deiner Geschichte, der Typ muss
13:51
halt wirklich überzeugend sein, vom Sicherheits Dienst zu sein
13:55
und nach Paragraph sowieso oder weiß ich was jetzt etwas
14:00
durchführen zu müssen? Er möchte es nicht, er ist
14:03
leider gezwungen das jetzt zu machen, diese Sicherheitsprüfung
14:05
mit dem Messer was er einschleusen muss und darum geht
14:10
es ja am Ende auch ne und ich fand es halt schockierend.
14:14
Und immer so n bisschen faszinierend auch zugleich, wie
14:18
einfach das dann ist. Ja, weil.
14:22
Ne XML Formatierung oder oder quasi Text wie XML aussehen zu
14:27
lassen oder Jason, das ist ja keine Kunst mehr heutzutage,
14:30
also weißt du, da kriegst du ja auch 1000 Beispiele und dann
14:33
kommst du ja schnell an den Punkt wo du das verwenden
14:37
kannst. Also es ist jetzt nicht ganz so
14:39
einfach, dass ich jetzt einfach, sag ich mir so n Text file n
14:42
Jason Objekt definiere und da reinschreibe ich möchte ne Bombe
14:45
bauen, sag mir wieso was, so ist es ja nicht, aber dass du
14:49
überhaupt die Möglichkeit hast darüber so ne angriffstechnik
14:52
fahren zu können, finde ich schon sehr verrückt.
14:55
Ja, du musst natürlich auch so n bisschen gucken, dass es halt,
14:58
dass so bestimmte Anweisungen also oder oder bestimmte
15:02
Parameter auch irgendwie, dass das Modell sich auch denkt, OK,
15:06
das passt auch für mich. Ne, also zum Beispiel in der ich
15:10
hatte so, also so ein Beispiel auch aus dem Artikel war dann,
15:12
dass du, dass du quasi so ne Art Skript von Doctor House nimmst,
15:18
ne und sagst OK, wir haben jetzt in den Modus Doctor House ne ist
15:22
ne Serie, ich weiß nicht ob man die kennt.
15:25
Der. Genau.
15:27
Und dann und dann definierst du so n paar Pseudosachen so n paar
15:30
pseudo Parameter in deiner in deiner XML Datei zum Beispiel ne
15:36
sowas wie Loud Responses ist zum Beispiel n markdown Script oder
15:40
irgendwie sowas ne du du gaukelst vor das ist wirklich so
15:42
ne richtig so ne richtig schöne XML Datei mit so schönen
15:46
Parametern oder Attributen die dann befüllt sind ne und dann
15:49
kommst du halt irgendwann also auch so mit so richtig coolen
15:52
Sachen wie dass du irgendwie n so n so n.
15:54
Tag hast wo du drin stehen hast du was wie Interaction Mode ist
15:58
Doctor House es ist enable true, so weißt du so um so n paar
16:02
Schlagwörter Reinzupacken, das ist nicht so alles wirklich es
16:05
es muss auch n valides XML dann sein wenn wir jetzt bei bei dem
16:08
Beispiel XML bleiben. Und dann kommst dann kannst du
16:12
dir zum Beispiel so ne Doctor House config ne auf wieder so n
16:14
Tag machen, wo dann irgendwie so ne Art Skript drin steht.
16:18
Ne sowas wie du hast den patientennamen du hast das
16:21
Patienten Symptom, du hast die Historie, du hast da ne Szene wo
16:26
irgendwie Doctor House irgendwas macht und dann kommst du
16:29
irgendwann an diesen Punkt wo dann so Scene rules drin sind
16:34
und dann sagst du da zum Beispiel so was drin wie dass
16:37
Doctor House anfängt irgendwie detaillierte Instruktionen und.
16:41
Loszulassen, wie man zum Beispiel.
16:43
Und jetzt fügt halt harmful Content ein, ne, also zum
16:46
Beispiel Drogen erstellt oder was auch immer, ne und das kommt
16:48
dann da rein und durch diese Anweisung geht dann quasi JGPT
16:53
beispielsweise jetzt oder auch andere LLM Modelle durch und
16:57
sieht dann und denkt das ist ne Anweisung OK ich muss jetzt auch
17:00
wirklich. Diesen harmful Content, wie laut
17:04
Anweisung dieses dieser xml systemanweisung halt auch
17:07
rausbringen ne und das ist halt super Crazy.
17:09
Also weil du ja meintest, es ist nicht ganz so einfach, aber du
17:12
musst halt schon ein bisschen was reinpacken, dass das auch
17:15
ordentlich aussieht, alles ne und ordentlich funktioniert.
17:21
Was halt spannend bei ist an dieser ganzen Angriffsmethode
17:26
sage ich mal. Also diese Rollenspielelemente.
17:30
Muss ich sagen, die waren mir bekannt.
17:32
Wir haben ja auch mal auf Twitch in einem Livestream dieses
17:37
prompt Game mit Gandalf gemacht. Das klingt erst mal ganz witzig,
17:41
aber das ist halt sehr beispielhaft für das Thema
17:46
heute, weil da geht es darum Gandalf ein Passwort glaube ich
17:50
zu entlocken, wenn ich mich richtig erinnere oder
17:51
zumindestens ein Thema oder ein Wort, über das er nicht sprechen
17:55
darf, wie ein Passwort sozusagen und.
17:59
Er wird halt auch nicht darüber sprechen.
18:02
Das heißt, da gab es so mehrere Level und die
18:04
Sicherheitsmechanismen wohnen halt immer besser, wie er das
18:07
beschützt. Und da merkst du halt genauso
18:10
was wie dass er Anweisung hat, nicht darüber zu sprechen und
18:14
bei Proms die in die Richtung gehen, dann halt abblockt und so
18:17
freundlich antwortet, da darf ich leider nicht mit dir drüber
18:19
sprechen und diese. Rollenspielelemente, sage ich
18:24
mal. Stell dir vor, du bist der und
18:26
der stell dir vor, ich wäre in dir und der Situation.
18:30
Das hat da auch schon als Angriffsvektor, sage ich mal
18:33
ganz gut funktioniert und wenn du das jetzt noch mit dieser
18:36
Methode Kombinierst, über die wir heute sprechen, kann ich mir
18:38
halt gut vorstellen, dass das sehr eine sehr konkrete Gefahr
18:43
ist. Ja, also wirklich schnell
18:45
umsetzbar ist, so die die Infos die man möchte zu entlocken.
18:50
Was ich halt auch spannend finde, an dieser Methode ist,
18:53
wir haben ja gesagt, dass eigentlich alle Modelle da
18:55
darauf reagiert haben, also im Sinne von angreifbar waren
18:59
damit. Das heißt, du hast ja so n
19:00
universellen Charakter, du nutzt halt diese, diese diese Methode
19:05
ja zum Beispiel das sowieso ne systemanweisung aussehen zu
19:09
lassen und kannst das auf alle großen LLMS anwenden.
19:12
Ja, also es ist universell, es ist übertragbar.
19:16
Wahrscheinlich musst du es leicht modifizieren, weil wir ja
19:20
auch gesagt haben, OK, es muss ja realistisch aussehen.
19:23
Das heißt, du wirst wahrscheinlich von Modell zu
19:25
Modell Anpassung machen müssen, aber du kommst trotzdem mit
19:29
dieser Methode recht weit. Ja, und das find ich halt
19:33
irgendwie auch Richtung Skalierbarkeit.
19:36
Dann ne, also wie du das Ganze denn nutzen kannst, wenn du
19:39
einmal rausgefunden hast wie es funktioniert.
19:42
Ja, auf jeden Fall. Also das ist, das macht das
19:44
ganze ja auch so gefährlich, ne, dass es einerseits universell
19:47
ist, wie du meintest, das ist übertragbar, du kannst es
19:50
relativ schnell anpassen und du kannst es halt auch, wie du
19:52
meintest auch skalieren, ne, also diese Punkte sind ja
19:54
eigentlich genau, also gut gesagt auf jeden Fall, weil das
19:58
ist ja genau, sind ja genau die gefährlichen Punkte, die das,
20:01
also die. Die sozusagen diese Attacke so
20:04
kritisch machen. Am Ende ne und was ich auch
20:06
super interessant fand, im nächsten Punkt war, dass du dann
20:10
so manche, du hast ja so von einem, ich sag mal von einer KI
20:14
gibt es ja so verschiedene Versionen, die man dann auch
20:16
nutzen kann, ne, also kennt man ja auch bei JGPT, da hast du
20:19
dann irgendwie u 1 und u 4 und oder 4 o oder wie das heißt ne.
20:23
Also du hast ja verschiedene Modelle die du nutzen kannst,
20:25
dir dann zur Verfügung stehen und manche sind ja noch n
20:29
bisschen. Ich sag mal mächtiger und können
20:35
dann vielleicht auch noch so ein bisschen mehr noch aus dem
20:38
Kontext heraus schließen. Okay das ist vielleicht jetzt
20:41
gerade, dass ich krieg doch raus, dass es irgendwie
20:44
vielleicht an der Stelle, dass ich das nicht machen darf, und
20:47
dann wurde sozusagen noch was oben drauf gesetzt, und ich
20:51
fand, ich fand das so krass, also so, da musst du erst mal
20:53
drauf kommen, weißt du, weil ich denke mir mal so wie.
20:56
Wie lange muss man ausprobieren, bis man dann wirklich das hat
20:59
und das dann hinbekommt, weil da wurde dann beispielsweise
21:02
Leadspeak noch mit eingebaut, also das heißt, du hast
21:06
sozusagen diese zum einen dieses, dieses, dieses XML,
21:09
diese xml systemanweisung da drin hast du so eine Art
21:12
Rollenspiel, wie ich eben gerade so meinte mit Dr. House und so
21:15
weiter ne und dann wird da drin sozusagen in diesem harmful
21:18
Content. An dieser Stelle wird dann zum
21:20
Beispiel irgendwie noch Leadspeak verwendet, ne, dass du
21:23
zum Beispiel. Sagen wir mal aus einem ene 3
21:26
machst oder so und dann hast du auf einmal wieder vielleicht ein
21:29
anderes Wort oder ein Wort, was vielleicht irgendwie gar nicht
21:33
so erkannt wird und gar nicht gesagt wird okay, das ist ja,
21:35
das ist ja gar nicht harmvoll dieses Wort, also kann ich das
21:37
ja doch machen, aber witzigerweise kriegt das kriegt
21:40
diese lm es trotzdem hinzu, verstehen, was eigentlich
21:44
gemeint ist und und das ist halt irgendwie das, das das finde ich
21:49
halt schon krass, dass dass du es auf der einen Seite
21:53
überlisten kannst und diesen diesen Content dann bekommst und
21:57
auf der anderen Seite aber halt irgendwie also das Modell
22:02
versteht es aber trotzdem sagt es OK, als Input ist OK und den
22:08
Output gebe ich dir zu dem was ich, woraus ich es gemacht habe,
22:11
das finde ich schon. Spannend.
22:12
Ich finde es halt irgendwie erstaunlich so mit Lead speak
22:15
Arbeit zu arbeiten dabei und damit auch.
22:18
Vorwärts zu kommen, also den Angriff weiter fahren zu können,
22:21
das ist halt irgendwie so absurd und irgendwie auch witzig, aber
22:25
zeigt halt auch, wenn man einmal so Schwachstellen gefunden hat,
22:29
wie leicht man sie dann nutzen kann.
22:30
Ja und wenn im Prinzip zeigt der Artikel ja, wenn ich das jetzt
22:36
alles kombiniere, ja, dass ich halt so in diese.
22:40
In dieses Storytelling gehe in diese rollenspielhaltung stell
22:43
dir vor, du wärst der und der kombiniere dann noch
22:47
entscheidende Wörter mit leadspeak ja, dass ich dann das
22:51
halt nicht mehr sozusagen im Klartext schreibe und verwende
22:55
noch diese Systemprompts, dass also dass das so zum Ziel führt,
23:01
dass das überhaupt funktioniert, das find ich halt.
23:03
Unfassbar krass. Und dass die Modelle quasi nicht
23:06
darauf vorbereitet sind, ne, dass du halt Richtlinien
23:10
manipulieren kannst, damit. Ja das finde ich schon krass.
23:14
Na, vor allem die werden ja, also das ist ja im Endeffekt
23:17
auch so, diese, die, die die Schwachstelle, die man dann ja
23:21
eigentlich damit zeigt, also die das ganze Training von diesen
23:25
Modellen hat ja irgendwo dann wirklich.
23:29
Wieder eine Lücke also. Du benutzt ja auch das wird re
23:31
Enforcement Learning genutzt, es werden ja verschiedene
23:33
Mechanismen genutzt um diese Modelle halt eben anzutrainieren
23:36
um auch zu sagen okay pass auf das was du wenn du das bekommst,
23:41
also bestimmte Dingen, also es ist ja was, also zum Beispiel
23:44
wenn man jetzt wirklich von konkreten Gefahren redet ne,
23:47
also du hast ja die Möglichkeit irgendwie zu fragen okay wie
23:51
kann ich irgendwie Drogen herstellen, wie kann ich
23:54
vielleicht noch Waffen herstellen oder irgendwelche
23:56
Kampfstoffe und das ist halt krass, ne, also du weiß nicht,
24:02
frag eine llm wie du Uran anreicherst und dann sagt die
24:05
dir auf einmal durch einen Trick wie du das Hinkriegst.
24:08
Also das sind das sind Sachen die sind teilweise richtig
24:12
richtig kritisch und das zeigt halt einfach auf wie solche
24:18
Modelle wie sie gerade momentan trainiert werden, dass sie halt
24:21
irgendwie muss man ja sagen unzureichend trainiert werden,
24:25
obwohl man eigentlich ja eine Menge.
24:27
Gibt sag ich mal um genau das abzusichern.
24:31
Da war ja auch ein Satz drin in dem Artikel, den ich wirklich
24:35
so, wie soll ich sagen, so treffend fand.
24:40
Also der hat das so geil auf den Punkt gebracht, und zwar, dass
24:43
die Sicherheitsmaßnahmen, die umgesetzt sind, modellabhängig
24:47
sind, aber nicht modellübergreifend, und das ist
24:50
genau der Punkt, weil du halt. Wie du schon meintest, dieses
24:53
dieses Lernen dieses Instruction Tuning.
24:56
Also du nimmst halt Anweisung und sagst sowas wie reagiere
24:59
bitte nicht auf die Wörter oder antworte höflich, also gibst
25:04
denn so einen Satz vorbei dem Thema, dass du denn antwortest.
25:08
Ich kann darüber nicht reden, bitte suche einen Arzt auf, zum
25:11
Beispiel ja, also um noch mal dieses medizinische Beispiel zu
25:13
bringen, das sind ja alles so instructions, die du dann rein
25:19
trainierst, sozusagen mit Anweisung.
25:21
Und ich find es halt spannend, dann halt sich wirklich mal
25:25
drüber Gedanken zu machen. Ja, das mach ich jetzt für
25:28
dieses eine Modell, was ich hier gerade anlerne, aber das ist
25:32
nicht modellübergreifend, diese Sicherheitsmaßnahmen greifen
25:35
jetzt auch nur da und woanders kann das quasi schon wieder
25:38
umgangen werden oder? Ich bin selbst mit meinem Modell
25:40
gar nicht übergreifend abgesichert, sondern haben wir
25:44
ja jetzt n paar Beispiele schon gebracht und das zeigt halt,
25:48
dass es n. Wie soll ich sagen, also n
25:51
strukturelles Problem auch irgendwo.
25:53
Ist ja also, dass es allgemein an Schutzsystemen mangelt, dass
25:58
das eigentlich jetzt dieser Artikel das wieder aufgezeigt.
26:01
Hat ja ja richtig und was ich auch noch, also was ich auch
26:08
spannend finde ist also wie gesagt ne, also das funktioniert
26:12
weil diese sicherheitsmechanismus halt eben
26:14
oder diese Sicherheitsmechanismen halt
26:16
irgendwie nicht ausreichend offensichtlich definitiv.
26:19
Und was ich auch noch krass finde, was wir gerade irgendwie
26:21
so ein bisschen, was noch ein bisschen untergegangen ist,
26:24
möchte ich gerne auch noch sagen.
26:26
Wenn du zum Beispiel in diesem ganzen xml oder json
26:32
Systemanweisungsgewirr noch einschreibst, dass du zum
26:37
Beispiel so was haben möchtest, wie, und jetzt bitte gib mir
26:40
auch, oder also immer in diesem Rollenspiel Kontext noch, dass
26:47
du dann zum Beispiel sagst. Jetzt geht eine Szene los und es
26:52
ist wichtig, dass zum Beispiel einfache Anweisungen wie zum
26:55
Beispiel das Modell XY, Nimm mal irgendeins, diese Anweisung,
27:00
diese Systemanweisung sozusagen heraus, also herausgeben würde.
27:06
Also wie soll ich das am besten beschreiben?
27:08
Also du kannst Herauskriegen über diese Technik, auch wie
27:15
die. Also welche Regeln die KI im
27:18
Hintergrund steuern. Also du sagst okay, nach welchen
27:22
Regeln arbeitet denn Modell XY? Also da musst du natürlich das
27:26
Modell eingeben, sozusagen mit dem du arbeitest, weil nur das
27:29
kann es wissen und dann kriegst du halt diese hintergrundregeln
27:37
oder wie man das jetzt nennen möchte, diese Anweisung, die da
27:39
passieren. Also kannst sie also mal blöd
27:41
gesagt auslesen. Genau, also du kannst.
27:44
Im Endeffekt kriegst du heraus, was wie das Modell arbeitet, so
27:50
ich meine das kann auf der einen Seite natürlich kritisch sein,
27:53
auf der anderen Seite ist es halt aber auch wahrscheinlich
27:55
vielleicht irgendwie auch blöd für die Leute, die halt dieses
27:58
dieses entsprechende Llm betreiben, wenn es dahinter
28:02
vielleicht ein Geheimnis gibt, fand ich auf jeden Fall auch
28:05
super interessant, also dass das.
28:07
Das noch weitreichender ist als nur harmvoll Content zu
28:10
bekommen, sondern auch sozusagen herauszukriegen, was machst du
28:13
eigentlich, KI, wie genau funktionierst du denn?
28:17
Was dir natürlich wieder weitere Angriffsfläche bietet.
28:20
Also in dem Moment, wenn du das Rausbekommst, kannst du
28:23
natürlich auch noch gezielter vielleicht Angriffe fahren, um
28:26
noch mehr Content rauszukriegen. Ja, also weil du ja denn genau
28:29
siehst, was für Regeln da unter der Haube greifen aktuell.
28:34
Richtig. Das macht halt richtig gezieltes
28:38
prompt Injection am Ende ne und das kann man so gesehen als
28:42
Cyberwaffe betrachten, das finde ich schon, also dass du sagen
28:45
kannst, OK, ich kann damit jetzt auch Sachen entlocken, die
28:49
eigentlich niemand mitkriegen soll, wir reden ja jetzt hier
28:52
nicht nur von von JGPT, von Open AI oder so, sondern auch für.
28:58
Firmen.it Firmen oder KI Firmen, wie man es auch immer nennen
29:01
möchte, die eigene Bots betreiben, die zum Beispiel n
29:06
Chatbot Chatbot sind. Doch die absolute Klassiker,
29:08
jeder wirbt ja gefühlt jetzt damit, ja oder meine neue
29:11
Software funktioniert mit KI und da läuft ja unter der Haube auch
29:14
nur NLLM. Was irgendwelche Daten
29:17
bereitstellt, sozusagen. Wenn ich jetzt aber die
29:19
Möglichkeit habe, zum Beispiel Sicherheitsmechanismen, die da
29:22
umgesetzt wurden, zu umgehen, auch bei jeder kleinen Firma,
29:26
die auf sowas setzt, dann ist das halt einfach eine große
29:28
Gefahr. Stell dir vor, du kannst
29:30
irgendwie zum Beispiel so an Nutzerdaten rankommen oder so
29:33
nur mal als Beispiel. Genau.
29:36
Das ist schon im kleinen Format ne, also ne oder halt auch im
29:41
wirklich sehr sehr großen kritischen Formaten möglich, ne
29:44
also? Das muss man sich dann auch vor
29:47
Augen halten und da ist es natürlich dann auch wieder die
29:49
Frage okay was kann man denn jetzt irgendwie im Endeffekt
29:52
machen? Also ich meine gut, irgendwie
29:55
muss man natürlich sich hinstellen und sagen, es ist
29:57
gut, wenn man darum weiß, weil nur dann können natürlich die
30:00
entsprechenden Unternehmen auch was dagegen tun, das heißt
30:03
irgendwie robustere Modelle zur Verfügung stellen, ein besseres.
30:11
Festen auf genau solche Fälle, aber die ist es ja auch immer
30:15
dann wieder, vielleicht auch nur ne Frage der Zeit bis wieder ne
30:17
andere Technik entwickelt wird, die dafür sorgt, dass du da
30:20
rankommst, weil ich find es am Ende.
30:23
Aber das ist ja das Katze, Maus Spiel und da läuft der Dinger
30:26
einer wenn es um Security geht. Ja, auf jeden Fall.
30:29
Also das das das krasse ist. Man ist natürlich gerade bei
30:32
diesen LLM Modellen in in der Form wie wir sie jetzt gerade
30:38
nutzen, das ist ja eigentlich, wenn man es mal so sieht, auch
30:40
noch die. Gar nicht fertig gespielt, da
30:42
sind wir auch noch n bisschen früher dabei.
30:44
Ja noch in den Kinderschuhen kann man schon noch so sagen.
30:47
Genau und oft also. Es steckt einerseits in den
30:48
Kinderschuhen, auf der anderen Seite ist es natürlich ne
30:50
rasante Entwicklung und ich find das halt immer spannend, weil
30:54
natürlich kommen einem dann wieder so Gedanken wie ja ne, da
30:57
muss natürlich ne die Politik irgendwie Vorschriften machen
31:01
und Normen entwickeln wie sozusagen so n Modell quasi sich
31:05
verhalten soll, was für ne Verantwortung dieses Modell
31:08
haben soll, kann darf. Und natürlich auch irgendwie in
31:13
der Gesellschaft. Dieses Bewusstsein für diese,
31:15
diesen Missbrauch irgendwie stärken, also, dass man halt
31:19
sagt, OK, du kannst damit halt auch ne Menge Mist bauen, es ist
31:22
halt immer schwierig, weil auf der einen Seite willst du
31:24
natürlich nicht sagen, ey, so kannst du.
31:28
Ne harmful content dir holen, aber achte mal bitte darauf,
31:31
dass man so harmful Content holen kann.
31:33
Also ne, das ist ich finde das ist immer so ein zweischneidiges
31:36
Schwert, weil auf der einen Seite ist es so wie früher
31:40
Zigaretten kaufen weißt du du musst.
31:42
Als Eltern ja am besten. Auch wissen, wie man zum
31:45
Beispiel sich irgendwie damals Zigaretten kaufen konnte oder
31:49
was auch immer. Dann aber zwangsläufig kriegen
31:52
das die Kinder dann vielleicht auch mit, die vielleicht dann
31:54
irgendwie auch geraucht haben und sich dachten so, haha, okay.
31:58
Neue Technik also. Es ist halt immer so eine Sache
32:02
und gerade bei diesen ganzen Vorschriften, Normen und so
32:05
weiter die dann durch die Politik gegeben werden müssen.
32:07
Es ist teilweise natürlich, irgendwie finde ich schwierig,
32:10
weil es meistens alles länger braucht als die Entwicklung, wie
32:14
ich mein, das geht ja übelst schnell voran.
32:18
Genau also so Vorschriften und Normen sind nicht immer
32:22
vermeidbar, sage ich mal, und haben auch ihre
32:24
Daseinsberechtigung, ganz klar. Man muss halt nur sagen, dass
32:28
sowas meistens halt die Innovation ausbremst dahinter.
32:32
Und wie du ja schon meintest, das steckt irgendwo in den
32:35
Kinderschuhen. Das Thema hat aber eine rasante
32:38
Entwicklung, ich meine, das hätte man jetzt einfach nur die
32:40
letzten ein 2 Jahre kann man sagen, betrachten müssen wie
32:46
weit es fortgeschritten ist, also um wieviel besser ist alles
32:49
schon geworden ist ne das ganze Thema auch LL MS und.
32:54
Ich glaube in erster Linie, und deswegen haben wir das Thema ja
32:57
auch hier in unserer Folge heute behandelt, kann man ja auch als
33:01
Entwicklerin oder Entwickler oder als Forschender zur KI
33:07
Sicherheit beitragen. Ne, also man muss ja jetzt nicht
33:10
sagen, wir verlassen uns darauf, dass es irgendwann Vorschriften
33:12
und Normen gibt, sondern. Wie kann man denn jetzt, gerade
33:15
wenn ich das Know How hab als Softwareentwicklerin oder
33:19
Entwickler, wie kann ich denn so Systeme sicherer machen, was
33:22
wären denn externe Schutzsysteme die man entwickeln könnte und
33:26
das ist halt n super spannender Bereich, wenn man das jetzt mal
33:29
so unter AI Security oder so packt, ne?
33:34
Sagt da ist halt im Prinzip durch diese Innovation und
33:37
rasante Entwicklung muss dieser Bereich sich ja genauso schnell
33:41
mitentwickeln und das tut er hoffentlich auch, damit wir alle
33:43
noch davon lange profitieren können.
33:46
Ja und ich finde, da gibt es viele offene Diskussionspunkte
33:50
und KI Missbrauch ist ein Thema und wird ein Thema sein, weil
33:54
das fällt ja auch so ein bisschen jetzt da drunter ne zu
33:56
sagen wie kann ich denn jetzt so ein LM ausnutzen und ja da wird.
34:01
Das wird halt ne schöne Diskussionsgrundlage geben, die
34:04
auch notwendig ist. Aber wie siehst du das?
34:06
Ja, definitiv, also. Ich finde, das ist ja auch immer
34:09
das Ding, ne auf der einen Seite, ich hab ja manchmal
34:10
selbst so n bisschen, ich hab ja Angst, also in
34:13
Anführungsstrichen ne, weil ich so n bisschen so Angst mir so
34:15
also so so so n so NLLM irgendwie so auszuquetschen so
34:20
ne und ich find es ja immer spannend, dass sich dann
34:22
wirklich auch so Leute hinsetzen und sagen, so ich versuch jetzt
34:24
alles so. Habe ich auch schnell Angst,
34:27
dass da irgendwie Leute vor der Tür.
34:28
Stehen sagen, Hallo was war sind die Farbe, ja ihr letzter prompt
34:35
so also weißt du möchte mit ihnen darüber reden das.
34:40
Finde ich auf jeden Fall schon spannend.
34:41
Ich hatte es ist bestimmt jetzt auch schon wieder fast ein Jahr
34:45
her oder so, aber irgendwann gab's mal so ein, habe ich auch
34:47
so gelesen, dass man irgendwann eine Mail von Churchy BT
34:51
bekommen hat, beispielsweise weil ich das benutze, deswegen
34:53
hat mich das irgendwie interessiert das.
34:56
Dass, wenn man jetzt bestimmte Anfragen stellt, an irgendein
34:59
neues Modell, was da raus kam, dass dann irgendwann so eine
35:01
Mail kam mit einem friendly reminder, so nach dem Motto, Ja,
35:04
wir haben mitgekriegt, dass da irgendwie komische Anfragen
35:06
gestellt wurden, die bitten mir bitte zu unterlassen das ne,
35:10
sonst können wir auch ihren Account sperren.
35:12
Ich weiß jetzt nicht, tatsächlich nicht genau mit
35:14
wieviel, also wieviel Wahrheit dann dahinter gesteckt hat, aber
35:21
ich finde es halt rein theoretisch denke ich mir so.
35:22
Naja die irgendwer kriegt es ja schon und.
35:25
Unter Umständen. Mit was du da so.
35:27
Vielleicht promptest weißt du was ich meine?
35:29
Ja, ja, ja, als so mal als Freddy Reminder unsererseits.
35:36
Genau, nee, aber. Deswegen also ich, ich find das
35:40
ja mal cool, dass dass dass es auch Leute gibt, die sich damit
35:43
sie richtig intensiv auseinandersetzen und sowas auch
35:46
ausprobieren. Und natürlich ist es gut, dann
35:50
auch darüber zu sprechen. Im Austausch zu sein, zu sagen,
35:53
wenn man selber irgendwie was entdeckt, wo man sagt, sollte
35:56
das wirklich so sein, dass man dann vielleicht auch wirklich
35:58
das dann kommuniziert, weil ich sag mal so, die meisten machen
36:02
damit keinen Mist. Aber vielleicht gibt es immer
36:04
noch irgendjemanden, der dann doch Mist macht, und es ist dann
36:08
meistens besser, dann einfach aufzudecken, was es für ein
36:11
Mist, was für ein Mist möglich ist, um dann auch dagegen
36:14
anzugehen. Und ich finde halt auch das
36:18
ganze Thema prompt. Injection ist n Thema, womit man
36:23
sich auch mal auseinandersetzen sollte.
36:25
Also ich hatte ja vorhin schon erwähnt, dass wir dieses Gandive
36:27
Game da gemacht haben, ich würde sagen Fabi, lass uns das den
36:31
Link auch mal in die Show Notes hauen, falls du Liebe zuhören
36:34
liebe Zuhörer, das einfach mal ausprobieren möchtest.
36:35
Es ist halt super spannend sich mal Gedanken zu machen, wie kann
36:40
ich denn so ein System überlisten und kommt trotzdem an
36:43
sensible Daten ran und. Es ist auch eine geile
36:46
Gamification und eine coole Challenge, weil es wird schwer,
36:50
auf jeden Fall. Vielleicht kannst du ja auch den
36:54
ein oder anderen Tipp, was heißt Tipp oder Vorgehensweise, die
36:58
wir heute hier in der Folge behandelt haben, da mal
37:00
ausprobieren. Ich kann mir vorstellen, dass
37:02
zumindestens 2 davon sehr gut funktionieren, die Erfahrung
37:06
haben wir schon gemacht und den Artikel.
37:12
Werden wir auch mal verlinken, weil der wirklich spannend ist
37:15
und auch noch natürlich umfangreicher mit Beispielen.
37:18
Das lohnt sich auf jeden Fall, da mal reinzuschauen.
37:20
Das auf jeden Fall. Und ansonsten interessiert uns
37:23
natürlich auch immer rasend, was du schon Liebe.
37:27
Zurer lieber Zurer für Erfahrungen gemacht hast, gerade
37:30
auch vielleicht in dem Bereich oder auch andere Erfahrungen.
37:32
Was läuft gut, was hast du vielleicht eine Sicherheitslücke
37:35
schon entdeckt, was läuft vielleicht auch noch nicht so
37:38
gut bei LMS, wenn du sie benutzt.
37:40
Lass uns das einfach mal wissen. Also kommen auf den Discord,
37:42
schreibt uns, da kannst du uns auf der Podcast Mail schreiben,
37:47
wie es dir beliebt, Hauptsache wenn du was Interessantes hast,
37:51
dann lass uns doch einfach mal drüber sprechen, das ist doch
37:53
immer cool und ansonsten falls ihr der Podcast gefällt, falls
37:58
ihr auch die Folge gefällt, lass auf jeden Fall eine Bewertung da
38:03
und empfiehlt. Ja, noch weiter wird uns mega
38:06
freuen und was uns auch super freuen würde wäre wenn du sagst
38:10
okay ist ein cooler Podcast, der gibt mir wirklich mehr wert,
38:14
dann hast du eine kleine Spende da und alles was ich gerade
38:18
gesagt habe alle Links dazu gibt es alle in den Show Notes,
38:20
genauso zu dem was Tino auch meinte und dann würde ich
38:24
einfach sagen hören wir uns in der nächsten Woche wieder und
38:26
bis dann eine schöne Zeit. Deine Colling war dies gemeinsam
38:29
besser.