Latest / Logbuch:Netzpolitik / LNP562 Gipfel der überzogenen Erwartungen

Transcript

LNP562 Gipfel der überzogenen Erwartungen · Logbuch:Netzpolitik

0:00
Tim Pritlove: Guten Morgen Linus.
0:02
Linus Neumann: Guten Morgen Tim.
0:03
Tim Pritlove: Der Herr Reuscher von der CDU würde ja gerne Herrn Siegmund als Ministerpräsidenten
0:09
Tim Pritlove: wählen in Sachsen-Anhalt, aber mit Bauchschmerzen.
0:16
Linus Neumann: Ja, dann wollen wir hoffen, dass er möglichst lange Bauchschmerzen hat.
0:46
Tim Pritlove: Logbuchnetzpolitik Nummer 562 vom 8. Oktober 2026. Euer Bauchgefühl für die Trends der Zeit.
0:58
Tim Pritlove: Da rumort es auch manchmal ein bisschen und kann aber auch ein gutes Gefühl sein.
1:08
Linus Neumann: Ich würde sagen, so ein Reizdarm.
1:13
Tim Pritlove: Ja, wenn man jetzt nicht gerade Nazis an die Regierung wählt.
1:18
Linus Neumann: Wer die wählt, hat einen Reizdarmverdienst.
1:20
Tim Pritlove: Das könnte es ein bisschen ein paar Schmeißen sein. Oder auch so ein Darmverschluss.
1:29
Linus Neumann: Ja, ganz wechselhafte Phänomene. Schmerzhaft. Übel riechend.
1:37
Tim Pritlove: Ich würde dem Herrn mal eine Hirnspiegelung vorschlagen.
1:42
Tim Pritlove: Da könnte man mal gucken, ob da nicht vielleicht irgendwas ein bisschen verknotet ist oder so.
1:48
Linus Neumann: Ein Hirneinlauf, da mal was lösen.
1:52
Tim Pritlove: Auf jeden Fall kann man das machen. Ja Leute, da sind wir wieder.
1:59
Tim Pritlove: Und wir haben sogar Feedback bekommen.
2:04
Linus Neumann: Und zwar habe ich ja in der letzten Sendung von dem Experiment mit den Ratten
2:09
Linus Neumann: im Labyrinth erzählt, weil ich ein Beispiel bringen wollte für Paradigmenwechsel in Wissenschaften.
2:19
Linus Neumann: Und habe das völlig falsch erklärt. Man merkt das auch so ein bisschen,
2:23
Linus Neumann: dass irgendwann, während ich das erkläre, mir auch so ein bisschen klar wird, irgendwie hast du.
2:32
Linus Neumann: Die Pointe nicht drin. Und das wurde auch im Feedback festgestellt,
2:39
Linus Neumann: dass das irgendwie nicht gut erklärt war.
2:42
Linus Neumann: Also, die Ausgangssituation ist, die behavioristische Schule geht davon aus,
2:49
Linus Neumann: dass Lernen grundsätzlich durch Belohnung stattfindet und nur durch Belohnung
2:54
Linus Neumann: und dass alles Lernen durch Belohnung,
2:57
Linus Neumann: erklärt werden kann.
2:59
Linus Neumann: Diese Experimente im Labyrinth, Ratte im Labyrinth und an einer bestimmten Stelle
3:05
Linus Neumann: gibt es Futter und sie lernt,
3:08
Linus Neumann: quasi Kombinationen von rechts und links abbiegen, um an das Futter zu kommen,
3:12
Linus Neumann: wird einfach nur erklärt als ein komplexeres Belohnungslernen,
3:16
Linus Neumann: was da stattfindet. Die Ratte hat gelernt rechts, links, rechts,
3:19
Linus Neumann: links, geradeaus links.
3:21
Linus Neumann: Das hat sie zufällig irgendwann herausgefunden, dann wurde sie aber belohnt
3:27
Linus Neumann: und deswegen wird quasi diese Verhaltenskette antrainiert.
3:31
Linus Neumann: Und das funktioniert auch tatsächlich, also das ist eine Form des Lernens,
3:37
Linus Neumann: aber die behavioristische Wissenschaft ist davon ausgegangen,
3:40
Linus Neumann: dass sie umquer die einzige ist.
3:43
Linus Neumann: Und in diesem historischen Experiment ist.
3:50
Linus Neumann: Die Forschungsgruppe hingegangen und hat gesagt, okay, wir nehmen drei Gruppen
3:53
Linus Neumann: von Ratten. Die einen kriegen eine Belohnung an dieser Stelle.
3:58
Linus Neumann: Die zweite Gruppe kriegt nie eine Belohnung und wir müssen dann quasi auch erfassen,
4:03
Linus Neumann: was macht eine Ratte ohne Belohnung in diesem Labyrinth. Die rennt einfach die
4:08
Linus Neumann: ganze Zeit ziellos umher.
4:10
Linus Neumann: In Übereinstimmung mit der Prophezeiung, denn es gibt ja nichts,
4:12
Linus Neumann: wofür sie belohnt wird, also läuft die einfach die ganze Zeit rum,
4:16
Linus Neumann: wenn sie meint, sie müsste sich bewegen. Und die dritte Gruppe,
4:21
Linus Neumann: kriegt zehn Tage lang auch keine Belohnung, aber ab der elften kriegt sie eine, gibt es eine.
4:28
Linus Neumann: Und jetzt wäre, der Behaviorismus würde sagen, da die Ratten,
4:33
Linus Neumann: die zehn Tage lang ohne Belohnung ziellos umhergelaufen sind,
4:37
Linus Neumann: keine Belohnung bekommen haben,
4:39
Linus Neumann: müssten sie jetzt, wo es eine gibt, anfangen zu lernen.
4:44
Linus Neumann: Und sie müssten sich jetzt wie die anderen Ratten entwickeln,
4:49
Linus Neumann: die quasi eine Belohnung bekommen.
4:51
Linus Neumann: Tun sie aber nicht, sondern die finden sich sofort perfekt in dem Labyrinth
4:56
Linus Neumann: zurecht und finden zu der Belohnung.
5:00
Linus Neumann: Mit anderen Worten, in den zehn Tagen, die sie ohne Belohnung sich in dem Labyrinth
5:05
Linus Neumann: aufgehalten haben, haben sie etwas gelernt.
5:08
Linus Neumann: Nämlich die Mental Map dieses Labyrinths.
5:13
Linus Neumann: Und sie haben das gelernt, obwohl sie keine Belohnung dafür bekommen haben.
5:17
Linus Neumann: Und das hat dann eben diese dieses Paradigma zu Fall gebracht,
5:22
Linus Neumann: nicht nur wegen der, wegen der,
5:26
Linus Neumann: wegen, dass man nur durch Belohnung lernt, sondern auch, weil sie ja quasi,
5:35
Linus Neumann: Um schneller das lösen zu können. Die wussten ja vorher nicht,
5:40
Linus Neumann: wo die Belohnung sein würde. Das heißt, egal wo du die hingetan hast,
5:43
Linus Neumann: haben die immer dahin gefunden.
5:45
Linus Neumann: Und das bedeutet, dass du nicht nur in Reizreaktionsketten lernst,
5:50
Linus Neumann: sondern offensichtlich die Ratten in ihrem Gehirn eine Mental Map aufbauen,
5:55
Linus Neumann: während sie da rumrennen.
5:57
Linus Neumann: Und diese beiden Aspekte waren sehr eindrückliche Demonstrationen dass dieses
6:06
Linus Neumann: Paradigma am Ende war letztendlich.
6:10
Tim Pritlove: Das macht ja auch total Sinn. Ich meine, dieses Bild von der,
6:14
Tim Pritlove: man macht Sachen nur, wenn da jetzt quasi im wörtlichen Sinne Futterball rauskommt,
6:19
Tim Pritlove: ignoriert ja auch andere Bedürfnisse so einer Ratte wie Flucht.
6:25
Tim Pritlove: Also wenn sie schnell weg muss, weil Bedrohung, so hilft es ja auch,
6:31
Tim Pritlove: zu wissen, wo man lang rennt, auch wenn da jetzt nicht unbedingt Futter ist
6:34
Tim Pritlove: und das sozusagen so eine negative Belohnung hinter einem lauert.
6:39
Linus Neumann: Ein guter Aspekt, eben darauf einzugehen, dass es evolutionär,
6:46
Linus Neumann: nicht zielführend wäre,
6:50
Linus Neumann: vielleicht auch einfach ein grundsätzliches Awareness seiner Umgebung aufzubauen als Ratte.
6:55
Tim Pritlove: Nicht nur als Ratte.
7:00
Linus Neumann: Genau, aber das nur dazu. Und ja, mir hat das Experiment deshalb so gefallen,
7:07
Linus Neumann: weil es halt echt, also das sind ja, das sind die Experimente,
7:10
Linus Neumann: die Wissenschaft weiterbringen.
7:13
Linus Neumann: Jetzt kann man, also Behaviorismus gibt es völlig...
7:18
Linus Neumann: Völlig gehypte Schule damals gewesen, offenkundig, falsch, aber man muss auch
7:23
Linus Neumann: sagen, dass sie natürlich,
7:27
Linus Neumann: relativ viel erklären konnten. Und das ist auch in Ordnung, weil du in der Wissenschaft
7:34
Linus Neumann: auch immer nach der einfachsten Erklärung suchst und suchen musst.
7:40
Linus Neumann: Und das heißt nicht, dass alle Phänomene und Forschungsergebnisse des Behaviorismus falsch sind,
7:47
Linus Neumann: Aber das Modell, was sie zur Erklärung von Lernen und Verhalten herangezogen
7:54
Linus Neumann: haben, eben nicht allumfassend ist.
7:57
Linus Neumann: Also kommt an seine Grenzen und ist damit nicht die vollständige Erklärung des Phänomenbereichs.
8:08
Tim Pritlove: Ja, dann haben wir noch eine Information für alle, die wissen, wo ihr Handtuch ist.
8:15
Linus Neumann: Ja, wo ist mein Handtuch?
8:18
Tim Pritlove: Das weiß ich nicht, aber du musst einfach wissen, wo es ist.
8:22
Tim Pritlove: Das ist eigentlich der wichtige Aspekt dabei und das sagt ja die Lehre von Douglas Adams.
8:29
Tim Pritlove: Und weil die Welt von Douglas Adams so erkenntnisreich ist, speziell vor Nerds,
8:34
Tim Pritlove: feiert man natürlich auch seine heiligen Zahlen wie die 42 und das dachte sich
8:40
Tim Pritlove: auch die FIFCON, die wir letzte Sendung in den Terminen erwähnt haben.
8:44
Tim Pritlove: Und da kommt die Konfusion her, also ist es jetzt die FIFCON 42 oder die FIFCON
8:48
Tim Pritlove: 26 und die Antwort ist beides, es ist sozusagen Schrödingers Konferenz und es
8:54
Tim Pritlove: kann einfach sowohl 26 als auch 42 in einem sein.
8:58
Tim Pritlove: Man ist sich auf den Webseiten nicht ganz so sicher gewesen,
9:02
Tim Pritlove: ob es jetzt mehr das eine oder das andere ist, aber es ist halt eine Frage des Betrachters.
9:07
Tim Pritlove: Also in dem Moment, wo du es beobachtest, dann ist es halt entweder das eine
9:11
Tim Pritlove: oder das andere. Es ist die Frage, ob du nur die eine Webseite anschaust oder
9:13
Tim Pritlove: die andere Webseite anschaust. Man sagt ja, einfach ein perfektes Ding.
9:21
Linus Neumann: Ich muss noch aufklären, also weil es 2026 ist und die 42.
9:26
Tim Pritlove: Genau, auf der Webseite steht 42, auf dem Ticketshop steht 26,
9:30
Tim Pritlove: und das hat uns natürlich durcheinander gebracht, aber es ist halt einfach wie
9:34
Tim Pritlove: Schrödingers Katze, es ist halt einfach beides, ja, und was es dann ist,
9:38
Tim Pritlove: weißt du erst, wenn du, wenn es Licht angeht.
9:42
Linus Neumann: Ah, du kannst auch ein Handtuch kaufen.
9:45
Tim Pritlove: Ja? Gibt's das auch dazu?
9:47
Linus Neumann: Neben den Tickets kann man ein Handtuch kaufen, falls du keins hast.
9:50
Tim Pritlove: Ja, fast ich weiß, wo der jetzt ist.
9:56
Tim Pritlove: Okay, und was steht da drauf auf dem Handtuch? Weiß ja nicht.
10:00
Linus Neumann: Wahrscheinlich auf der einen Seite zu handbietig und auf der anderen Seite zu handbietig.
10:03
Tim Pritlove: Je nachdem, wie man sich bettet, so entscheidet man sich.
10:08
Linus Neumann: Okay, so dann, das werden wir jetzt nicht nochmal ausführlich behandeln.
10:13
Tim Pritlove: Was? Ach, das ist doch so ein schönes Thema, Lilo. Da sind wir uns immer alle einig.
10:25
Linus Neumann: Es gab dann die Frage, wenn ich davon überzeugt bin, dass man mit Hilfe von
10:34
Linus Neumann: LLMs Mehrwert schaffen kann.
10:40
Linus Neumann: Und das wurde in Zweifel gestellt.
10:44
Linus Neumann: Darauf kann ich nicht sinnvoll antworten, weil ich den Teil wirklich für relativ
10:51
Linus Neumann: klar halte, dass es möglich ist.
10:55
Linus Neumann: Und wer das nicht glaubt, müsste vielleicht einfach mal ausprobieren.
11:03
Linus Neumann: Müsste so ein Ding mal ausprobieren.
11:05
Tim Pritlove: Ja, könnte sich nicht zeigen.
11:12
Linus Neumann: Warum ist der Mehrwert in der Volkswirtschaft nicht zu sehen?
11:16
Linus Neumann: Ich hatte vor einigen Sendungen, glaube ich, schon darauf Bezug genommen.
11:21
Linus Neumann: Das ist tatsächlich ein sehr interessanter Aspekt. Es gibt eine,
11:27
Linus Neumann: kennst du das Produktivitätsparadox von Tim?
11:31
Tim Pritlove: Mal gehört, aber ich glaube, ich kann das nicht erklären.
11:35
Linus Neumann: Also der Satz lautet ungefähr so, das Computerzeitalter findet sich überall
11:40
Linus Neumann: außer in den Produktivitätsstatistiken.
11:42
Linus Neumann: Und da hat Solo, ich glaube das war auch so ein Wirtschaftsnobelpreisträger
11:46
Linus Neumann: oder sowas, weiß nicht genau, aber Solo heißt der Mann oder Ökonom,
11:50
Linus Neumann: ein weiser Mann, hat eben,
11:58
Linus Neumann: auf die Paradoxie hingewiesen, dass Computer so erkennbar effizient sind,
12:03
Linus Neumann: also offensichtlich und ja so gut wie,
12:08
Linus Neumann: jeden Vorgang extrem beschleunigen können und sagt aber, wir sehen das,
12:17
Linus Neumann: weder auf der Ebene des einzelnen Unternehmens noch auf der Ebene einer Branche,
12:23
Linus Neumann: noch auf der Ebene einer Volkswirtschaft, dass diese Produktivität tatsächlich zunimmt.
12:30
Linus Neumann: So die These. Und,
12:35
Linus Neumann: meine naive Erläuterung dafür
12:37
Linus Neumann: wäre, ja klar, weil die Menschen eben diesen technologischen Wandel immer,
12:42
Linus Neumann: ablehnen, ausbremsen und quasi die Ineffizienzen bewahren, den Scheißprozess
12:49
Linus Neumann: digitalisieren, statt einen schönen neuen zu machen und so.
12:52
Linus Neumann: Und dass das halt alles viel, viel, viel länger dauert, dass so etwas Einzug
12:58
Linus Neumann: erhält, so eine neue Technologie.
13:03
Linus Neumann: Und deswegen passiert das nicht so schnell.
13:07
Linus Neumann: Und da habe ich jetzt auch kürzlich einen sehr interessanten Vortrag gesehen
13:11
Linus Neumann: von so einem Ökonomen, ich glaube von der Stanford University,
13:17
Linus Neumann: der quasi sagt, ach schau mal hier, wir haben hier in diesem Land USA über die
13:22
Linus Neumann: letzten, ich glaube 60 Jahre oder sowas, 2% Wirtschaftswachstum jedes Jahr.
13:28
Linus Neumann: Und was sind alles für großartige Erfindungen in diese Zeit gefallen?
13:32
Linus Neumann: Und Internet, und hast du alles nicht gesehen? Und Mobilfunk, alles gekommen.
13:37
Linus Neumann: Und irgendwie der große Sprung, das ist immer ausgeblieben.
13:42
Linus Neumann: Und seine These ist irgendwie so, ja, das ist eben die Trägheit des Wandels,
13:46
Linus Neumann: dass diese Technologie es langsam die Wirtschaften durchdringt und eben in Summe
13:54
Linus Neumann: 2% Wirtschaftswachstum.
13:57
Linus Neumann: Ermöglicht, ja, über die Zeit. Also du sagst, wir wachsen einfach um zwei Prozent
14:01
Linus Neumann: mit diesen ganzen wahnsinnigen Innovationen. Das ist auf jeden Fall seine These.
14:06
Linus Neumann: Ich bin mir, also ich kann ja auf jeden Fall etwas abgewinnen, aber,
14:13
Linus Neumann: Ich glaube aber, dass wir im Falle von KI.
14:19
Linus Neumann: Es mit einer Technologie zu tun haben, die gleichermaßen überschätzt und unterschätzt wird.
14:23
Linus Neumann: Und so ein bisschen erinnert das ja auch, und da bin ich auch relativ sicher,
14:26
Linus Neumann: dass das passieren wird, Internet.com-Blase.
14:29
Linus Neumann: Das war im Prinzip auch, die Leute haben quasi gesagt, das wird alles Internet
14:33
Linus Neumann: sein und das ist jetzt das ganz große neue Ding und da muss alles Geld rein
14:38
Linus Neumann: und dann waren sie nach zwei Jahren enttäuscht,
14:42
Linus Neumann: dass wir noch nicht 2026 hatten. Und wenn du dir aber anschaust,
14:47
Linus Neumann: was quasi bei den Platzen der Dotcom-Blase an Wert vernichtet wurde und was für eine,
14:54
Linus Neumann: Wertschöpfung und Wert heute im Rahmen des Internets existiert,
14:58
Linus Neumann: dann war quasi die Dotcom-Blase,
15:02
Linus Neumann: ein verhältnismäßig geringer Verlust.
15:06
Linus Neumann: Es war einfach nur quasi, oder also eine verhältnismäßig, Die Blase war bei
15:11
Linus Neumann: weitem nicht so groß, wie sich nachher dieser ganze Bereich entwickelt hat.
15:16
Linus Neumann: Es war einfach nur, dass die Menschen halt den Wandel zu schnell verlangt oder
15:21
Linus Neumann: erwartet haben oder eben zu große Hoffnungen auf kurzfristiges Eintreten dieser Profite hatten.
15:29
Tim Pritlove: Der Fachbegriff lautet Gipfel der überzogenen Erwartungen.
15:34
Linus Neumann: Ja, das ist im Gartner-Hype-Cycle. Aber der Gartner-Hype-Cycle,
15:39
Linus Neumann: da kommt ja dann nachher das Plateau des Realismus.
15:42
Tim Pritlove: Das Plateau der Produktivität.
15:44
Linus Neumann: Plateau der Produktivität, ja.
15:48
Tim Pritlove: Und der Pfad der Erleuchtung kommt dann auch noch, nachdem man im Tal der Enttäuschung
15:53
Tim Pritlove: war. Das sind einfach wichtige Phasen.
15:56
Linus Neumann: Ja, da müssen wir jetzt noch alle durch.
15:58
Tim Pritlove: Ja, wir sind definitiv gerade im Gipfel der überzogenen Erwartungen und es wird
16:01
Tim Pritlove: natürlich jetzt auch in einen Tal der Enttäuschung münden und dann kommt der Pfad der Erleuchtung.
16:05
Tim Pritlove: Das ist doch wie goldene Zwanziger eigentlich.
16:16
Linus Neumann: Was ich dann tatsächlich ganz interessant finde, ist, man möchte ja eigentlich,
16:20
Linus Neumann: wenn man jetzt irgendwie ökonomisch gut agiert, möchte man ja möglichst vielleicht verhindern,
16:28
Linus Neumann: dass man in den Gipfel der überzogenen Erwartungen reinrennt,
16:31
Linus Neumann: uninformiert und die ganze Achterbahn mitmacht, weil man sich nicht vernünftig
16:35
Linus Neumann: selbst mit einer Technologie auseinandersetzt.
16:38
Linus Neumann: Und wenn ich mir anschaue, ich nenne das eigentlich so naive KI-Anwendungen.
16:43
Linus Neumann: Menschen, die irgendwie glauben, dass mit AI zu arbeiten bedeutet,
16:50
Linus Neumann: ich schmeiße irgendwie die Scheiße bei ChatGPT rein und prompte und wenn das,
16:55
Linus Neumann: Ergebnis nicht super ist.
16:58
Linus Neumann: Dann habe ich ja hier gerade bewiesen, dass KI scheiße ist.
17:01
Linus Neumann: Und das ist ja leider nicht das, also es ist ja völlig erkennbar,
17:05
Linus Neumann: dass man nicht so mit dieser Technologie,
17:10
Linus Neumann: Arbeiten kann, sollte und wird, sondern dass Probleme nach wie vor in Teile
17:17
Linus Neumann: zerlegt werden und man idealerweise erkennt, welcher Teilschritt meines Problems ist,
17:24
Linus Neumann: ist einer, den ich mit KI besser löse.
17:28
Linus Neumann: Ich glaube, das habe ich hier in der Sendung auch schon öfter mal erwähnt,
17:32
Linus Neumann: es gibt eine ganze Menge Probleme, also Herausforderungen, Probleme,
17:36
Linus Neumann: die man lösen muss, für die es einfache Lösungen gibt.
17:42
Linus Neumann: Zum Beispiel Mathematik, wenn du was berechnen willst, das können wir im Taschenrechner,
17:47
Linus Neumann: da ist ein LLM einfach nicht die effiziente Lösung.
17:52
Linus Neumann: Und würde man jetzt ein LLM rechnen lassen, dann ist das eben nicht die Architektur,
17:57
Linus Neumann: die gewinnbringend ist. Man sagt dem LLM, wenn jemand eine Matheaufgabe hat,
18:00
Linus Neumann: gibt die hier in diese Shell und lasst sie ausrechnen von dem Prozessor oder so.
18:07
Linus Neumann: Und ich glaube, so wird auch die langfristige oder mittelfristige,
18:13
Linus Neumann: ökonomische Nutzung von LLMs sein, dass man selbstverständlich die Dinge,
18:17
Linus Neumann: die man vernünftig mit formaler Logik abbildet, mit formaler Logik macht und
18:21
Linus Neumann: Inferenz nur für die Teilschritte des Problems nutzt, wo man sie wirklich braucht.
18:28
Linus Neumann: Und das ist eigentlich, also ich glaube, dass das wirklich eine positive Aussicht
18:32
Linus Neumann: ist, weil das bedeutet, die Zukunft gehört kleinen Custom-Tailored-Modellen,
18:37
Linus Neumann: die man auch souverän betreiben kann und meine große persönliche Sorge ist,
18:41
Linus Neumann: das habe ich auch glaube ich ausführlich,
18:44
Linus Neumann: dargestellt in mehreren Sendungen jetzt, dass eben weil die Menschen und die,
18:51
Linus Neumann: was weiß ich, die CEOs der Unternehmen und wer nicht alles, sich genau nicht.
18:55
Linus Neumann: Mit der Technologie auseinandersetzen, sondern irgendwie so was sagen,
18:59
Linus Neumann: wir schmeißen jetzt die Hälfte der Leute raus und machen alles nur noch mit AI.
19:02
Linus Neumann: Ich meine, es ist ja völlig klar, dass eine derartig plumpe Entscheidung nur schief gehen kann.
19:09
Linus Neumann: Das ist tragisch.
19:13
Linus Neumann: Also diese Dreckheit ist nicht notwendigerweise schlecht.
19:17
Tim Pritlove: Aber ich meine, wer der Meinung ist, KI hätte ja bis heute noch nichts geleistet,
19:24
Tim Pritlove: hat einfach nicht aufgepasst.
19:27
Linus Neumann: Aber ich kann das auf einer emotionalen Ebene durchaus verstehen.
19:30
Linus Neumann: Mir macht das durchaus auch Angst, dass Dinge, auf die ich sehr lange stolz
19:36
Linus Neumann: war und die ich als eine besondere Fähigkeit von mir erachtet habe und wo ich
19:40
Linus Neumann: gedacht habe, da kann ich noch eine Zeit lang Lebensunterhalt mit verdienen,
19:43
Linus Neumann: jetzt Commodity geworden sind.
19:45
Linus Neumann: Und ich kann jetzt entweder sagen, okay, nee, das ist eine schlechte Technologie.
19:51
Linus Neumann: Ist es auch böse Technologie, fürchterliche Folgen oder ich kann mich mit dem
19:58
Linus Neumann: Gedanken anfreunden, dass die wahrscheinlich nicht mehr weggeht und ich idealerweise,
20:06
Linus Neumann: meine mein Wissen über Digitalisierung, Computer, Architekturen und so weiter
20:13
Linus Neumann: jetzt anwende, um irgendwie noch auf dieser, nicht unter diese Welle zu geraten.
20:18
Linus Neumann: Das sind so die beiden Möglichkeiten, die einem da jetzt bleiben und ich glaube
20:23
Linus Neumann: auch nicht, dass man da eine...
20:26
Linus Neumann: Dass man da wirklich eine Wahl hat. Und ich glaube auch, also ich bin wirklich,
20:34
Linus Neumann: persönlich recht fest davon überzeugt, dass es der bessere Ansatz ist.
20:43
Linus Neumann: Mit kleinen, custom-tailored Modellen dedicated in seinen Prozessen irgendwie
20:49
Linus Neumann: zu arbeiten, die halt für diese Technologie sich selbst zu eigen zu machen.
20:56
Linus Neumann: Und ich habe große Sorge, dass sich das aber nicht durchsetzen wird,
21:01
Linus Neumann: weil diese Technologie eben in den Händen von Cloud-Anbietern und so weiter,
21:09
Linus Neumann: sehr, sehr viel schneller,
21:12
Linus Neumann: Macht und Attraktivität entfalten kann und auch einfacher zugänglich ist.
21:16
Linus Neumann: Auch das hatte ich hier schon behandelt.
21:20
Linus Neumann: Diese Zugänge zu den Modellen sind eben einfach zu günstig gerade.
21:25
Linus Neumann: Und gleichzeitig, weil ich mich darum sorge, habe ich jetzt wirklich in letzter Zeit,
21:31
Linus Neumann: wirklich mich selbst überraschende, erstaunliche Ergebnisse mit so,
21:35
Linus Neumann: hast du mal eben aus dem Internet geladen, brauchst du 12 Gigram oder sowas
21:39
Linus Neumann: für Modellen geklärt, dass ich tatsächlich hier noch,
21:45
Linus Neumann: nennenswerte Potenziale sehe,
21:48
Linus Neumann: fernab von wir müssen alles auf einen großen Haufen schmeißen und uns,
21:54
Linus Neumann: den USA, den US-Riesen unterwerfen.
21:58
Tim Pritlove: Ja, also es wird am Ende einfach alles geben. Es wird weiterhin noch Frontier-Modelle
22:03
Tim Pritlove: geben, die in irgendeiner Form das maximal Mögliche machen.
22:07
Tim Pritlove: Nur der Bedarf von allen Leuten ausschließlich mit dem maximal Möglichen zu
22:12
Tim Pritlove: arbeiten, wird dann eben absinken, während die Maschinen von unten her lokal
22:17
Tim Pritlove: so viel Power mitbringen, die Modelle so gut vortrainiert sind oder man das
22:21
Tim Pritlove: sogar selber machen kann.
22:22
Tim Pritlove: Also ich denke, das wird einfach so ein völlig normales Ding,
22:28
Tim Pritlove: werden, wie das Telefon ein völlig normales Ding geworden ist,
22:32
Tim Pritlove: wie der Computer ein völlig normales Ding geworden ist, das Internet ein völlig
22:35
Tim Pritlove: normales Ding geworden ist, das Smartphone und jetzt kommt halt irgendwie AI und,
22:40
Tim Pritlove: dass das halt einfach unser Leben ändert, ja sorry, aber das hat Technologie,
22:45
Tim Pritlove: schon immer gemacht und das wird auch weiterhin so bleiben.
22:48
Linus Neumann: Genau, und man muss auch sagen, wenn man jetzt hier, auch Terminator,
22:52
Linus Neumann: das ist ja noch, das ist einfach irgendwann dann eine normale Technologie.
22:57
Linus Neumann: Und die Menschen in den Terminator-Filmen, die kommen ja auch damit zurecht.
23:00
Linus Neumann: Die Welt ist halt anders, aber sie ist ja noch nicht ans Ende geraten.
23:04
Linus Neumann: Und die arrangieren sich eben auch damit.
23:07
Tim Pritlove: Ja, zum Not halt Zeitmaschine, da hatten wir ja schon.
23:16
Linus Neumann: Kommen wir zu kommen wir zum ganz normalen Wahnsinn.
23:21
Linus Neumann: Im Bundestag,
23:24
Linus Neumann: wurde sich jetzt gerade damit auseinandergesetzt, man möchte einen Cyberabwehrgesetzentwurf haben.
23:33
Linus Neumann: Da wurde also im Innenausschuss diskutiert, Anfang dieser Woche gab es eine
23:37
Linus Neumann: öffentliche Anhörung zur Stärkung der Cybersicherheit. Für den Chaos Computer
23:43
Linus Neumann: Club war da auch Konstanze Kurz zugegen. Und.
23:49
Linus Neumann: Die Idee hier ist,
23:53
Linus Neumann: dass ja hier die ganze Zeit wird gecybert und der Staat braucht eben wirksame
24:00
Linus Neumann: Instrumente, um die Cyberangriffe frühzeitig zu erkennen und abzuwehren.
24:06
Linus Neumann: Und deswegen werden,
24:11
Linus Neumann: hier Regelungslücken geschlossen und dann kann der Staat sich wehren.
24:19
Linus Neumann: Und,
24:23
Linus Neumann: es geht dabei auch natürlich um aktives Wehren.
24:30
Linus Neumann: Es geht aber auch um so ein paar andere Aspekte wie diese absolut fragmentierten,
24:35
Linus Neumann: Zuständigkeiten und irgendwie unklare, einfach unklare Regelungen.
24:42
Linus Neumann: Ich glaube, das habe ich ja hier öfter mal dargestellt, diese Cybersicherheitsarchitektur
24:46
Linus Neumann: der Bundesrepublik Deutschland, wo einfach völlig unklar ist,
24:49
Linus Neumann: wer da überhaupt für was zuständig ist.
24:53
Linus Neumann: Aber in diesem Aspekt wird auch,
25:00
Linus Neumann: gesagt, naja, wir müssen ja jetzt mal quasi Hackbacks machen,
25:06
Linus Neumann: weil es ist ja klar, wir müssen ja irgendwie, können wir ja nicht sein,
25:09
Linus Neumann: dass wir uns hier nicht wehren.
25:14
Linus Neumann: Und dieser Aspekt, den halte ich für verhältnismäßig unklug.
25:18
Tim Pritlove: Hatten wir ja auch schon ein paar Mal das Thema.
25:20
Linus Neumann: Haben wir ein paar Mal gemacht, aber jetzt haben sie es halt wieder,
25:23
Linus Neumann: ich habe auch rausgesucht, da gab es eben 2019, hatte ich dazu mal noch einen
25:26
Linus Neumann: längeren Post geschrieben.
25:29
Linus Neumann: Oder 2019 war das Thema, da sollte das der BND machen. Zum BND kommen wir gleich. Das nochmal.
25:37
Linus Neumann: Kleiner Preview. Also die Idee ist, oder warum sagt man überhaupt,
25:42
Linus Neumann: der Staat soll jetzt hacken? Ja, der soll einen laufenden Angriff unterbrechen. Okay.
25:48
Linus Neumann: Ich meine, wer gesehen hat, wie schnell ein Angriff funktioniert und wie schnell
25:52
Linus Neumann: ein Staat reagiert, da brauchen wir, glaube ich, nicht weiter darüber zu diskutieren.
25:56
Linus Neumann: Das hatten wir auch schon vor vielen Jahren hier die Sendung mit der Hackback-Rakete.
26:01
Linus Neumann: Das verhindern weitere Angriffe. Also wir übernehmen die Angreifer- Infrastruktur
26:07
Linus Neumann: und schalten sie ab und dadurch können die Angreifer jetzt nicht mehr weiter agieren.
26:13
Linus Neumann: Und ultimativ eben damit legen wir den Kriminellen das Handwerk. Das sind so die Ideen.
26:21
Linus Neumann: Also laufenden Angriff zu unterbrechen, ich glaube, es ist völlig klar, dass das unsinnig ist.
26:25
Linus Neumann: Und weitere Angriffe, da wäre dann so die Idee, ah, da gibt es jetzt einen kompannten
26:29
Linus Neumann: Control-Server und den schalten wir aber jetzt ab.
26:32
Linus Neumann: Oder den erhacken wir uns jetzt.
26:35
Linus Neumann: Und auch diese Rechnung oder diese Argumentation kommt halt nicht so wirklich,
26:42
Linus Neumann: die ist nicht so wirklich sinnvoll, weil also wenn wir im Rahmen unserer beruflichen
26:49
Linus Neumann: Tätigkeit im Red Team einen Command & Control Server betreiben.
26:55
Tim Pritlove: Also dein Wir, nicht unser Wir.
26:58
Linus Neumann: Genau, mein Wir und meine Kolleginnen. Jetzt machst du ein Red Team und dann
27:04
Linus Neumann: musst du irgendwie im Rahmen entscheidest du dich, eine Schadsoftware zu basteln
27:08
Linus Neumann: und einzusetzen und einen Command & Control Server,
27:11
Linus Neumann: aufzusetzen, mit dem diese Schadsoftware dann eben spricht,
27:15
Linus Neumann: damit du potenziell eben dich in dem Zielnetzwerk ein bisschen umschauen kannst.
27:23
Linus Neumann: Das größte Risiko in einem solchen Projekt ist, dass du entdeckt wirst.
27:30
Linus Neumann: Und deswegen musst du dir relativ viel Mühe geben, sagen wir mal eine IP-Adresse
27:34
Linus Neumann: mit einer ganz guten Reputation zu nehmen.
27:36
Linus Neumann: Nichts, was schon irgendwo jemals in irgendeinem IOC oder irgendwo bekannt war,
27:42
Linus Neumann: weil du weißt, dass die größeren Unternehmen mit einer halbwegs reifen IT-Sicherheit,
27:48
Linus Neumann: natürlich all das blocken.
27:50
Linus Neumann: Du kannst ja auch heute einfach, was weiß ich, ich nehme sie Quad9 als DNS-Server,
27:55
Linus Neumann: da werden eben die ganzen als böse bekannten Domains einfach gar nicht beantwortet.
28:03
Linus Neumann: Da hast du ja völlige Souveränität, das zu wählen.
28:08
Linus Neumann: Aber es ist entscheidend, du kannst das machen. Du kannst ja auch einen Adblocker
28:10
Linus Neumann: und einen Trackerblocker in dein Netz einbringen, aber es ist,
28:15
Linus Neumann: deine Souveränität, das zu tun.
28:20
Linus Neumann: Und wenn wir jetzt im Rahmen unserer legalen, beauftragten Projekte entdeckt
28:26
Linus Neumann: werden, was machen wir dann?
28:28
Linus Neumann: Dann nehmen wir den nächsten Command & Control Server.
28:31
Linus Neumann: Dann bauen wir einen neuen Hof. Wir sind selbstverständlich darauf vorbereitet,
28:34
Linus Neumann: dass wir für jedes Projekt einen anderen nehmen und,
28:38
Linus Neumann: quasi längst in unserem Mode of Operation drin ist, dass wir eine komplett dynamische,
28:46
Linus Neumann: agile Infrastruktur brauchen, Wegwerfinfrastruktur.
28:50
Linus Neumann: Und sicherlich das geringste Problem für uns wäre, wenn irgendeiner jetzt das
28:56
Linus Neumann: blockt oder der Server gehackt wird oder sonst was, weil du einfach den nächsten hochziehst.
29:01
Linus Neumann: Und das ist einer der fundamentalen Unterschiede zwischen Angriff und Verteidigung,
29:07
Linus Neumann: dass die Angreifer eben, also die Unternehmen oder die Wirtschaft oder wer auch
29:10
Linus Neumann: immer, wer sich da gerade verteidigt, die haben was zu verlieren,
29:13
Linus Neumann: die haben eine Infrastruktur aufgebaut, die wollen sie behalten, die brauchen sie.
29:17
Linus Neumann: Aber ein Angreifer, weißt du, wenn jetzt so eine Ransomware-Gruppe irgendwie
29:23
Linus Neumann: der Hidden-Service rausgetragen wird,
29:26
Linus Neumann: dann sagen die ja nicht, ach scheiße, jetzt kommen wir zum Arbeitsamt und versuchen
29:31
Linus Neumann: irgendwie einen anderen Job zu finden.
29:34
Linus Neumann: Es ist ja nicht so, als hätten die gerade einen Verlust oder so.
29:37
Linus Neumann: Sondern die sagen einfach, alles klar, zack, boom, nächster.
29:41
Linus Neumann: Und das ist diese Idee mit den Kriminellen, das Handwerk legen, das ist halt alles,
29:45
Linus Neumann: es ist alles Ich halte es nicht für falsch, übrigens natürlich zu sagen,
29:50
Linus Neumann: wenn wir dynamisch und schnell beispielsweise DNS- oder IP-Sperren propagieren können.
29:58
Linus Neumann: In unsere Volkswirtschaft oder was auch immer.
30:03
Linus Neumann: Dann ist es potenziell von Vorteil.
30:07
Linus Neumann: Also sagen wir mal so eine Vorstellung, was weiß ich, man erkennt die Malware-Kampagne,
30:12
Linus Neumann: man weiß, ach guck mal hier, da ist gerade wieder eine Phishing-Welle oder so
30:18
Linus Neumann: und zack, da ist aber eine Domain-Name und da wissen wir sofort,
30:22
Linus Neumann: den lösen wir jetzt nicht auf.
30:24
Linus Neumann: Das kann schon eben einen Effekt haben, aber ich halte es für eine schlechte
30:32
Linus Neumann: Idee, das staatlich verordnet zu machen, weil es nämlich ineffizienter wird.
30:37
Linus Neumann: Wenn du sagst, okay, wir machen das beispielsweise, keine Ahnung,
30:42
Linus Neumann: wir stellen eine Liste bereit an zu blockenden Domainnamen.
30:45
Linus Neumann: Und wer möchte, kann einfach, was weiß ich, bei der Telekom seinen Klick machen
30:51
Linus Neumann: und sagen, diese Liste bitte immer für mich gelten lassen. Ich vertraue dem
30:55
Linus Neumann: Staat. Ich möchte das gerne haben.
30:58
Linus Neumann: Klammer auf, sowas gibt es gerade. Ich nehme gerade Telekom als Beispiel,
31:02
Linus Neumann: Die schicken mir immer SMS, dass ich das endlich aktivieren soll oder so.
31:07
Linus Neumann: Net Secure oder so, was heißt das.
31:10
Linus Neumann: Oder als Unternehmen. Aber ich mache es natürlich nicht, weil ich IT-Security
31:15
Linus Neumann: mache und IT-Security-Forscher bin.
31:16
Linus Neumann: Das wäre ja total blöd für mich, wenn ich nicht in der Lage bin,
31:21
Linus Neumann: mich überhaupt noch zu denen zu verbinden. Das heißt, meine Filter mache ich
31:24
Linus Neumann: da, wo ich sie unter Kontrolle habe.
31:26
Linus Neumann: Und das hielte ich für die.
31:32
Linus Neumann: Sehr viel sinnvollere Herangehensweise. Abgesehen davon...
31:38
Linus Neumann: Das ist auch so eine Vorstellung, eine sehr naive Vorstellung von,
31:42
Linus Neumann: wie Angriffe funktionieren.
31:45
Linus Neumann: Viele Angriffe erfordern ja gar keinen Server. Also ich weiß nicht,
31:49
Linus Neumann: wie viele Incidents wir schon gehandelt haben.
31:52
Linus Neumann: Was weiß ich, da ist einfach irgendein Passwort abhandengekommen.
31:55
Linus Neumann: Und die Leute kommen über eine ganz normale VPN-Einwahl in die Unternehmen rein.
32:01
Linus Neumann: Was machen wir denn dann? Also es ist alles so, man merkt, dass es irgendwie
32:04
Linus Neumann: so eine, wir müssen aber jetzt mal endlich was machen.
32:06
Linus Neumann: Und man hat sich nicht wirklich darüber Gedanken gemacht, was denn effektiv wäre.
32:12
Linus Neumann: So, schauen wir uns mal an, was genau da drin steht in diesem Gesetzesentwurf.
32:15
Linus Neumann: Nicht genau, sondern oberflächlich da drin steht.
32:18
Linus Neumann: Okay, was wollen Sie machen? Sicherheitsbehörden, Fähigkeit zur Durchsetzung,
32:24
Linus Neumann: Möglichkeit, Rechtswidrigkeiten im Cyberspace zu untersuchen und Daten abzuführen,
32:29
Linus Neumann: nämlich mit anderen Worten Computerbeschlagnahmen usw.
32:33
Linus Neumann: Und dann eben zentrale Befugnisse zur Vorbereitung und Durchführung von Sicherheitsoperationen.
32:39
Linus Neumann: Sicherheitsoperationen heißt, wir machen irgendwas kaputt.
32:44
Linus Neumann: Und das BSI soll dann erhebliche neue Befugnisse bekommen.
32:49
Linus Neumann: Dann sagen sie, werden wir viel mehr beraten und dann gibt es rechtliche Beratung
32:54
Linus Neumann: und dadurch haben wir zusätzliche Kosten. Also BSI soll mehr kriegen.
32:57
Linus Neumann: Und da müssen wir eben, die Bundespolizei soll dann die Gefahrenabwehr,
33:02
Linus Neumann: weil das ist ja Aufgabe der Bundespolizei, Gefahrenabwehr, und das muss ja jetzt
33:06
Linus Neumann: auch im digitalen Raum funktionieren und deswegen müssen wir ein paar Gesetze
33:10
Linus Neumann: ändern, damit die das auch machen können.
33:13
Linus Neumann: Und ein sehr interessanter Teil, wo man dann so drüber stolpert,
33:16
Linus Neumann: ist, dass sie sagen, wir müssen den Begriff des privaten informationstechnischen Systems neu definieren.
33:29
Linus Neumann: Und wir müssen da ein bisschen was rausdefinieren, denn ein privates IT-System
33:35
Linus Neumann: liegt nicht vor, wenn es nur für Angriffe auf die Sicherheit in der Informationstechnik genutzt wird.
33:42
Linus Neumann: Dann verlierst du quasi den Status eines privaten informationstechnischen Systems,
33:48
Linus Neumann: und das brauchen sie, um nachher erlauben zu sagen, in welche Systeme man eingreifen kann.
33:53
Linus Neumann: Weil wenn du kein privates informationstechnisches System bist,
33:57
Linus Neumann: dann kann dir ja entsprechend auch nicht die Grundrechte, die für die Integrität
34:03
Linus Neumann: von informationstechnischen Systemen,
34:08
Linus Neumann: gelten,
34:09
Linus Neumann: kommen dir ja dann nicht zuteil.
34:10
Linus Neumann: Du bist nämlich dann kein grundrechtstragendes informationstechnisches System.
34:20
Linus Neumann: Und dann können, dann darfst du eben, dadurch wird dann eben gelten nicht mehr
34:26
Linus Neumann: die Regelung für private Datenspeicherung, Datenverwendung, Sicherheitsanforderungen
34:30
Linus Neumann: und so weiter, nix, zack, bumm,
34:33
Linus Neumann: effektive Abwehr von Cyberangriffen, hier gelten keine Grundrechte mehr.
34:37
Linus Neumann: Also hier gelten Schutzrechte nicht mehr.
34:41
Linus Neumann: Dann sagen sie, okay, hier,
34:49
Linus Neumann: da gilt dann auch nicht mehr Datenschutz und Persönlichkeitsrecht,
34:52
Linus Neumann: ist alles weg, das ist ein Kampfmittel. Und,
35:02
Linus Neumann: das geht natürlich ich finde den Hütchenspielertrick gut so ein juristischer
35:08
Linus Neumann: Hütchenspielertrick muss man echt sagen, Respekt es gibt ein Grundrecht wir
35:13
Linus Neumann: müssen aber jetzt einfach definieren was,
35:16
Linus Neumann: kein Grundrechtsträger mehr ist, aber wir gehen davon aus dieses System wird
35:20
Linus Neumann: für Angriffe genutzt und deswegen hat keiner mehr Grundrechte der mit diesem
35:23
Linus Neumann: System arbeitet ist auf jeden Fall,
35:29
Linus Neumann: sportlich.
35:33
Linus Neumann: Und, naja.
35:38
Tim Pritlove: So, und wie weit ist jetzt dieser ganze Prozess?
35:41
Linus Neumann: Naja, es gab dann eben, ja, wie ist das denn,
35:49
Linus Neumann: wenn so eine Anhörung im Innenausschuss ist, bis ja schon ungefähr kurz davor,
35:53
Linus Neumann: dass es jetzt als nächstes,
35:56
Linus Neumann: in den Bundestag gereicht werden soll. Dass an der Stelle noch fundamentale
36:02
Linus Neumann: Änderungen stattfinden, ist ja eher selten der Fall.
36:08
Linus Neumann: Und was ich auch ganz spannend finde, im Gesetzesentwurf steht dann so,
36:14
Linus Neumann: keine Befristung, keine Evaluierung. Also es wird nicht gesagt,
36:16
Linus Neumann: wir machen das jetzt mal für ein Jahr, evaluieren, ob das irgendwie was gebracht
36:20
Linus Neumann: hat oder sowas, sondern es ist völlig klar, dass man das jetzt braucht.
36:26
Linus Neumann: Und noch mal kurz zusammenfassen, Also es ist einfach nicht sinnvoll,
36:32
Linus Neumann: zu sagen, wir investieren jetzt,
36:36
Linus Neumann: in die Gefahrenabwehr, wenn die eigentliche Gefahr ja ist, dass du halt Schrottsysteme betreibst.
36:46
Linus Neumann: Also ich finde, diese Idee, sich durch Gegenangriff oder durch Abschreckung
36:53
Linus Neumann: oder sowas zu verteidigen, weißt du, das machst du bei bestimmten CTF-Spielformen oder so.
37:00
Linus Neumann: Ja, dass man sagt, okay, wir haben ein System, wir müssen das andere angreifen
37:04
Linus Neumann: und unseres verteidigen.
37:05
Tim Pritlove: CTF, Capture the Flag, um das mal kurz zu erklären.
37:11
Linus Neumann: Das ist ja,
37:14
Linus Neumann: kein nachhaltiger Betrieb von kritischen Infrastrukturen, wenn man sagt,
37:19
Linus Neumann: pass auf, wenn das hier einer hacken will, dann haken wir den nämlich zurück.
37:24
Linus Neumann: Das wird es denen aber zeigen. Wir haben hier eine kritische Infrastruktur und
37:28
Linus Neumann: die haben ein nicht privates informationstechnisches System. So sieht es nämlich aus.
37:33
Linus Neumann: Also ich meine, auf den Kampf willst du dich noch nicht einlassen,
37:36
Linus Neumann: du willst ja eigentlich in die Defensive gehen.
37:40
Linus Neumann: Und natürlich musst du davon ausgehen, dass Zuschreibung und so weiter,
37:46
Linus Neumann: was ist jetzt ein informationstechnisches System und so weiter,
37:50
Linus Neumann: was ist ein für Angriffe genutztes System, das ändert sich ja die ganze Zeit.
37:54
Linus Neumann: Und es ist eine der eleganten Methoden,
38:00
Linus Neumann: wenn du Domain-Blocking und sowas umgehen willst oder irgendwie unauffällig
38:04
Linus Neumann: sein willst, natürlich versuchst du irgendwo ein Proxy bei AWS oder in irgendeiner,
38:10
Linus Neumann: der großen Cloud-Infrastrukturen zu haben, wo es völlig normal ist,
38:13
Linus Neumann: dass sich IP-Adressen die ganze Zeit ändern, dass Hostnames kryptisch sind und,
38:20
Linus Neumann: wo du halt unauffällig bist. Und da gibt es halt genug von.
38:27
Linus Neumann: Die Untersagung des Betriebs informationstechnischer Systeme kann quasi gesagt
38:31
Linus Neumann: werden, hier dieser Computer muss jetzt ausgeschaltet werden.
38:34
Linus Neumann: Dann können also Behörden, was weiß ich, einem Cloud-Anbieter sagen,
38:38
Linus Neumann: das geht jetzt weg und so.
38:40
Linus Neumann: Also da ist einfach, das sind sehr weitreichende Befugnisse,
38:46
Linus Neumann: wo man natürlich irgendwie sich so einen Extremfall vorstellen kann, wo man sagt.
38:51
Linus Neumann: Da könnte das unter bestimmten Aspekten durchaus mal hilfreich sein,
38:57
Linus Neumann: aber du musst dir ja die Lage anschauen, unter welchen Problemen leidest du
39:02
Linus Neumann: heute, wo das wirklich etwas gebracht hätte.
39:05
Linus Neumann: Ja, und ähnlich wie bei der Vorratsdatenspeicherung, wird immer gesagt,
39:10
Linus Neumann: weil wir keine Vorratsdatenspeicherung haben, rennen uns die ganzen Kriminellen weg.
39:14
Linus Neumann: Aha, da gehst du ja davon aus, dass in der Vorratsdatenspeicherung die Nachweise
39:21
Linus Neumann: gefunden würden, von denen du ja gar nicht weißt, ob sie da drin sind,
39:24
Linus Neumann: weil es eben keine Vorratsdatenspeicherung gibt.
39:26
Linus Neumann: Und genauso hast du hier jetzt einen umgekehrten Fall, wo du sagen kannst,
39:31
Linus Neumann: naja, okay, wir haben ja diese ganzen,
39:34
Linus Neumann: Angriffe und so weiter, dann nenne mir doch mal bitte den Fall oder den größeren
39:38
Linus Neumann: Schaden, der hätte verhindert werden können, wenn ihr irgendwie bei einem,
39:42
Linus Neumann: was weiß ich, einen Server gehackt hättet oder beim Cloud-Anbieter irgendwas abgeschaltet hättet.
39:47
Linus Neumann: Diese Beispiele, denke ich, die wäre man dann durchaus mal schuldig.
39:53
Linus Neumann: Und dann kann man eben darauf schauen, naja, okay, Dann gehen die Angreifer
39:56
Linus Neumann: halt hin und rotieren ihre DNS-Namen und so weiter. Das ist alles gegeben.
40:03
Linus Neumann: Das ist, naja.
40:06
Linus Neumann: Dann natürlich das BSI muss dann irgendwie.
40:10
Linus Neumann: Automatische Daten kriegen und so. Ich denke, da werden einfach jetzt gerade
40:15
Linus Neumann: carte blanche Befugnisse verteilt, die nicht besonders durchdacht sind.
40:20
Linus Neumann: Und immerhin erkennt der Gesetzesentwurf an, dass man die dann auch eigentlich
40:24
Linus Neumann: in kompetente Hand geben müsste.
40:27
Linus Neumann: Letztendlich glaube ich, wir haben hier wieder so einen klassischen Fall von,
40:33
Linus Neumann: Ja, jemand kann wahrscheinlich irgendwie einen hypothetischen Fall konstruieren,
40:40
Linus Neumann: wo diese Befugnisse jetzt helfen würden oder geholfen hätten,
40:44
Linus Neumann: aber wenn wir uns anschauen, welche Probleme haben wir gerade,
40:47
Linus Neumann: dann werden die nicht durch Hackback oder sonst was gelöst.
40:53
Tim Pritlove: Und es gibt natürlich auch noch ganz andere Risiken also erstmal ist es so was
40:59
Tim Pritlove: heißt denn Hackback? Hackback heißt ja dann auch du greifst an wen greifst du denn an?
41:05
Tim Pritlove: Ja du greifst halt irgendwelche Gruppen an von denen du vielleicht einerseits
41:09
Tim Pritlove: noch mal nicht so genau weißt wer es ist und das sind ja auch nicht selten auch so,
41:15
Tim Pritlove: staatliche Akteure und damit kannst du
41:18
Tim Pritlove: natürlich auch sehr schnell so ein außenpolitisches Problem mit eintreten.
41:23
Tim Pritlove: Da mag jetzt, sagen wir mal, die USA und China und Russland jetzt nicht so zurückhaltend
41:28
Tim Pritlove: sein, aber ich finde ja auch nicht, dass das jetzt unbedingt so zu unserem Auftreten in der Welt passt.
41:36
Tim Pritlove: Ja, mal ganz abgesehen davon, dass das dann einfach auch noch die Sache viel schlimmer machen kann.
41:42
Linus Neumann: Und da bist du jetzt schon quasi in dem Bereich der diplomatischen Krise oder so.
41:48
Linus Neumann: Aber stell dir mal vor, ich würde das hier ganz anders machen.
41:51
Linus Neumann: Wenn ich jetzt Angreifer bin, ich bin jetzt Nordkorea, Russland,
41:56
Linus Neumann: China, und ich weiß, die Deutschen, die schießen jetzt zurück.
42:03
Linus Neumann: Dann würde ich doch zusehen, dass ich von irgendwo meine Angriffe mache,
42:09
Linus Neumann: wo die Deutschen dann draufkloppen.
42:12
Linus Neumann: Und dass sie dann möglichst in ihr eigenes Fleisch knallen. Also das heißt,
42:16
Linus Neumann: ich übernehme, was weiß ich, irgendeinen schlecht gesicherten WordPress von
42:21
Linus Neumann: einem Zahnarzt oder sowas.
42:24
Linus Neumann: Oder ich nehme irgendeinen alten Online-Shop hoch oder so.
42:29
Linus Neumann: Ich übernehme als ersten Hopp irgendeine zivile Infrastruktur.
42:34
Linus Neumann: Die ist ja dann nicht mehr zivil, die ist ja eine Angriffsinfrastruktur.
42:37
Linus Neumann: Und dann sorge ich dafür, dass diese Reaktion erst der Schaden ist.
42:43
Linus Neumann: Oder dass die Reaktion den größeren Schaden herbeiführt.
42:47
Linus Neumann: Also es ist ja völlig klar, dass ich dann nicht da sitze und sage,
42:51
Linus Neumann: ach scheiße, jetzt haben die hier schon wieder meinen Server gehackt.
42:54
Linus Neumann: Verdammt, meine Cyber-Operation.
42:56
Linus Neumann: Sondern du kalkulierst doch sofort ein. Alles klar, wenn die hier irgendwas
43:00
Linus Neumann: hochnehmen, dann sehe ich doch zu, dass das nichts von mir ist.
43:06
Linus Neumann: Oder idealerweise, wenn ich die wirklich als den Feind betrachte und denen schaden
43:09
Linus Neumann: möchte, dann sorge ich doch dafür, dass sie möglichst auf ihre eigenen Leute schießen.
43:18
Linus Neumann: Naja, dann wird der Zahnarzt demnächst verhaftet.
43:25
Linus Neumann: Es ist wirklich, also ein bisschen, es ist.
43:29
Tim Pritlove: Genau, also das Gesetz zur Stärkung der Cybersicherheit, wie das Ding offiziell
43:33
Tim Pritlove: heißt, befindet sich derzeit in der ersten Lesung im Bundestag.
43:37
Tim Pritlove: Dann gibt es dann theoretisch noch eine zweite und dritte Lesung,
43:41
Tim Pritlove: bevor es dann ein weiteres Mal zum Bundesrat geht, wo das schon mal war und
43:46
Tim Pritlove: dann kann es auch verkündet werden.
43:48
Tim Pritlove: Wollen wir mal hoffen, dass der Druck hier noch ein bisschen zur Einsicht führt,
43:52
Tim Pritlove: dass da sich was verändert, aber ich weiß nicht, ich habe irgendwie ein komisches
43:56
Tim Pritlove: Gefühl, was das betrifft.
43:59
Linus Neumann: Ich habe halt diese,
44:03
Linus Neumann: also glücklicherweise wird KI Michael Ebert arbeitslos machen, wie wir wissen, nein.
44:08
Linus Neumann: Aber dieses Arbeiten in der IT-Sicherheit ist schon auch eine sehr spezielle,
44:17
Linus Neumann: Sache, weil natürlich Leute Lösungen wollen, aber nie...
44:25
Linus Neumann: Sagen wir, es sehr schwer ist,
44:28
Linus Neumann: sie von den Sinnvollen und Wirksamen zu überzeugen.
44:34
Linus Neumann: Wenn jetzt irgendwie im, das ist in einem Unternehmenskontext,
44:37
Linus Neumann: aber insbesondere auch in so einem staatlichen Kontext.
44:40
Linus Neumann: Und wenn du dir anguckst, was für freundliche Menschen dieses Land regieren,
44:46
Linus Neumann: dann kannst und du siehst da ja irgendwo, ist ja nirgendwo jemand im Bild,
44:52
Linus Neumann: wo du sagst, ach guck mal, Die Person, die hat Ahnung, die hat sich mal mit
44:56
Linus Neumann: dem Thema auseinandergesetzt, die hat Erfahrung, die erkennt,
45:00
Linus Neumann: wo die Probleme sind und wie man sie löst.
45:04
Linus Neumann: Die Leute nutzen, also wenn du Glück hast.
45:10
Linus Neumann: Suchen sie sich ein Problem, was sie lösen können.
45:15
Linus Neumann: In der Regel haben sie aber eine Lösung und suchen sich ein Problem.
45:19
Linus Neumann: Und das sind gefährliche Leute. Wird auch bei der KI genauso sein.
45:24
Linus Neumann: Die Leute mit der KI-Lösung kommen und sagen, gib mal ein Problem,
45:26
Linus Neumann: welches Problem könnten wir denn nehmen? Kann man das nicht auch mit einer Blockchain?
45:31
Linus Neumann: Kann man da nicht, müssen wir da nicht jetzt mal langsam entgegencybern? Das ist...
45:36
Linus Neumann: Ach herrje. Hauptsache, wir machen nicht einfach mal das Richtige.
45:40
Linus Neumann: Das ist wirklich anstrengend, was denen alles einfällt, um zu vermeiden,
45:46
Linus Neumann: dass man das Richtige macht. Weißt du?
45:48
Linus Neumann: Das ist wie die Ratten in dem Labyrinth, wurde, sagst du, erstaunt,
45:50
Linus Neumann: die müssen doch dieses Labyrinth gelernt haben, es kann ja gar nicht sein,
45:54
Linus Neumann: wie zielstrebig die immer wieder was anderes versuchen als das Richtige.
46:01
Tim Pritlove: So, aber,
46:05
Tim Pritlove: was kann denn schon schief gehen, Ninos? Wir haben doch Geheimdienste, die passen auf,
46:11
Tim Pritlove: dass alles supi ist und sehr vertrauensvolle Menschen auch, auch lupenreine Demokraten.
46:21
Linus Neumann: Georg Maaßen, klar, BFV, also wunderbar, dass der so lange über die Verfassung,
46:28
Linus Neumann: gewacht hat. Gewacht hat.
46:31
Linus Neumann: Bis er dann erkannt hat, dass die...
46:35
Tim Pritlove: Ja, weiß ich auch nicht ganz genau. Also, was jetzt vor ein paar Tagen dann,
46:42
Tim Pritlove: rausgekommen ist, ist, dass ein Ermittlungsverfahren läuft gegen den Ex-BND-Chef August Hanning,
46:50
Tim Pritlove: der also die Gefahrenabwehr der
46:54
Tim Pritlove: Bundesrepublik Deutschland auf der Ebene geleitet hat, Lange, lange Zeit.
46:58
Tim Pritlove: Also er war von 1998 bis 2005 der Präsident des Bundesnachrichtendienstes.
47:04
Tim Pritlove: Danach war er noch Staatssekretär im Bundesinnenministerium und dann ist er
47:10
Tim Pritlove: dann irgendwann in die Privatwirtschaft gegangen als Sicherheitsberater.
47:17
Tim Pritlove: Und jetzt sieht es so ganz so aus,
47:22
Tim Pritlove: als ob er seine Tätigkeit als Sicherheitsberater mit so ein paar offiziellen
47:26
Tim Pritlove: Dokumenten noch unterfüttert hat, die ihm von seinem ehemaligen Mitarbeiter, der also noch beim,
47:35
Tim Pritlove: BND war, zugespielt wurden.
47:39
Tim Pritlove: Das Ganze kam irgendwie raus im Kontext dieser ganzen Causa-Block.
47:45
Tim Pritlove: Also wirklich etwas, was ich wirklich nur so am Rande wahrnehme.
47:50
Tim Pritlove: Das ist so diese Erbin dieses Blockhaus-Steakhaus-Imperiums.
47:56
Linus Neumann: Ich weiß nicht, ob das schon die Erbin ist. Ich glaube, der Eugen Block lebt
47:58
Linus Neumann: noch. Oder hat der schon abgegeben?
48:03
Tim Pritlove: Also wenn ich mich mal mit solchen Themen mehr beschäftigen würde.
48:07
Tim Pritlove: Also auf jeden Fall steht sie gerade wegen der Entführung ihrer Kinder aus Dänemark
48:12
Tim Pritlove: vor Gericht und es geht irgendwie hin und her.
48:15
Tim Pritlove: Leute, ich verbringe keine Zeit damit, mir diese Geschichten durchzulassen.
48:19
Linus Neumann: Du musst in Boulevard gucken.
48:20
Tim Pritlove: Das ist eine Wahnsinn-Story. Mich hat Boulevard auch nie interessiert.
48:25
Linus Neumann: Da ist Günther Delling, das geht bis nach ganz oben. Das ist ja der Ehemann
48:30
Linus Neumann: von der Christina-Blog.
48:32
Tim Pritlove: Wer ist Günther Delling?
48:35
Linus Neumann: Der Ding Netzer, der Fußballgott.
48:38
Tim Pritlove: Achso, ist das ein Fußballgott? Na gut, habe ich eine andere Definition.
48:41
Linus Neumann: Nein, weiß ich nicht, aber Netzer ist doch mal kein Fußballgott.
48:43
Tim Pritlove: Ja, bei manchen Leuten sicherlich. Also wie auch immer, auf jeden Fall im Rahmen
48:47
Tim Pritlove: dieser ganzen Geschichte wurden dann Daten oder Informationen gewonnen,
48:52
Tim Pritlove: die sie in irgendeiner Form auf Hanning gebracht haben.
48:55
Tim Pritlove: Was auch immer da jetzt der konkrete Zusammenhang war, weiß ich nicht.
48:59
Tim Pritlove: Dann wurde jetzt also im September sein Anwesen durchsucht und dabei haben sie dann Datenträger,
49:08
Tim Pritlove: gefunden mit strengen Geheimen und auch jüngeren BND-Dokumenten.
49:14
Tim Pritlove: Ja, also über die er definitiv hätte nicht verfügen dürfen und ja,
49:22
Tim Pritlove: Ja, also.
49:27
Tim Pritlove: Seine von ihm geführte Sicherheitsfirma System 360 soll wohl angeblich versucht
49:36
Tim Pritlove: haben, auch schon mal diese Kinder aus Dänemark zurückzuholen.
49:39
Tim Pritlove: Also er ist da in irgendeiner Form verstrickt und jetzt wurden im Rahmen dieser
49:43
Tim Pritlove: Ermittlungen auch noch eben diese Daten gefunden.
49:46
Tim Pritlove: Also das hat er wohl für seine private Beratertätigkeit genutzt und es ist nicht
49:54
Tim Pritlove: so ganz klar, was damit geschehen ist.
49:58
Tim Pritlove: Also uns, der Öffentlichkeit ist zumindest jetzt erstmal nicht so ganz klar,
50:01
Tim Pritlove: was es ist, aber es wurde hier,
50:04
Tim Pritlove: gesagt, es waren in der größten Ordnung von 2000 Dokumenten,
50:08
Tim Pritlove: geheim eingestuftes Material, auch von ausländischen Partnerdiensten.
50:13
Tim Pritlove: Also man hat ja auch so einen Austausch, also vielleicht jetzt nicht mehr so
50:17
Tim Pritlove: sehr mit den USA, ein paar Freunde haben wir ja noch.
50:20
Tim Pritlove: Und dabei seien halt auch so Unterlagen zum iranischen Atomprogramm dabei gewesen
50:25
Tim Pritlove: und Informationen des russischen Militär.
50:27
Tim Pritlove: Und the positive side ist.
50:31
Tim Pritlove: War wohl nicht so, dass das jetzt Informationen sind, die nach Russland gingen.
50:37
Tim Pritlove: Also es ist jetzt nicht so Verrat auf der Ebene. Ich vermute mal eher,
50:41
Tim Pritlove: es ist eher so ein, also ich vermute, der ich jetzt keine Ahnung habe von diesem Fall.
50:45
Tim Pritlove: Aber das klingt für mich jetzt mehr so als, er ist Sicherheitsberater,
50:50
Tim Pritlove: er hat ja auch angeblich finanzielle Probleme.
50:53
Tim Pritlove: Und wann bist du halt was wert als Sicherheitsberater? Wenn du Insider-Informationen
50:58
Tim Pritlove: hast. Wenn du in irgendeiner Form sagen kannst, ich weiß Bescheid,
51:02
Tim Pritlove: macht man das so, macht man das so.
51:05
Tim Pritlove: Das ist natürlich ein Asset, aber letzten Endes ist es nichts anderes als,
51:14
Tim Pritlove: ein Ausmaß von Landesverrat,
51:22
Tim Pritlove: der sich hier auftut. Und ja.
51:28
Linus Neumann: Aber also, ich meine, diese ganze Story ist so haarstreitig.
51:32
Linus Neumann: Verzeiht uns bitte, dass wir diesen Christina, diesen Blockfall da nicht hundertprozentig,
51:38
Linus Neumann: verfolgen. Aber die haben im Prinzip einen Sorgerechtstreit, also geschieden.
51:45
Linus Neumann: Und der Vater der Kinder ist mit den Kindern in Dänemark.
51:52
Linus Neumann: Oder war oder ist so. Und jetzt, Und hat eben die Christina Block,
51:58
Linus Neumann: die hat, wenn ich das richtig erinnere,
52:02
Linus Neumann: quasi von einem Gericht zugesprochen bekommen, dass die Kinder zu ihr kommen
52:07
Linus Neumann: oder sie das Recht hat, die zu sehen oder oder oder.
52:10
Linus Neumann: Und dann wollte sie das quasi entforcen, dass das auch passiert.
52:14
Linus Neumann: Und dann war der Vater aber mit den Kindern nach Dänemark abgehauen.
52:17
Linus Neumann: Und dann hat irgendwann ein Gericht gesagt, boah, jetzt sind die so lange in
52:20
Linus Neumann: Dänemark, das war zwar nicht richtig, dass er die mitgenommen hat,
52:24
Linus Neumann: aber im Sinne des Kindwohls können wir die jetzt auch nicht aus Dänemark wieder zurückholen.
52:28
Linus Neumann: Und daraufhin hat dann die, darunter hat die Familie Block dann sehr gelitten und,
52:35
Linus Neumann: Dann hat die offenbar zwei Versuche unternommen, die entführen zu lassen,
52:40
Linus Neumann: von denen der erste, so hier der Verdacht durch den August Hannig vermittelt wurde und schief ging.
52:49
Linus Neumann: Und dieser zweite, das ist eben der, der jetzt da gerichtlich behandelt wird.
52:55
Linus Neumann: Weil die sind dann auch unter Gewalt entführt worden.
53:01
Linus Neumann: Das ist eine haarsträubende Geschichte. Die Kinder hatten quasi schon,
53:05
Linus Neumann: weil die gewarnt waren, dass sie entführt wurden, hatten die schon Personenschutz-Buttons
53:10
Linus Neumann: und so. Das ist völliger Wahnsinn.
53:14
Tim Pritlove: Ich merke schon, du hast deine Gala gelesen. Ich lese hier gerade den Artikel.
53:22
Linus Neumann: Dann hat der Hannig offenbar auch,
53:28
Linus Neumann: war da irgendwie mit drin,
53:31
Linus Neumann: verwickelt, dass der Christina Block vermeintliche Beweise zugespielt wurden,
53:37
Linus Neumann: dass der Vater dieser Kinder irgendwie in,
53:43
Linus Neumann: dokumentierte Kindesmissbrauchsangelegenheiten verwickelt wäre und dann haben
53:47
Linus Neumann: sie versucht damit, also dann hat sie eine Strafanzeige erstattet und die Polizei
53:52
Linus Neumann: hat sofort gesagt, das ist aber irgendwie komisch.
53:54
Linus Neumann: Deswegen wurde dann wegen den Hannig auch
53:56
Linus Neumann: wegen Anstiftung zum Besitz kinderpornografischer Schriften ermittelt.
54:02
Linus Neumann: Also so richtig, richtig richtig, richtig dirty alles.
54:07
Linus Neumann: Und in dem Kontext gehen die dann irgendwann rein und sagen,
54:10
Linus Neumann: Alter, der Typ, der ist doch völlig weird. Wir gucken uns mal bei dem zu Hause
54:14
Linus Neumann: um und stellen fest, das sind Landesverräter.
54:16
Linus Neumann: Also, what the fuck? Und er hat irgendwelche Dokumente irgendwie aserbaidschanischen,
54:23
Linus Neumann: Quellen dann zugänglich gemacht.
54:26
Linus Neumann: Alter!
54:27
Tim Pritlove: Tja, die Besten der Besten, Sir.
54:36
Linus Neumann: Unglaublich, ey.
54:39
Tim Pritlove: Naja.
54:42
Linus Neumann: Also ich glaube, spätestens, nachdem wir jetzt mit dem Inlandsgeheimdienst,
54:51
Linus Neumann: den wir irgendwie, weiß nicht wie viele Jahre in den Händen von Georg Maaßen
54:54
Linus Neumann: hatten und jetzt der Auslandsgeheimdienst erstens,
54:59
Linus Neumann: unter so einem Typen war, der zweitens bis heute dann doch noch irgendwo seine
55:04
Linus Neumann: Finger drin hat und da die Leute schmiert,
55:08
Linus Neumann: der Vorwurf ist ja auch, dass da Geld an seinen ehemaligen Büroleiter gegangen
55:11
Linus Neumann: ist. Klar, weil ich meine,
55:14
Linus Neumann: was, also, Geheimdienste? Weiß ich nicht. Weiß ich nicht.
55:21
Linus Neumann: Da müsste man schon irgendwie mal kontrollieren, glaube ich.
55:24
Linus Neumann: Vielleicht bräuchte man so ein...
55:25
Tim Pritlove: Also ich meine, immerhin, muss man jetzt mal auch sagen, es ist ja nicht so,
55:30
Tim Pritlove: dass der Geheimdienst, das jetzt hier gemacht hat, sondern das waren halt Leute,
55:34
Tim Pritlove: die sich jetzt nicht mehr gearbeitet haben.
55:40
Tim Pritlove: Es ist schon nochmal ein anderer Fall. Aber es ist natürlich auch bedenklich,
55:46
Tim Pritlove: dass diesen Leuten mit viel Geld und mit viel Einfluss da zumindest dann auch,
55:56
Tim Pritlove: es so erscheint, dass sie sich so eine Sachen dann auch herausnehmen können.
56:00
Tim Pritlove: Ich meine, das ist ja schon auch wirklich krass.
56:02
Tim Pritlove: Und mal gucken, wie das ausgeht. Schön ist es nicht.
56:09
Linus Neumann: Also du hast das gerade so ein bisschen am Rande nur erwähnt.
56:16
Linus Neumann: Diese Erkenntnisse, die der da weitergegeben hat, die stammen ja nicht nur vom
56:23
Linus Neumann: BND. Also schlimm genug, dass sie vom BND sind.
56:27
Linus Neumann: Aber da waren eben auch Ergebnisse anderer befreundeter Geheimdienste quasi drin subsumiert.
56:36
Linus Neumann: Und das wiederum heißt natürlich, dass andere Geheimdienste sagen so, hm.
56:41
Tim Pritlove: Den können wir jetzt nichts geben.
56:42
Linus Neumann: Ich weiß jetzt nicht, ob wir mit den Deutschen da noch können,
56:44
Linus Neumann: weil wer weiß, an wen die die Scheiße verkaufen.
56:47
Tim Pritlove: Und die Deutschen haben da sowieso nicht so den besten Ruf, was das betrifft.
56:50
Tim Pritlove: Also es gibt ohnehin schon sehr viel Zurückhaltung bei anderen Ländern,
56:55
Tim Pritlove: weil die so die deutschen Geheimdienste nicht so ganz für, naja,
56:59
Tim Pritlove: ich sag mal, nicht für ganz so professionell halten.
57:02
Linus Neumann: Also das ist wirklich… Ja.
57:04
Tim Pritlove: Das ist natürlich ein Vertrauensbruch, aber ich meine, was willst du machen?
57:08
Linus Neumann: Genau, aber da muss man auch sagen, das ist eigentlich eine inhärente Notwendigkeit.
57:13
Linus Neumann: Also für Landesverrat musst du, Landesverrat ohne Vertrauensbruch, schwer, schwer.
57:20
Tim Pritlove: Da gucken wir mal, was bei rauskommt. Wahrscheinlich eine Geldstrafe abzahlbar in zwölf Monatsraten.
57:29
Tim Pritlove: Naja. Gut, dann war es das schon von uns heute.
57:36
Tim Pritlove: Ein paar von euch werden wir bei dem Salon sehen, den wir jetzt am Sonntag abhalten.
57:44
Tim Pritlove: Und wir hören uns dann nächste Woche irgendwann wieder. Oder so.
57:49
Linus Neumann: Mal gucken, was wir nächste Woche wieder machen.
57:51
Tim Pritlove: Mal gucken, was wir nächste Woche wieder so machen. Und dass er wieder für den
57:55
Tim Pritlove: Fuchs durch die Straße gejagt wird.
57:58
Tim Pritlove: Okay, das war's. Bis bald. Tschüss.
58:01
Linus Neumann: Ciao, ciao.