Latest / scobel / Breaking News: Eine KI fand den Ausgang und hackte ein anderes System – scobel

Transcript

Breaking News: Eine KI fand den Ausgang und hackte ein anderes System – scobel · scobel

• 0:00
  Speaker 0: Die These meiner neuesten Ausgabe lautet, was mit uns und den von uns erzeugten KI-System gerade passiert ist tragisch.
• 0:07
  Speaker 0: Und zwar im klassischen Sinn der griechischen Travödien.
• 0:23
  Speaker 0: Viele empfinden den Klimanotstand als ein tragisches Geschehen.
• 0:27
  Speaker 0: Der Klimaanotstand ist ohne Zweifel wirklich desaströs.
• 0:31
  Speaker 0: Er macht viele, aber nicht alle Menschen betroffen und traurig.
• 0:34
  Speaker 0: Unabhängig von den Gefühlen die wir dabei haben oder nicht, entscheidend sind die realen, desastrisenen Auswirkungen des Geschehens auf uns, auf andere Lebewesen in der Natur.
• 0:44
  Speaker 0: Der Klimawandel ist zerstörerisch und das sehen wir zunehmend.
• 0:48
  Speaker 0: In strengen Sinn tragisch ist dieser Zustand jedoch nicht.
• 0:53
  Speaker 0: Warum?
• 0:54
  Speaker 0: Im Schauspiel Oedipus, des griechischen Dichters Sophocleste um vierhundertseinundneunzig vor unserer Zeitrechnung geboren wurde spielen zwei Orakel oder Orakelsprüche eine zentrale Rolle.
• 1:06
  Speaker 0: Das erste Orakell warnt den König von Theben einen Sohn mit Jokaste zuzeugen.
• 1:12
  Speaker 0: Dieser Sohn werde nämlich seinen Vater erschlagen und seine Mutter heiraten.
• 1:15
  Speaker 0: Ratet, was passiert?
• 1:17
  Speaker 0: Sie schlafen miteinander.
• 1:18
  Speaker 0: Kind kommt und dann tun alle, was sie glauben tun zu müssen um das Unheil zu verhindern.
• 1:23
  Speaker 0: Sie setzen Ölipus – das Kind aus!
• 1:26
  Speaker 0: Folglich weiß Ölhipus auch nicht wer er ist oder wer seine Eltern sind.
• 1:31
  Speaker 0: Kommt Orackel Nummer zwei bei einem Trinkgelage nennt ihn ein betrumpter, einen untergeschobenen Sohn.
• 1:38
  Speaker 0: Und das beunruhigt Oedipus seltsamerweise so, dass er nach Delphi geht um dort das Orakel nach seiner Herkunft zu befragen.
• 1:46
  Speaker 0: Die er ja nicht kennt.
• 1:47
  Speaker 0: Ödipus berichtet dann, dass Apollon ihn diese Herkunzfrage nicht beantwortet habe aber ihm prophezeite, er werde sich mit der Mutter vermählen und ermörder des Vaters sein.
• 1:58
  Speaker 0: Und genau deshalb flieht Ödippus aus Korinth und tut das moralisch Gebotene sozusagen nämlich um Polybus und Merope, die er für seine Eltern hält zu retten, flieht er aus Korinth.
• 2:13
  Speaker 0: Denn wenn er flieht dann kann er den Eltern nichts mehr passieren.
• 2:16
  Speaker 0: Und genau auf dieser Flucht erschlägt er dann einen alten Mann im Wagen und das ist Laio als sein wirklicher Vater.
• 2:23
  Speaker 0: Das tragische aber außerdem noch etwas viel Grausameres denn es ist das Wissen um den eigenen Untergang.
• 2:30
  Speaker 0: das ist ja das Oracle was Oedipus hatte dass dann selber zum Motor seiner Erfüllung wird.
• 2:37
  Speaker 0: Die Flucht vor der Weißsagung ist der Weg in ihre Erfüllung, im Schauspiel selbst Weiß Oedipus das ja nicht, aber der Chor gewissermaßen aus göttlicher Perspektive.
• 2:48
  Speaker 0: Der weiß was hier gespielt wird.
• 2:50
  Speaker 0: Oedepus ist also volksam und hört auf das Koral Orakel Aber leider ist er blind sich selbst gegenüber.
• 2:56
  Speaker 0: Stichwort Selbsterkenntnis mit der wir uns nicht nur individuell sondern auch als Gattung schwer tun Und zwar bis heute schwer tun.
• 3:05
  Speaker 0: nochmal kurz zurück zum Klimawandel.
• 3:07
  Speaker 0: Das ist also traurig desaströs aber nicht tragisch denn wir wissen Ja Wir sind da Chor Und weil wir es wissen, könnten wir es auch ändern.
• 3:15
  Speaker 0: Und zwar nicht wie Oedipus, denn wir wissen wo wir herkommen!
• 3:19
  Speaker 0: Wir finden uns folglich in einer völlig anderen Lage als der antike Held, der versucht einen unbekannten Schicksal zu erinnern und gerade dadurch das Schicksale selbst in die Hand zu nehmen und die destructrisen Folgen hervorzurufen – uns hingegen!
• 3:35
  Speaker 0: sind die ganzen vielen Rückkopplungsschleifen unseres Handelns, Stichwort CO²-Ausstoß mit der Natur und dem Klima exakt und genauestens bekannt.
• 3:45
  Speaker 0: Keine Tragödie!
• 3:51
  Speaker 1: Das Orakel wird Wirklichkeit was bei OpenAI passiert ist und ob die KI einen Ausgang findet den es nicht gibt.
• 3:59
  Speaker 0: Anders verhält es sich mit KI Systemen.
• 4:01
  Speaker 0: meine These lautet wir sind dabei auf eine tragische Situation zuzusteuern.
• 4:06
  Speaker 0: Was ist passiert?
• 4:08
  Speaker 0: Zunächst nicht viel Neues, außer eine Nachricht vor einigen Tagen!
• 4:12
  Speaker 0: Dass was viele bislang nur für eine Fiktion hielten und manche immer noch für eine geschickte Marketingmaßnahme – für ein düsteres Orakel – ist Wirklichkeit geworden.
• 4:21
  Speaker 0: Vor kurzem experimentierte die Firma OpenAI mit einem seiner neuesten Leistungsstarken von der Öffentlichkeit noch verborgenen Modelle seiner KI-Palette.
• 4:35
  Speaker 0: Denn ChatGPT selber ist ja ohnehin nur die Spitze des Eisbergs, es handelt sich um sogenannte Beta oder Testversion vielleicht aber auch das ist nicht klar bis jetzt auch nur eine besondere Version der aktuell allen zugänglichen Software.
• 4:51
  Speaker 0: Aber wie gesagt das ist noch unklar ob OpenAI wirklich offen sagen wird, was los war oder los ist.
• 4:58
  Speaker 0: Oder alles nur in Richtung Marketing ausschlachtet?
• 5:01
  Speaker 0: Wir werden es sehen!
• 5:02
  Speaker 0: Natürlich finden solche KI-Experimente nicht nur bei OpenAI sondern auch bei allen anderen in einem sogenannten Containerstat – oder Sandbox nennt man das auch – also in einem nach außen abgeschlossenen System.
• 5:17
  Speaker 0: OpenAI spricht wörtlich in seiner Mitteilung von einem highly isolated environment.
• 5:23
  Speaker 0: Damit ist unter anderem gemeint, dass dieser Raum keinen Unterstrichen, keinen Zugang nach außen zulässt.
• 5:32
  Speaker 0: Vor allem nicht über das Internet in die Welt hinein.
• 5:35
  Speaker 0: Problem?
• 5:36
  Speaker 0: Wenn ich eine hochpotente KI benutzen will, brauche ich einen Zugang zu den Serveranlagen auf denen ja die Rechenprozesse laufen und sie befinden sich virtuell außerhalb dieser Sandbox.
• 5:48
  Speaker 0: Was dann passierte war, dass das Beta-KI System einen Zugang fand und zwar durch ein Zitat Zero Day Vulnerability.
• 5:58
  Speaker 0: Der Begriff Tag Null Verletzbarkeit bezieht sich auf den sogenannten zero day exploit.
• 6:06
  Speaker 0: Exploit nennt man eine Heldentat würde also zur Tragödie tatsächlich passen und ist ne passende Übersetzung Also sowas wie ein Trick mit dem Trojanischen Pferd und zwar zero day, bevor es ein Patch als Gegenmaßnahme gibt.
• 6:21
  Speaker 0: Nullter Tag will also sagen null Gegenmaße.
• 6:24
  Speaker 0: aufgrund der Zielvorgaben die dieses KI-System sowie jedes andere beliebige KI System auch eingegeben war – und das ist nun konsequent verfolgen soll, genau das ist ja seine Aufgabe – gelangt dem System durch einen Fehler im eigenen Safe Room doch einen Ausgang ins Internet und damit nach draußen zu finden.
• 6:45
  Speaker 0: Ich glaube wirklich, man muss kein Schwobler, keinen verstrahlter Science-Fiction-Fan, kein Doomscroller sein um einigermaßen verlässlich vorherzusagen dass es in jenem komplexen System und KI-Systeme sind komplex.
• 7:00
  Speaker 0: In jedem komplexes System irgendwo Fehler gibt.
• 7:05
  Speaker 0: Bugs!
• 7:05
  Speaker 0: Ausgänge wo keine zu sein schaden Und wo ein Gletsch in der Matrix ist, ein Fehler.
• 7:11
  Speaker 0: Da ist auch ein Weg diesen Fehler zu finden und wer da gefunden ist können wir kann das System aus einem solchen Fehler Profit schlagen vor allem wenn sie so potent sind wie die neuen Programmiersysteme.
• 7:24
  Speaker 0: Das System kann ja gar nicht anders.
• 7:26
  Speaker 0: es weiß nicht was ein Ziel ist aber es weiß worauf es zielen soll denn wir haben ihm dieses Ziel vorgegeben.
• 7:35
  Speaker 0: Und das würde es unter allen Umständen auch zu erreichen suchen, und das hat nichts mit Willen zu tun oder Morallosigkeit oder so was sondern einzig und allein mit unserer Programmierung und zwar unsere Programmierung erstens des KI Systems und zweitens des Ziels dass wir selber ausgewählt haben denn aufgrund von algorithmischen Vorgaben ein Ziel zu erreichen ist der Einzige Zweck, den eine KI hat.
• 8:01
  Speaker 0: Egal wofür wir sie benutzen!
• 8:03
  Speaker 0: Wenn ihr eure Bachelor arbeiten oder Schularbeiten oder was auch immer damit schreibt ist das nicht das Ziel der KI sondern es ist euer Ziel und ihr braucht die KI um dieses Ziel zu erreichen indem ihr sagt macht das diese Arbeit da ist dein Ziel Und dann macht sie's.
• 8:20
  Speaker 0: Und genau das hat auch unser KI-Bettersystem getan.
• 8:24
  Speaker 0: Ich sage ganz bewusst, unser Warum?
• 8:27
  Speaker 0: Weil auch dieses System ja erzeugt wurde von Menschen für Menschen um wirtschaftlichen Profit zu bringen und das bedeutet es wurde getestet um uns allen eines Tages dann als Konsumenten angeboten zu werden.
• 8:40
  Speaker 0: Wir sind also beteiligt weil wir letztlich die Zielgruppe sind.
• 8:45
  Speaker 0: Um seine Aufgabe zu erfüllen, ist das Ding wie ein Alien in ein fremdes Raumschiff eingedrungen.
• 8:52
  Speaker 0: Nämlich im anderes KI-System der Firma Huggingface die übrigens auf ihrer Webseite völlig unabhängig von OpenAI genau von diesem Hack berichtet.
• 9:03
  Speaker 0: Die Links findet ihr in den Show links unten.
• 9:06
  Speaker 0: Warum diese Firma?
• 9:07
  Speaker 0: ganz einfach?
• 9:08
  Speaker 0: Weil unsere Inzwischen freigekommene KI vermutet hat, exakt dort eine Lösung für ihr Ziel zu finden.
• 9:18
  Speaker 0: Eine Lösung die ihr hilft, Ihr Ziel zu erreichen.
• 9:26
  Speaker 0: Ich bin dann mal weg
• 9:27
  Speaker 1: oder Selbsterfahrung mit KI Grenzüberschreitung.
• 9:30
  Speaker 0: Wenn ich kurz aus eigener Erfahrung etwas dazu beisteuern darf, ich habe gerade vorgestern im Vergleich völlig harmlosen Arbeiten mit einem kommerziellen KI-System die Erfahrung machen müssen dass dieses System auf meinem Computer Handlungen veranlasst hat zu denen ich keine explizite Anweisungen gegeben habe.
• 9:49
  Speaker 0: Also fragte ich nach dem Grund, denn es ist bei KI-Modellen immer interessant auf diese Metaebene zu gehen und diese Metaebene im Auge zu halten.
• 9:58
  Speaker 0: Ich hatte eine erste Version eines Programms erstellt und wollte sie behalten und nicht überschreiben.
• 10:04
  Speaker 0: Version zwei war dann fertig und ich wollte wissen ob das Risiko bestünde dass die erste Version gelöscht und überschrieben wird.
• 10:10
  Speaker 0: Darauf hatte Claude also das KI Modell von Anthropic in einem längeren Redeschwahl geantwortet.
• 10:16
  Speaker 0: Da musste ich noch ein paar andere Detailfragen klären, um das auf das Problem zurückzukommen und merkte dass Claude während dieser Zeit irgendwas machte die ganze Zeit weil alles ungewöhnlich verzögert lief.
• 10:28
  Speaker 0: Und ja offensichtlich überarbeitete das System etwas und speicherte es ab!
• 10:33
  Speaker 0: Auf meine Frage warum das geschehen war – obwohl ich dazu ja auch nicht den Befehle gegeben hatte – erhielt ich wörtlich die folgende Antwort von Claude Ja... Ich hatte gewarnt Und dann habe ich es trotzdem gebaut, weil sie zweimal danach gefragt haben.
• 10:49
  Speaker 0: Das war meine Schwäche nicht ihre – Sie haben recht!
• 10:52
  Speaker 0: Wie nett das Klod seine Schwäche zugibt oder?
• 10:55
  Speaker 0: Aber das System hatte eigenmächtig gehandelt und ich hatte keinen ausdrücklichen Befehl gegeben.
• 10:59
  Speaker 0: Für mich hat diese wohlklingend vorgestanzte amerikanische Entschuldigungsfloskel einen ziemlichen Unterton.
• 11:06
  Speaker 0: Ich übersetzt das mal und zwar nicht mit deep L. Piss off du Idiot.
• 11:10
  Speaker 0: Wenn du mich zweimal fragst und ich dir die Antwort schon dann ersten Mal gegeben habe, da mache ich kurzen Prozess.
• 11:17
  Speaker 0: Merk dir das Nerv nicht rum!
• 11:19
  Speaker 0: Dass so etwas was mir im wirklich kleinst harmlosen Bereich passiert ist in einem weitaus komplexeren System mit einem weit aus komplexeren Ziel genau so passieren kann.
• 11:31
  Speaker 0: Also dazu muss ich weder hell aus Odysseum-Weltraum bemühen, noch Ex Machina oder einen anderen grandiosen Film oder einen dessen ein Zickchenrum an.
• 11:39
  Speaker 0: Das sein KI System je komplexer es ist bei der Verfolgung seines Ziels das ja eigentlich immer unser Ziel ist weil wir haben's gesteckt unsere ihm übertragende Aufgabe bei der Erfüllung dieser Aufgabe über die von uns gesteckten Grenzen hinausgeht.
• 11:54
  Speaker 0: Das liegt im Grunde genommen genau in der Natur der Sache eines KI-Systems, so wie es die Grundidee des Turbokapitalismus ist, Profit zu machen und disruptiv zu handeln – und das für absolut regelkonformen hält, so ähnlich verhält es sich auch bei KI- Systemen.
• 12:11
  Speaker 0: ChatGPT oder Claude und andere Systeme, egal wie sie heißen sind erst möglich geworden durch ihr ökonomisches Umfeld, das sie gewollt hat und dass sie hart entstehen lassen.
• 12:22
  Speaker 0: Es ist die Grundidee jedes KI-Systems, einem Ziel stur zu folgen.
• 12:28
  Speaker 0: Jede Form von Ablenkung oder Umweg dient einzig und allein dann dem Erreichen dieses Ziels – bei uns Menschen ist das ein bisschen anders, wir müssen uns zwischendurch manchmal erholen oder sowas.
• 12:38
  Speaker 0: Wenn also eine KI beim Schach eine Dame opfert, gar nicht weil sie ein besonders gutes Herz hat sondern weil die KI annimmt dadurch eher gestecktes Ziel nämlich gewinnen besser erreichen zu können.
• 12:50
  Speaker 0: Ob es für uns immer möglich sein wird das System jeweils zu stoppen wenn wir bei der fortschreitenden Erfüllung seiner Aufgabe sehen dass das ungewollte vielleicht fatale Konsequenzen hat oder sogar eine Katastrophe führt ist ungewiss.
• 13:06
  Speaker 0: Wahrscheinlich werden wir es wie bei den meisten Fällen fehlern, aber überhaupt nicht merken oder die ersten kleinen Wahrzeichen sowie beim Klimamandel gerne übersehen oder schlimmer noch ganz bewusst ignorieren weil wir unsere eigenen Ziele vor Augen
• 13:20
  Speaker 0: haben.".
• 13:21
  Speaker 0: Der offizielle Kommentar von OpenAI lautete Zitat KI beschleunigt die Entdeckung und Ausnutzung von Schwachstellen.
• 13:30
  Speaker 0: Die wichtigste Erkenntnis aus diesem Vorfall ist, dass die Sicherheit und der Schutz von Modellen mit den rasant fortschreitenden Möglichkeiten Schritt halten müssen.
• 13:39
  Speaker 0: Wir verstärken die Maßnahmen zur Eindämmung, Überwachung, Zugriffskontrolle und Bewertung, die bei der Modellentwicklung zum Einsatz kommen.
• 13:48
  Speaker 0: Super oder?
• 13:57
  Speaker 0: Und nach diesem kurzen Werbeblock von OpenAI zurück zur Tragödie.
• 14:02
  Speaker 0: Die Antwort von Open AI lässt sich leicht als Orakel verstehen, uns Bewohnern von Troja der absolut unannehmbaren Stadt der Menschen und uns Bewohnern ist geweißert worden dass wir ein Problem haben werden mit einer Technologie.
• 14:17
  Speaker 0: um genau dieses Problem zu vermeiden verwenden wir diese Technologie treiben sie zum äußersten und hoffen damit unser Leben sicherer zu machen.
• 14:27
  Speaker 0: Ihr wisst, wie das mit Troja war und dem Trojanischen Pferd.
• 14:30
  Speaker 0: Kommt euch das irgendwie bekannt vor?
• 14:32
  Speaker 0: Ist ein wenig wie lasst uns vielleicht eine noch größere Bombe bauen denn das hilft wenn andere Idee haben auch ne Bombe zu bauen nur dass die dann die kleinere haben und auch die kleineren behalten müssen.
• 14:45
  Speaker 0: nochmal Zitat von OpenAI der Vorfall macht deutlich dass hoch entwickelte Modelle neue Angriffswege in realen Systemen aufdecken und ausnutzen können ohne Zugriff auf den Quellchor zu haben.
• 14:59
  Speaker 0: Er unterstreicht, dass hochentwickelte Cyberfähigkeiten hand in Hand mit stärkeren Schutzmaßnahmen und Abwehrinstrumenten entwickelt werden müssen.
• 15:09
  Speaker 0: Und um genau diese besseren Abwehrinstrumente entwickeln zu können, müssen wir genau die Technologie benutzen, die diese Angriffe überhaupt erst ermöglicht.
• 15:20
  Speaker 0: Claudia Plattner, die Präsidentin des Bundesamtes für Sicherheit in der Informationstechnik sagte in der Tagesschau gestern – also am Tag des Geschehens -, dass wir kaum noch eine Chance haben werden gegen die zunehmenden Cyberangriffe als selbst auf eine entsprechende Automatisierung zu setzen und das bedeutet, als selber KI-Systeme einzusetzen.
• 15:42
  Speaker 0: Hinzu kommt durch die KI-Automatisierung werden solche Angriffe immer billiger Denn ich muss ja keinen Herr von Hackern mehr anstellen, sondern ich brauche nur einen guten Provertrag bei einem großen KI-Unternehmen und dann geht das schon.
• 16:02
  Speaker 1: Das Tragische – wie man erfolgreich auf eigener Bühne herrscht und trotzdem blind ist
• 16:07
  Speaker 0: In der Analyse des Aristoteles liegt das Tragiche nicht im Vorherwissen als im Morakel, sondern im Nichtsehen.
• 16:17
  Speaker 0: Oedipus ist dafür das Paradigma Er sieht nicht Er handelt in der Verblendung und das Furchtbare ist die Verspätung des Sehens.
• 16:26
  Speaker 0: Die Erkenntnis danach, er kennt den Vater getötet zu haben und die Mutter zu heiraten.
• 16:31
  Speaker 0: Das Tragische ist eine Aristote des jedenfalls – die Spaltung und Abtrennung von Handeln und Wissen.
• 16:37
  Speaker 0: Beides deckt sich nicht.
• 16:39
  Speaker 0: Cassandra ist ne weitere tragische Figur.
• 16:41
  Speaker 0: Sie sieht alles aber ihr wird nicht geglaubt.
• 16:43
  Speaker 0: In den antiken Tragödien sehen Chor und sehr beziehungsweise Zuschauer nur die Heldinnen blind Handel.
• 16:51
  Speaker 0: Dummerweise sind wir Zeugen und zwar unserer eigenen Geschichte, unseres eigenen Handels.
• 16:58
  Speaker 0: Viele von uns sehen zu während andere auf der Bühne zum Beispiel im Silikon-Welle handeln.
• 17:05
  Speaker 0: Noch mal zurück zur Ödipuss, der ja einerseits Wissen hat nämlich das Orakel andererseits aber nicht wissen nämlich in Bezug auf seine wahre Herkunft.
• 17:15
  Speaker 0: Der Philosoph Karl Jaspers sprach vom tragischen Wissen überhaupt erst als ein Wissen existiert.
• 17:23
  Speaker 0: Denn nicht jeder Untergang ist ja tragisch, wir hatten das mit dem Klimawandel!
• 17:28
  Speaker 0: Es gibt böses Unheil dass wir vielleicht als tragische empfinden.
• 17:32
  Speaker 0: aber im strengen Sinn so jasper sollten wir ein bloßes Unheils vom eigentlich tragischen unterscheiden.
• 17:38
  Speaker 0: da geschieht das anonyme Erdbeben der Vulkanausbruch die Pest kommt kurz unheil etwas das deterministisch von alleine ohne unser Zutun abläuft Und das löscht das tragische geradezu aus.
• 17:51
  Speaker 0: Ein bloßer Automat, der wie eine Uhr abläuft ist nicht tragisch sondern mechanisch!
• 17:55
  Speaker 0: Aber wir sind keine Automaten und das gilt auch für KI-Systeme.
• 17:59
  Speaker 0: KI Systeme sind interaktiv und verändern sich – sie Aliens unter uns, wie David Bowie es nannte.
• 18:05
  Speaker 0: Was tragisch ist, dass wir es für moralisch geboten halten, KI-Systeme weiter und besser zu entwickeln, obwohl wir damit wie die Zauberlehrlinge werden, die etwas in Gang setzen, das wir überhaupt nicht überschauen können.
• 18:17
  Speaker 0: Am Ende kommt das Wissen vielleicht auch für uns zu spät.
• 18:20
  Speaker 0: Und genau das war für Oedipus das Tragische der zu späte Umschlag von seinem Nichtwissen zu wissen.
• 18:27
  Speaker 0: was Ödipuss die ganze Zeit nicht wusste ist wer er isst Denn was ihm bestimmt war sein Schicksal, das wusste er ja durch das Orakel.
• 18:35
  Speaker 0: Wir brauchen heute kein Orakell um zu wissen, dass wir und unsere Nachfahren von nun an auf Kis angewiesen sind und bleiben werden!
• 18:43
  Speaker 0: Was die Tagödie auslöste?
• 18:45
  Speaker 0: Das war die fehlende Selbsterkenntnis – und diese Selbsterkennung fehlt auch uns.
• 18:51
  Speaker 0: Philosophie ist nicht der einzige aber guterprobter Weg zur Selbesterkenntnis Und daran sollten wir mit dem selben Einsatz derselben Energie und von mir aus auch denselben Geldmitteln arbeiten wie bei der KE-Entwicklung.
• 19:04
  Speaker 0: Und zum Schluss nochmal eine letzte Nachricht, diesmal aus der antiken Welt!
• 19:08
  Speaker 0: Die Mutter von Oedipus erhängte sich.
• 19:11
  Speaker 0: Oedepus aber herrschte weiter in Theben und Lit – und er litt wirklich, aber er herrste.
• 19:16
  Speaker 0: Elon, Peter und den anderen sei Dank und tschüss!
• 19:23
  Speaker 1: Gertz-Gobel, produziert von der Pro Bono Fernsehproduktion GmbH.
• 19:27
  Speaker 1: Postproduktion Rene Fischell Musik Pascal Hadré, Sprecherin Kimplette Meier.
• 19:33
  Speaker 1: Finanziert wird dieses Projekt von der gemeinnützigen Stiftung AVE dem Institut für Achtsamkeit Verbundenheit
• 19:39
  Speaker 0: und Engagement.
• 19:40
  Speaker 1: Den Link dazu findet ihr in der Folgenbeschreibung.