Latest / scobel / MuZero: Eine KI besiegt die Welt – scobel

Transcript

MuZero: Eine KI besiegt die Welt – scobel · scobel

• 0:00
  Speaker 0: Falls ihr mich irgendwo trefft und mich fragen solltet, wann für mich der Moment war?
• 0:04
  Speaker 0: Indem mir klar wurde das KI unser Leben verändert, dann lautet meine Antwort am fünften März.
• 0:12
  Speaker 0: Das war der Tag an dem der stärkste Go-Spieler der Welt, der amtierende südkoreanische Gomeister Lise Doll entgültig gegen das Programm Alpha Go von Deep Mind Verlor.
• 0:23
  Speaker 0: Und das Bild dieses Tages ist für mich ikonisch, so wie das Blue Marble genannte berühmte Foto dass die Astronauten vom Apollo-Sebzehn im Jahr neunzehntzwanzig von der Erde machte.
• 0:33
  Speaker 0: ich hatte mich damals schon länger mit GO also dem Spiel GO befasst ehrlich gesagt auch vor darüber ein Buch zu schreiben.
• 0:39
  Speaker 0: alle Experten sagten damals übereinstimmen dass einem Programm das menschliche Spieler in GO schlägt eines der komplexesten Spiele überhaupt, noch Jahrzehnte dauern würde.
• 0:50
  Speaker 0: Und dann kamen in den Sieg im Jahrzimmer.
• 0:52
  Speaker 0: Dann geschah noch was Unglaubliches!
• 0:55
  Speaker 0: Demis Hassabis, das war der führende Kopf hinter AlphaGo und sein Team, stellte in dem Algorhythmus Mu-Zero vor drei Jahre später.
• 1:04
  Speaker 0: und um den geht es heute.
• 1:06
  Speaker 0: Und ich gebe zu, dass die heutige Ausgabe etwas nördig klingen mag okay?
• 1:12
  Speaker 0: Aber wer sich die Mühe macht, zuzuhören wird – da bin ich mir wirklich sicher – etwas Entscheidendes nicht nur über KI verstehen sondern auch über die philosophische KI-Debatte lernen was Muzero angeht!
• 1:26
  Speaker 0: Nur zwei Dinge vorweg.
• 1:28
  Speaker 0: Erstens ist Muziro ein Algorithmus, der von null aus ohne Vorwissen und Regeln – ich werde das gleich noch erklären – beliebige Arkadespiele erlernen kann.
• 1:38
  Speaker 0: So wie den Klassiker Pac-Man!
• 1:41
  Speaker 0: Aber eben auch Schach oder Go.
• 1:42
  Speaker 0: Nach kurzer Zeit spielt das Programm dann all diese Spiele auf Weltklassenniveau.
• 1:46
  Speaker 0: Das Zweite ist die Weiterentwicklung dieses Algorithmos Die für die Vorstellung von Alpha-Fold III führte mit dieser Software, wo das nicht nur möglich aus Summenformeln wie zum Beispiel Kennt ihr aus der Schule?
• 2:01
  Speaker 0: H. IIO Wasserstoff Sauerstoff... ...die drei D Struktur dieser Moleküle vorherzusagen sondern auch die Interaktion der Molekül untereinander mit anderen Molekühlen zu berechnen.
• 2:13
  Speaker 0: also Wie binden sie?
• 2:14
  Speaker 0: Wie sind die räumlich gelagert?
• 2:16
  Speaker 0: und so weiter.
• 2:17
  Speaker 0: Das war eine Revolution insbesondere für Biologen und die pharmazeutische Industrie.
• 2:23
  Speaker 0: Und nur um euch mal eine Idee zu geben, die Entschlüsselung einer einzigen drei-D-Struktur eines einigermaßen komplexen Biomoleküles entsprach damals dem Umfang und der Dauer einer einzigen Doktorarbeit.
• 2:36
  Speaker 0: Und es gibt Millionen dieser Biomoleküle, das hätte also unglaublich lange gedauert.
• 2:41
  Speaker 0: Die Wissenschaftlerinnen waren sich sofort einig auf dieses Programm, hatten sie alle Jahrzehnte lang gewartet und tatsächlich wurde es zum Game Changer in der Biologie, in der Genetik, Medizin usw.
• 2:52
  Speaker 0: Noch im selben Jahr erhielt der KI-Forscher und Neurowissenschaftler Demis Sasabis selber ein leidenschaftlicher Computerspieler, Kopfhinter AlphaGo den Nobelpreis für Chemie.
• 3:03
  Speaker 0: Und genau das ist die Liga in der wir uns bereits mit dem eben angesprochenen damaligen Go-Spiel Sieger AlphaGo aber vor allen Dingen mit seinen Nachfolger Mu Zero bewegen.
• 3:15
  Speaker 0: und da ich Mu Zero unlängst im Gespräch mit Markus Gabriel über Japan und Kair erwähnt habe und Markus Gabriel und ich explizit auch über Mu gesprochen habe also ein chinesisch Japanisches Wort, wollte ich versuchen euch Mu Zero in dieser Ausgabe zu erklären.
• 3:31
  Speaker 0: Mu und das will ich wenigstens kurz erwähnen hier für die Fans fernöstlicher Philosophie.
• 3:36
  Speaker 0: Mu ist ein Wort dass im Dauismus vor allem Sembodismus eine zentrale Rolle spielt.
• 3:41
  Speaker 0: meistens wird es als nicht beziehungsweise unübersetzt sowie Unsinn oder unmöglich.
• 3:47
  Speaker 0: Mu bedeutet aber auch nichts so wie in Das Nichts was auch immer das Nichts isst.
• 3:54
  Speaker 0: Mu könnte allerdings in diesem Fall bei Mu Zero auch für Model Unknown stehen, also für unbekanntes Modell.
• 4:01
  Speaker 0: Dafür dass der Algorithmus in gewisser Weise kein Modell der Wirklichkeit voraussetzt mit dem er es zum Beispiel beim Go zu tun bekommt sondern selbst ein solches Modell baut wie das möglich ist.
• 4:14
  Speaker 0: genau das will ich versuchen euch zu erklären und verspreche euch es ist philosophisch extrem spannend und folgenreich um.
• 4:21
  Speaker 0: es ist nördig ja zugegeben aber eben auch bedeutsam.
• 4:26
  Speaker 0: Es wird sicher unter euch Informatikerinnen und KI-Spezialistinnen geben, die vieles nicht nur ein wenig anders formulieren würden sondern wahrscheinlich auch viel besser erklären könnten.
• 4:37
  Speaker 0: Und ja, KI-Programmierung ist jetzt nicht wirklich das was ich einen Tag lang mache!
• 4:42
  Speaker 0: Wenn es also Fehler oder Unklarheiten gibt – und ich kann auch nicht auf alle Details eingehen – dann korrigiert sie bitte mit einer gewissen Nachsicht in den Kommentaren.
• 5:04
  Speaker 0: Kurz zum Go-Spiel, das ja bekanntlich extrem alt ist.
• 5:08
  Speaker 0: Das GO-Brett hat nineteen mal neunzehn Felder was insgesamt dreihundertsechzig Schnittpunkte ergibt.
• 5:13
  Speaker 0: auf die legt man entweder einen schwarzen oder ein weißen oder keinem Stein.
• 5:17
  Speaker 0: Das bedeutet rein rechnerisch dass es drei hoch dreihundhundertsechsig und damit ungefähr zehn hoch hundert zwanzig mögliche Stellung gibt.
• 5:27
  Speaker 0: Das ist, das sind hundertzehntzwanzig Nullen und diese Zahl ist größer als die Anzahl der Atome im Universum und wenn ihr es nicht glaubt, ihr könnt's nachprüfen.
• 5:37
  Speaker 0: Nun sind nicht alle drei hoch dreihundertsechzig Positionen auch legal im Go-Spiel?
• 5:43
  Speaker 0: Es sind also ein bisschen weniger genau rund zwei Komma Null Acht Mal zehn Hoch Hundert Siebzig mögliche Zustände.
• 5:51
  Speaker 0: auf dem Go-Brett Berechnet man außerdem wie groß der sogenannte Spielbaum ist, also die ganzen Entscheidungen, die sich dann verzweigen und bedenken, dass die möglichen Spielzüge gegen Ende des Spiels abnehmen bleiben näherungsweise zehn hoch dreihundertsechzig Partien, die gespielt werden können.
• 6:08
  Speaker 0: Angesichts dieser Komplexität ist es erstaunlich das Museo überhaupt perfekt funktioniert.
• 6:15
  Speaker 0: zum Vergleich ein System, das den Spielbaum systematisch Schritt für Schritt durchsuchen würde bräuchte selbst bei zehn hoch neun Rechen-Operationen pro Sekunde mehr Zeit als das Alter des gesamten Universums, um auch nur eine einzige Stellung vollständig zu analysieren.
• 6:34
  Speaker 0: Verrückte Zahlen ich weiß!
• 6:35
  Speaker 0: Jetzt müsst ihr spielen also ich gebe euch das Brett.
• 6:39
  Speaker 0: Ich verrate euch keine einzigen Regel.
• 6:42
  Speaker 0: Alles was ihr seht sind diese Neunzehnen mal neunzehn unterschiedlichen Felder die dreihundertsechzig Steine.
• 6:49
  Speaker 0: Ihr wisst ihr zieht abwechselnd mit dem Gegner.
• 6:53
  Speaker 0: Am Ende des Spiels gibt es dann von mir ein Plus oder ein Minus.
• 6:57
  Speaker 0: und jetzt macht mal, genauer macht mal Millionen Mal!
• 7:02
  Speaker 0: Genau in dieser Lage befindet sich Mu Zero wenn's anfängt zu spielen.
• 7:07
  Speaker 0: Was passiert?
• 7:08
  Speaker 0: Na ja wahrscheinlich seht ihr zunächst nur mal Chaos hier macht da irgendwelche Bewegungen und Pfff ja was ist das Dann?
• 7:15
  Speaker 0: allmählich wenn ihr es paar hunderttausendmal gemacht habt erkennt ihr erste Muster und sehr langsam, vielleicht nach, keine Ahnung, Zehntausenden oder Hunderttausenden versuchen sowas wie eine Ahnung davon welche Züge gut und welche schlecht sind.
• 7:30
  Speaker 0: Genau das hat Mu Zero auch getan aber bald schon jeden menschlichen Spieler übertroffen und zwar egal in was Schach, Go, Shogi die .
• 7:41
  Speaker 0: .
• 7:41
  Speaker 0: .
• 7:41
  Speaker 0: die .
• 7:43
  Speaker 0: ______ätarik Spiele.
• 7:45
  Speaker 0: Wie war das möglich?
• 7:46
  Speaker 0: Diese Frage zielt weniger darauf ab ,wie dass technisch möglich war.
• 7:51
  Speaker 0: Dazu gibt es Paper und ich versuche euch diese Frage zu beantworten, sondern die Frage zielt vor allem darauf ab was das für unseren Begriff des Verstehens von etwas bedeutet?
• 8:06
  Speaker 0: Das Weltmodell dass keiner kennt.
• 8:09
  Speaker 0: Der Algorithmus Muziru von Deep Mind, also dem KI-Labor von Google wurde in der Zeitschrift Nature veröffentlicht.
• 8:17
  Speaker 0: Das Paper hat den Titel Mastering Atari Go, Chess & Shogi by Planning with a Learned Model.
• 8:24
  Speaker 0: Muziro weiß bis heute nicht wie Go gespielt wird – das kennt keine Regel!
• 8:29
  Speaker 0: Oder was zum Beispiel eine Dame im Schach ist?
• 8:32
  Speaker 0: Was erlaubt es und welcher Zug
• 8:34
  Speaker 0: nicht?!
• 8:34
  Speaker 0: Muzero bekommt lediglich eine Liste mögliche Aktionen.
• 8:38
  Speaker 0: Beim Go sind das threehundertsechzig Aktion, also für jeden Stein den ich überhaupt setzen kann auf dem Schnittpunkt eines Feldes plus die Möglichkeit zu passen.
• 8:48
  Speaker 0: Diese Zahl kennt Muzerum mehr nicht.
• 8:50
  Speaker 0: Zweitens erhält Muziro ein Signal wenn eine Partie zu Ende gespielt ist und drittens eine einzige Zahl am Ende nämlich plus eins für Sieg minus eins für Niederlage.
• 9:02
  Speaker 0: keine Regel kein Kommentar, kein Verständnis.
• 9:06
  Speaker 0: Aus diesen minimalen Informationen und Millionen von Partien gegen sich selbst lernt Musiro allmählich besser zu spielen als jeder Mensch!
• 9:14
  Speaker 0: Das einzige was das System weiß – denn etwas muss ich ja wissen – ist Folgendes.
• 9:20
  Speaker 0: Wanns an der Reihe es?
• 9:21
  Speaker 0: Es kennt also einen Takt.
• 9:23
  Speaker 0: Du spielst, ich spiel', du spiel' ich spieh'.
• 9:25
  Speaker 0: Jetzt das System dran, jetzt ich.
• 9:27
  Speaker 0: Dann weiß welche diskreten Aktionen möglich sind, also das Setzen eines Steins und die probiert Mo Zero zunächst völlig zufällig aus ohne zu wissen was das überhaupt auf dem Brett bedeutet.
• 9:41
  Speaker 0: Mo Zero kennt keine Regel.
• 9:44
  Speaker 0: etwa wenn du diesen Zug machst dann geht es nicht weil auf den Punkt schon ein Stein liegt.
• 9:49
  Speaker 0: Es weiß nur, wann eine Episode beendet ist und das Spiel vorbei ist.
• 9:53
  Speaker 0: Und es bekommt am Ende den sogenannten Skalarenausgang also den Zahlenwert für die Episode oder Partie plus eins zu gewonnen minus eins wird verloren.
• 10:02
  Speaker 0: Millionen solcher Plus- und Minus-Einswerte werden dann mit den Aktionsmustern des gesamten Spielverlaufs kombiniert und daraus ergibt sich nach und nach die Go-Spielkompetenz dieses Systems.
• 10:16
  Speaker 0: Und das Einzige, was das System von Anfang an besitzt ist ein sogenannte Markov Decision Process.
• 10:23
  Speaker 0: Ein vorher gebautes allgemeines Modell und zwar für Entscheidungen in Situationen mit unsicheren Ergebnissen – ich weiß ja am Anfang nicht wie der Spiel ausgeht!
• 10:33
  Speaker 0: Insofern ist MoSiro also nicht völlig leer.
• 10:36
  Speaker 0: aber dieses Modell hat überhaupt keinen Inhalt, zero Inhalt Keine Regel, kein Wissen.
• 10:44
  Speaker 0: Und jetzt kommt der entscheidende Schritt, der zunächst nur wie eine Verschiebung des Problems aussieht aber die Lösung darstellt.
• 10:53
  Speaker 0: Alles was Mu Zero von jetzt an macht ist selber mathematische Abbilder seine eigenen internen Berechnungen zu bauen diese sogenannten Hidden States ohne dabei auch nur die geringste Ahnung zu haben was das jeweils auf dem Spielfeld in diesem Fall bedeutet.
• 11:12
  Speaker 0: Das ist der präzise Sinn von Mu Zero lernt ohne Regelwissen.
• 11:17
  Speaker 0: Wenn euch dieser Markov-Entscheidungsprozess weiter interessiert, dann findet ihr jede Menge Informationen dazu im Netz.
• 11:23
  Speaker 0: Das Ganze wurde in den letzten Jahren eröffnet und spielt seitdem in ganz vielen unterschiedlichen Bereichen eine Rolle – und der Grundgedanke dieser sogenannten ist im Grunde genommen einfach zu verstehen, nämlich ihr konstruiert einen fortlaufenden Prozess von Wahrscheinlichkeiten ausgehend immer von einer vorgegebenen Anzahl von Zuständen.
• 11:45
  Speaker 0: Dieser Prozess verfügt aber über kein Gedächtnis also erwechselt dann zufällig von einem aktuellen Zustand in den nächsten Zustand und die Wahrscheinlichkeit dieses Übergangs in dem nächsten Zustands hängt einzig und allein vom aktuellen dem sogenannten aktuellen Hidden-State ab, aber nicht von früheren Zustandsübergängen.
• 12:07
  Speaker 0: Wie gesagt das System hat kein Gedächtnis.
• 12:09
  Speaker 0: Gesucht wird vom System.
• 12:10
  Speaker 0: jetzt gesucht heißt mathematischer Prozess die optimale Strategie oder Lösung die die gesamte Kette von Zustandsübergängen also einzelnen Zügen auf dem Spielfeld zum erwarteten optimal positiven Ende plus eins bringt.
• 12:32
  Speaker 0: Das erste Netzwerk ist sozusagen die Grundvoraussetzung.
• 12:37
  Speaker 0: Jetzt zum Bau, man könnte fast sagen zur physischen Aufbau von Musiro.
• 12:43
  Speaker 0: Musiro besteht aus drei neuronalen Netzen, die zusammenspielen.
• 12:48
  Speaker 0: Das erste Netz, die sogenannte Representation Function nimmt das Pixelbild des Bretts, also Spielbretz, sagen wir, deren Stein der jetzt auf G-X steht und kodiert diese Feststellung.
• 13:04
  Speaker 0: Bedeutet, es wandelt das Pixel-Bild.
• 13:06
  Speaker 0: Also das was wir sehen, das kann ich ja.
• 13:08
  Speaker 0: alles, was ich sehe, kann ich letztlich in Pixeln abbilden.
• 13:13
  Speaker 0: Es wandelt also das Pixel Bild dieses Spielbretts in eine vollkommen abstrakte mathematische Beschreibung im Zustandsraum und dieser Zustandsraum ist ein mathematisches System auch Hidden State genannt Im Programm.
• 13:31
  Speaker 0: Wie dieser Raum, der aus vielen Vektoren besteht, konkret gestaltet wird und wie viele Vektore es in diesem Raum überhaupt gibt – sagen wir es könnten fünfhundert zwölf, es könnten auch mehr oder weniger sein – ist vollkommen dem System überlassen das Autonom in Anführungsstrichen handelt.
• 13:49
  Speaker 0: Und das ist genau der Trick bei der Sache, es sieht ja so aus als ob ich einfach das Problem vom Spielfeld jetzt in diese Hidden States überführe und dann ist das Problem da weil die ein Abbild sind.
• 14:01
  Speaker 0: Nein völlig falsch!
• 14:02
  Speaker 0: Diese Vektor-Darstellungen im Inneren also dieses mathematische Konstrukt ist kein... und man muss das wirklich betonen absolut kein Abbild des Bretts, also kein Abbild der Realität da oben.
• 14:16
  Speaker 0: Das Spielfeld in irgendeiner Form ist es einfach nur eine abstrakte mathematische Spur die das System für sich selbst anlegt um überhaupt etwas zu haben mit dem es rechnen kann.
• 14:29
  Speaker 0: und dass Vorgängersystem nämlich Alpha Zero das damals gegen den Gogh Weltmeister gewonnen hat brauchte anders als Mo Zero das später kam Ein vollständiges Modell von Spielregeln, das nennt man ein sogenanntes Umgebungsmodell.
• 14:44
  Speaker 0: Das Programm wusste also auch was Züge sind welche Züger erlaubt sind weil man ihm die Regeln eingegeben hat wie das Brett nach einem Zug aussieht wie sich verändert wann das Spiel endet und so weiter und sofort.
• 14:57
  Speaker 0: Museo muss all dass selber herausfinden indem es sich eine innere Welt ein mathematisches Modell erarbeitet, das nur aus Zahlen besteht und im Grunde genommen ein Vektoraum ist in dem sich ständig Vektoren verschieben.
• 15:12
  Speaker 0: Dieses System arbeitet ohne jedes Wissen was da überhaupt in der Wirklichkeit passiert oder was das überhaupt ist?
• 15:20
  Speaker 0: Der Trick ist dass das System aus dem was die Pixel also gewissermaßen die Seewahrnehmung angestoßen hat ein völlig eigenes internes abstraktes mathematisches Weltmodell baut.
• 15:34
  Speaker 0: Und das kennt im Grunde genommen nur ein einziges Ding, nämlich die Suche nach Zügen, die am Ende für eine gute Entscheidung, für einen guten Ausgang des Spiels sorgen plus eins.
• 15:48
  Speaker 0: Das System arbeitet also nicht auf der Pixel-Ebene Nicht auf der Ebene des Spielbretts, überhaupt nicht.
• 15:54
  Speaker 0: Auch nicht auf der Ebenen unserer Wahrnehmung.
• 15:56
  Speaker 0: Es verrechnet lediglich seine eigenen inneren Zustände.
• 16:00
  Speaker 0: Das innere Weltmodell ist also kein Abbild der Realität keine Simulation.
• 16:06
  Speaker 0: es ist völlig unterschiedend davon und damit unterscheidet sich auch von dem was die Philosophie seit Jahrtausenden über Begriffe denkt und ihr Verhältnis zur Welt, nämlich dass Begriffs irgendwie ja doch Abbilder der Wirklichkeit sein müssten.
• 16:24
  Speaker 0: Das ist beim Moseiro einfach nicht der Fall!
• 16:33
  Speaker 0: Das eigentliche Lernen wird erst jetzt durch das zweite Netz möglich.
• 16:38
  Speaker 0: und hier liegt die eigentliche Innovation – das Herzstück, die sogenannte Dynamics Funktion.
• 16:45
  Speaker 0: Diese Dynamikfunktion simuliert, wie der nächste Hidden State aussieht und welche Belohnung dieser Zustand möglicherweise mit sich bringen wird.
• 16:56
  Speaker 0: Am Anfang bringt er natürlich noch keine Belohnungen mit sich denn eine Belohnen gibt es ja erst nach ganz vielen Spielzeugen am Ende des Spiels.
• 17:03
  Speaker 0: aber durch Millionen solcher Spiele lernt die Dynamics Funktion nämlich.
• 17:10
  Speaker 0: das bedeutet sie passt sich besser an diese unterschiedlichen Aktionsfolgen an, die am Ende zur Belohnung führen.
• 17:18
  Speaker 0: Was Museo jedoch auf keinen Fall bekommt ist irgendeine Regel oder irgendein Tipp für seine Dynamics Function wie sie den Zustandsübergang von dem was jetzt ist zum nächsten Zustand zu entscheiden oder zu wählen hat.
• 17:35
  Speaker 0: Niemand zeigt im System wie seine nächste gewählte Aktion aussehen soll, also der Übergang vom einen zum nächsten Hidden-State.
• 17:44
  Speaker 0: Der dann irgendwas auf dem Brett auslöst das das System aber auch nicht direkt erfährt sondern nur weiter wieder als Hidden State.
• 17:53
  Speaker 0: intern als mathematische Beschreibung verrechnet.
• 17:56
  Speaker 0: und allmählich registriert das System dann wenn es eine Aktion immer wieder macht Das heißt, wenn ein Hidden State immer wieder zu einem anderen Hidden-State führt der am Ende aber zu einer schlechten Bewertung wird dass das so ist.
• 18:10
  Speaker 0: Warum weiß das System nicht?
• 18:13
  Speaker 0: Es weiß auch nicht was es da macht Aber es wird diese Verkettung von Zuständen vermeiden und etwas anders machen weil es ja nicht verlieren will.
• 18:24
  Speaker 0: Das System bildet also nie die Realität ab sondern immer nur, was für die Vorhersage von einer möglichen Belohnung nützlich ist.
• 18:34
  Speaker 0: Und all das bleibt total rein abstrakt!
• 18:37
  Speaker 0: Eine Operation in einem vieldimensionalen Vektoraum ohne irgendeine kausale Verbindung zu den Figuren da auf dem Brett – also Schach oder bei Go die Steine.
• 18:48
  Speaker 0: Das dritte Netz, die Prediction Funktion versucht jetzt zweierlei.
• 18:55
  Speaker 0: Die Wahrscheinlichkeitsverteilung über mögliche Aktionen voraus zu sagen, was Policy genannt wird.
• 19:01
  Speaker 0: Also könnte ich sagen die Politik, die Strategie des Systems und zweitens zu ermitteln wie gut die Aktion langfristig sind Value genannt also was für ein Wert meine Aktion, die ich jetzt mache Langfristig haben wird eine Modellwelt ohne Regeln.
• 19:23
  Speaker 0: Muzero plant also sein Handeln Die Vorhersage des nächsten Schritts in einer Welt, die es selber vollständig konstruiert hat.
• 19:35
  Speaker 0: Es stellt sich gewissermaßen Szenarien vor – das sind natürlich alles nur Metaphern -, indem es Wahrscheinlichkeiten berechnet und die miteinander vergleicht.
• 19:43
  Speaker 0: Was folgt auf diesen Zustand?
• 19:45
  Speaker 0: Und was auf jenen?
• 19:47
  Speaker 0: Und dann errechnet es durch seine Funktion den wahrscheinlich besten nächsten Zug!
• 19:51
  Speaker 0: Aber nochmal….
• 19:52
  Speaker 0: Das Weltmodell, dass Mo Zero allmählich aufbaut, bildet keine wirkliche Welt ab sondern eine Belohnungsfunktion.
• 20:01
  Speaker 0: Wahrscheinlichkeiten die am Ende möglicherweise zu einer Belohnung plus eins führen.
• 20:08
  Speaker 0: Das System kennt nur Wahrscheinlichkeit und das ist bei uns wenn wir spielen natürlich vollkommen anders!
• 20:15
  Speaker 0: Warum?
• 20:15
  Speaker 0: Naja wenn wir auf dem Brett spielen dann arbeiten wir mit Kausalstrukturen denn wir haben ja die Regeln des Spiels die wir kennen.
• 20:22
  Speaker 0: wenn mir das machen passiert dass Im Unterschied zu uns wird das System nie wissen, warum ein Zug gut oder schlecht war.
• 20:31
  Speaker 0: Es weiß nur, wenn ich das und das so mache, dann verliere ich wahrscheinlich!
• 20:37
  Speaker 0: Warum?
• 20:38
  Speaker 0: Keine Ahnung – es kennt ja keine Regel und weiß auch nicht was die Ausführung der Berechnungen des nächsten Zustands kausal auf dem Brett wirkt.
• 20:47
  Speaker 0: Statt einem Zug auf den Feld also mit soem Gurtstein könnte auch zum Beispiel ein Mensch getötet werden.
• 20:55
  Speaker 0: Das System wüsste es nicht, das berechnet völlig unabhängig davon.
• 20:59
  Speaker 0: Im Modell von Muzero sind also weder die Kausalketten der realen Welt gespeichert noch irgendein Regelsystem, dass wir verbalisieren könnten über das wir sprechen und erklären können.
• 21:13
  Speaker 0: Alles was gespeicher wird sind Wahrscheinlichkeitsverläufe von einem Hidden State zu einem anderen mathematisch ausgedrückt, geometrische Veränderungen in einem hochdimensionalen Vektoraum.
• 21:27
  Speaker 0: Die innere Welt des Systems baut weder die Physik des Spiels nach noch irgendwelche kausalen Regeln, nach denen die Welt unseres Spiels tatsächlich wenn wir also spielen abläuft.
• 21:38
  Speaker 0: All das kennt das System nicht!
• 21:40
  Speaker 0: Es spielt ohne Regeln und gewinnt gegen Menschen, die nach Regeln spielen.
• 21:46
  Speaker 0: Und das ruft natürlich Fragen auf dem Plan.
• 21:53
  Speaker 0: Ein philosophischer Vergleich.
• 21:55
  Speaker 0: Philosophisch ählt das strukturell einer Idee, die Immanuel Kant hatte und ihn berühmt gemacht hat.
• 22:02
  Speaker 0: Kanzargument war, dass wir nie das Ding an sich... die Dinge an sich erkennen, sondern immer nur ihre Erscheinungen.
• 22:09
  Speaker 0: Aber diese Erscheinung zeigen trotzdem Funktionalkurrente Muster – also sie lassen auf was schließen!
• 22:16
  Speaker 0: Warum ist das so?
• 22:17
  Speaker 0: Antwort kannt weil Sie durch Formen der Anschauung geordnet werden unsere Anschauungen.
• 22:24
  Speaker 0: und an dem Punkt unterscheidet sich Kant massiv von Musero denn Kant nahm an dass diese Formen a priori sind.
• 22:36
  Speaker 0: Das heißt, sie sind bereits vorweggegeben – wir machen Sie nicht!
• 22:40
  Speaker 0: Bei Kantz sind die Formen der Erkenntnis nicht nur a prioris, sie ist universal und das bedeutet für alle vernünftigen Wesen gleich um.
• 22:48
  Speaker 0: dazu würde zum Beispiel für Kant auch so ein Programm gezählt haben.
• 22:51
  Speaker 0: Bei Musiro hingegen entstehen all diese Dinge erst.
• 22:56
  Speaker 0: Sie sind also a posteriori im Nachhinein entstanden und erlernt.
• 23:01
  Speaker 0: Die Regeln sind nicht universell sondern völlig spielspezifisch und systemspezifik sogar.
• 23:09
  Speaker 0: Museumsformen der Anschauung sind nichts als Kombination aus Verlustfunktion- und Gewinnsignal, die Welt wird so repräsentiert wie sie für das Handeln also die Transformation innere Zustände in einem Vektorraum relevant ist – aber nicht wie es an sich oder für uns ist!
• 23:36
  Speaker 0: Aus diesem Grund hat das MoZero-Programm auch einen äußerst verwundbaren Punkt, denn es gibt eine fundamentale Einschränkung bei dem Ganzen.
• 23:47
  Speaker 0: So klug das ist!
• 23:48
  Speaker 0: Das System kann nur lernen was im Selbstspiel immer wieder, immer wieder erreichbar wurde.
• 23:56
  Speaker 0: Wenn es durch zufälliges Probieren nie in einer bestimmten Spielsituation gerät, kann es auch dort nichts lernen.
• 24:03
  Speaker 0: Es kann keine Verlustfunktion bilden.
• 24:06
  Speaker 0: Das ist wie der autonome Rasenmäher, deren bestimmtes Gebiet eines Parks einfach nicht kennt und deshalb auch nicht auf seiner inneren Karte verzeichnet hat.
• 24:16
  Speaker 0: Gerade bei GO ist dieses Problem insofern nicht von großer Bedeutung weil dieser Zustandsraum durch Selbstspiel im Laufe der Zeit super gut abgedeckt wird.
• 24:26
  Speaker 0: aber bei weit aus komplexeren offenen Umgebungen – das sind ja die Umgebung mit denen wir eine Wirklichkeit zu tun haben Also bildhaft gesprochen mit sich ständig verändernden Spielfeldern, wird dieser Punkt zu einer echten Schwäche von Museo und natürlich von ähnlichen Modellen die sich ihre Welt mit Wahrscheinlichkeitsrechnungen erschließen.
• 24:49
  Speaker 0: Woran sich eine philosophisch interessante Frage anschließt?
• 24:52
  Speaker 0: Nämlich die ob nicht am Ende unsere eigenen Konstruktion von den Kausalketten auf die wir uns ja so viel einbilden... Das ist das, was dann in den Lehrbüchern festgehalten wird.
• 25:04
  Speaker 0: Ob nicht diese Kausalketten letztlich nur Kausallwetten sind?
• 25:09
  Speaker 0: Vermutung dass es auch beim nächsten und bei millionsten Mal genauso sein wird aber eben nur Vermutungen!
• 25:16
  Speaker 0: Und darauf machte vorkant bereits David Hume aufmerksam.
• 25:21
  Speaker 0: er unterscheidet im Treatise von Zwei Arten von Erkenntnis.
• 25:33
  Speaker 0: Die einen nennt er Relations of Ideas, also logisch notwendige Wahrheiten die durch bloße Begriffsanalyse Verhältnisse von Begriffen zugänglich gemacht werden und Matters-of-fact Aussagen über die Wirklichkeit, über die Welt, die immer nur aus unserer Erfahrung stammen.
• 25:53
  Speaker 0: Kausale Aussagen, also über Zusammenhänge in der Wirklichkeit gehören zur zweiten zu empirischen Kategorie.
• 25:59
  Speaker 0: Und hier liegt jetzt das Problem.
• 26:01
  Speaker 0: Wenn ich nämlich sage A verursacht B, also dieser Spielzug verursagt eine Niederlage oder dieses Bakterium bewirkt eine Krankheit dann behaupte ich dass es eine notwendige Verbindung zwischen A und B gibt.
• 26:17
  Speaker 0: aber jetzt mal ehrlich was beobachte ich eigentlich genau?
• 26:21
  Speaker 0: Lediglich folgendes a tritt ein b tritt auf Und dann kann ich noch feststellen, dass das in der Vergangenheit wiederholt so war.
• 26:32
  Speaker 0: Und damit hat sich's!
• 26:33
  Speaker 0: Was ich jedoch nie beobachte – das ist die Notwendigkeit selbst.
• 26:39
  Speaker 0: Die angeblich kausale Kraft, also die Notwendigkeit, die A und B zusammenzwingt, ist in keiner einzigen Sinneserfahrung enthalten.
• 26:50
  Speaker 0: Sie isst eine Zutatsaktivitium, die der Geist aus Gewohnheit er nennt das Custom oder Habit hinzufügt, also gewohnheitsmäßig.
• 27:00
  Speaker 0: Wir sehen konstante Verbindungen und Folgen von Ereignissen und schließen dann aus Gewohnheit daraus auf Kausalität.
• 27:09
  Speaker 0: Aber dieser Schluss ist im Grunde genommen logisch überhaupt nicht rechtfertigt – genau das ist das sogenannte Induktionsproblem!
• 27:17
  Speaker 0: Und das hat Kant gequält und erlöst es indem er sagt, dass a priori bestehende Muster der Verbindung in unserem Verstand gibt.
• 27:26
  Speaker 0: Die haben wir alle, alle vernünftigen Wesen – das ist Rationalität!
• 27:30
  Speaker 0: Und diese Verbindungen können wir sehen wenn wir Naturgesetze erkennen und wir tragen sie sozusagen in die Natur rein.
• 27:40
  Speaker 0: Im Grunde genommen beobachten wir unsere eigenen Kategorien bei der Arbeit.
• 27:45
  Speaker 0: Es würde jetzt zu weit führen, aber man könnte mit Blick auf die spätere Sprachphilosophie ein Argument daraus machen dass wir ja über diese Kausalitäten immer wieder in einer Sprache nachdenken.
• 27:57
  Speaker 0: also wir verständigen uns ja jetzt auch gerade wieder diese Möglichkeiten von Kausalitäten.
• 28:03
  Speaker 0: Und Sprache hat natürlich immer eine logische Struktur, das würde Kant genauso zugeben wie es zum Beispiel Wittgenstein gesagt hat.
• 28:11
  Speaker 0: und diese kausale Struktur der Sprache die formulieren wir dann in Begriffen wie weil deshalb auf X folgt Y und so weiter.
• 28:20
  Speaker 0: Das ist in unsere Denken, in unsere Sprache eingebaut.
• 28:23
  Speaker 0: Warum?
• 28:24
  Speaker 0: Wittgenstein würde sagen naja weil diese Kausalsprache in unsere ganze Lebensform eingebettet ist.
• 28:32
  Speaker 0: Weil unser Leben so ist.
• 28:34
  Speaker 0: wenn das runter fällt geht es kaputt.
• 28:36
  Speaker 0: reden wir so!
• 28:37
  Speaker 0: Wenn ich mich jetzt frage ob ich nicht doch schon mal zum Beispiel auf dem Mond weiß dass möglich oder außerirdischer haben mich entführt kann Ich zumindest das verneinen, weil es in meine Lebensform überhaupt nicht passt.
• 28:52
  Speaker 0: Also auch nicht die Lebensform von Leuten, die ich kenne und so ein Ereignis kann ich unmöglich vergessen haben.
• 28:59
  Speaker 0: Muziro hat keine Sprache und keine Lebensform, keine verbindlichen Erfahrungen – es hat übrigens auch keinen Spaß!
• 29:07
  Speaker 0: Es hat kein Begriff von Weil oder deshalb.
• 29:11
  Speaker 0: Es hat nur Vektoren Und Transformation, mathematische Transformation von einem Zustand vom anderen die mit Wahrscheinlichkeiten zu tun haben.
• 29:21
  Speaker 0: Und vor allem wie gesagt kennt es keine einzige psychologische Notwendigkeit.
• 29:27
  Speaker 0: und nochmal Es hat keinen Spaß im Leben vielleicht weil's auch gar kein Leben ist Das unbelastbare System.
• 29:39
  Speaker 0: Noch.
• 29:39
  Speaker 0: was gibt´s zu beachten?
• 29:40
  Speaker 0: Das stellt sich nämlich die Frage ob wir wenn MoZero gut funktioniert nicht von dem System lernen können, also von diesen Hidden States des Systems die da irgendwie drin sind lernen können indem wir sie zum Beispiel auslesen.
• 29:55
  Speaker 0: Geht das überhaupt?
• 29:56
  Speaker 0: Kann man im Nachhinalen diese inneren mathematischen mehr dimensionalen Zustände auslösen?
• 30:02
  Speaker 0: Auslesen pardon.
• 30:04
  Speaker 0: Antwort Ja, technisch geht das teilweise.
• 30:08
  Speaker 0: Es gibt eine ganze Forschungsrichtung namens Mechanistic Interpretability die genau das versucht und drei dieser Methoden sind zum Beispiel das sogenannte Probing ist nicht doch was in den inneren Zuständen von außen versteckt also Simulation Dann die Dimensionsreduktion.
• 30:27
  Speaker 0: Dabei versucht man den hochdimensionalen inneren Raum auf zwei oder drei Dimensionen zu projizieren und dann herauszufinden, ob sich da nicht vielleicht Cluster bildet.
• 30:37
  Speaker 0: Und dann das sogenannte Activation Patching.
• 30:40
  Speaker 0: Man tauscht einfach innere Zustände des Systems aus.
• 30:44
  Speaker 0: Was dann dabei herauskommt, bei all dem gilt aber der innere Raum der KI-Systeme.
• 30:49
  Speaker 0: Ist überhaupt nicht für menschliche Lesbarkeit optimiert und hat auch mit menschlicher Lesbarkeits so wie wir uns die Welt konstruieren erst mal überhaupt nichts zu tun sondern ist einzig und allein auf Nützlichkeit und Performance des nächstes internen Systems ausgerichtet was zum Beispiel für uns kausal eng zusammenliegt.
• 31:10
  Speaker 0: Und wir sagen ja beispielsweise, wenn wir miteinander reden das eine Schlussfolgerung naheliegend ist.
• 31:16
  Speaker 0: Dann kann das im Vektorraum des Systems beliebig weit auseinander liegen?
• 31:22
  Speaker 0: Das hat der West betrachten wird überhaupt nix miteinander zu tun auf den ersten Blick!
• 31:26
  Speaker 0: Was menschlich zusammengehört, kann im mathematischen Raum wild verstreut und verteilt sein.
• 31:33
  Speaker 0: Vor allem aber nutzt uns die Analyse des inneren Raums überhaupt nichts – warum
• 31:38
  Speaker 0: nicht?!
• 31:38
  Speaker 0: Der interne Raum und damit die Gewichte, also wie das neuronale Netz eingestellt ist.
• 31:46
  Speaker 0: All das kann durch eine sogenannte invertierbare Transformation belebig verändert und ersetzt werden.
• 31:54
  Speaker 0: Und dabei verändert sich das Verhalten des Gesamtsystems kein bisschen.
• 31:59
  Speaker 0: Ihr könnt euch das vielleicht so vorstellen wenn ihr zwei Zahlen habt.
• 32:04
  Speaker 0: Ihr addiert zu beiden Zahlen zehn bleibt das Verhältnis der Zahlen gleich, obwohl ihr es mit anderen Zahlen zu tun habt.
• 32:11
  Speaker 0: Aber der interne Raum also die Gewichte der neuronalen Netze wie die eingestellt sind, das sieht vollständig anders aus und deshalb gibt's nahezu unendlich viele mathematisch-equivalente Darstellungen desselben Performance, desselbe Systems.
• 32:31
  Speaker 0: Die Frage welcher innere Systemzustand jetzt der richtige ist, ist vollkommen sinnlos.
• 32:38
  Speaker 0: Das KI-System I performt optimal, KI-system II performt optimale.
• 32:45
  Speaker 0: Wo ist der Unterschied?
• 32:46
  Speaker 0: Genau das ist aber die Frage über die wir als Menschen streiten, wenn wir über unsere sogenannten Weltmodelle also unsere inneren Weltanschauung miteinander streiten und sie vergleichen.
• 33:00
  Speaker 0: Und uns wie die Geschichte ja leider zeigt aufgrund dieser unterschiedlichen Weltschauungen in UNF auch töten.
• 33:08
  Speaker 0: bei Muziro gilt dass jedes einzelne System das nach außen perfekt spielt und es alle schlägt tatsächlich in völlig anders aussehen kann als ein anderes System, das genauso perfekt spielt.
• 33:22
  Speaker 0: Gleiche Performance – völlig anderes Innenleben!
• 33:26
  Speaker 0: Weshalb es nahezu unendlich viele KI-Systeme gibt die auf allen und derselben Cloud oder Serverstruktur beruhen?
• 33:34
  Speaker 0: In Wahrheit gibt's also heute nicht ein paar KI Modelle sagen wir Chechipiti und Cloth und Lushat
• 33:41
  Speaker 0: usw.,
• 33:42
  Speaker 0: sondern es gibt so viele KIs wie es Userinnen gibt, die mit ihnen interagieren.
• 33:51
  Speaker 0: Noch ein philosophisches Problem.
• 33:54
  Speaker 0: Okay, ich gebe zu... Ich habe ein paar technische Raffinessen ausgelassen über die man vielleicht reden müsste damit alles ein weniger missverständlich ist.
• 34:04
  Speaker 0: Am Ende ist aber entscheidend dass man Musiro technisch bauen und erklären kann.
• 34:10
  Speaker 0: Vielleicht hab' ich das nicht optimal gemacht Aber man kann das machen.
• 34:13
  Speaker 0: Genau an dieser Stelle hört Musiro auch auf ein technisches Problem zu sein.
• 34:18
  Speaker 0: Es wird damit ein erkenntnistheoretisches, ein philosophisches Problem.
• 34:22
  Speaker 0: Warum?
• 34:23
  Speaker 0: Weil es uns auf uns selber stößt!
• 34:25
  Speaker 0: Warum ist das so?
• 34:26
  Speaker 0: Wir selber haben ja als biologische Lebewesen mit einem Gehirn – dass ist das was zwischen unseren Ohren sitzt – keinen privilegierten Zugang zu unserem internen Maschinenraum also zu dem Organ in dem unsere Repräsentation der Welt entsteht.
• 34:45
  Speaker 0: auch wir können das Gehirnen nicht bei der Arbeit sehen, so wie Museo nicht die Welt der Brettspiele sehen kann.
• 34:53
  Speaker 0: Und wie die komplexen künstlichen neuronalen Netze, können wir nach heutigem Stand des Wissens auch unsere menschlichen biologischen neuronal netze im Gehirn nicht einfach auslesen und dann daraus Schluss folgern was sie gerade machen oder woran Sie arbeiten oder was Sie denken oder was sie fühlen.
• 35:12
  Speaker 0: Was wir auslesend können sind gewisse Korrelate.
• 35:15
  Speaker 0: also wenn die Amygdala massiv enerviert ist dann wissen wir dieser Mensch hat entweder Angst oder es wütend.
• 35:22
  Speaker 0: Wir können auch Schatten von Gedanken oder Gefühlen erkennen.
• 35:26
  Speaker 0: Projektionen, die wir für relevant halten – ja!
• 35:29
  Speaker 0: Museo hat nur im übertragenen Sinn ein Innenleben.
• 35:33
  Speaker 0: Das ist ein mathematisches Konstrukt.
• 35:35
  Speaker 0: was da abläuft.
• 35:36
  Speaker 0: Ob dieses Innenleben je in Begriffen, also mit Hilfe der Worte, mit dem wir sprachlich operieren beschreibbar so dass wir sie verstehen können, das bedeutet sprachlich erfassen können ist eine völlig offene vielleicht sogar grundsätzlich völlig unlösbare Frage.
• 35:55
  Speaker 0: Dasselbe gilt aber auch und das ist das Spannende für unser eigenes Wahrscheinlichkeitsorgan nämlich das Gehirn.
• 36:04
  Speaker 0: nicht verstehen und vielleicht auch nie gänzlich erfassen werden.
• 36:08
  Speaker 0: Es läuft nämlich auf die Frage raus, ob wir mit unserem Gehirn überhaupt unser Gehirnen verstehen können?
• 36:12
  Speaker 0: Wir können es möglicherweise nie ganz gänzlich erfassen weil es so ähnlich wie Musiro die Regeln transcendiert, die wir für wichtig halten in der physikalischen Welt oder über die wir philosophisch religiös
• 36:26
  Speaker 0: usw.,
• 36:27
  Speaker 0: so erbittert streiten und uns dafür töten können.
• 36:30
  Speaker 0: John Searle hat in den letzten Jahren das Gedankexperiment des chinesischen Zimmers ins Spiel gebracht.
• 36:37
  Speaker 0: Jemand sitzt in einem Zimmer, bekommt chinesische Zeichen reingereicht, sortiert sie nach einem Regelhandbuch und gibt korrekte Antworten wieder raus.
• 36:48
  Speaker 0: Von außen sieht man das so aus wie verstehen von innen keine Ahnung.
• 36:55
  Speaker 0: Syntaktische Korrektheit, also Antwort, Befrage, Antwort – alles syntaktisch völlig korrekt ist nicht dasselbe wie sementisches Verstehen.
• 37:05
  Speaker 0: Das Zimmer versteht nicht!
• 37:07
  Speaker 0: Es spricht auch kein Chinesisch.
• 37:09
  Speaker 0: Muziro hat im Unterschied zum chinesischen Zimmer noch nicht mal ein Regelhandbuch sondern operiert mit Wahrscheinlichkeit.
• 37:16
  Speaker 0: Es hat sich sein eigenes Handbuch in gewisser Weise konstruiert, handelt aber auch ohne eine einzige explizite Regel und trotzdem – das ist das Verrückte!
• 37:26
  Speaker 0: – übertrifft es jeden der zwar die Regeln kennt, aber dann im Spiel gegen das Programm verliert.
• 37:32
  Speaker 0: Und trotzdem fragen wir uns ja was fehlt Musero jetzt eigentlich?
• 37:37
  Speaker 0: Intentionalität, Bewusstsein, die Erfahrung des Spiels… dass es spielt oder was Sieg bedeutet, oder ein Co im Gospiel ist.
• 37:47
  Speaker 0: Es weiß nicht einmal das es ein S ist!
• 37:50
  Speaker 0: Obwohl es besser spielt als jeder von uns.
• 37:53
  Speaker 0: Die eigentliche philosophische Herausforderung, vor die Musiro und Steffa treten für ganz ähnliche KI-Algorithmen überall stellt, lautet also nicht ist das System intelligent?
• 38:03
  Speaker 0: Hat das System vielleicht schon gewusst sein?
• 38:05
  Speaker 0: All das sind die falschen Fragen!
• 38:07
  Speaker 0: Denn offenbar ist ja ein System intelligent wenn Intelligenz dazu gehört Goat zu spielen so einfach ist das.
• 38:13
  Speaker 0: Und wenn man glaubt dass zum Got guten Go spielen, Bewusstsein notwendig ist.
• 38:18
  Speaker 0: Na ja dann hat Mu Zero offenbar Bewusstseinsons können es ja nicht go spielen!
• 38:23
  Speaker 0: Die eigentliche Frage vor die KI-Systeme uns stellen ist eine völlig andere.
• 38:28
  Speaker 0: sie lautet was genau leistet eigentlich unser Regelwissen?
• 38:33
  Speaker 0: Unser Wissen über Kausalbeziehung in der Wirklichkeit?
• 38:38
  Speaker 0: Was leistete dieses Verstehen auf das wir uns so wahnsinnig viel einbilden?
• 38:42
  Speaker 0: Musiro zeigt doch, dass extreme Kompetenz also Spielbeherrschung in dem Fall völlig ohne Verstehen möglich ist.
• 38:50
  Speaker 0: Aber was ist dann verstehen wert?
• 38:53
  Speaker 0: Für die Kompetent selber bedeutet es offenbar wenig oder gar nichts weil wie gesagt das System versteht ja gar nicht.
• 39:00
  Speaker 0: für uns wenn man uns fragt bedeutet verstehen nahezu alles der Sinn des Lebens, der Sinn unserer Existenz Denn wir sind bereit für ein bestimmtes Verständnis der Welt oder für ein bestimmtes Verstandnis von uns selbst zu sterben, oder zu töten.
• 39:19
  Speaker 0: Was MoSiro fehlt ist genau eine solche Frage danach sinnvoll stellen zu können diese Frage wichtig zu finden über sie nachzudenken.
• 39:30
  Speaker 0: MoSero weiß nicht was es ist.
• 39:32
  Speaker 0: Wir wissen dass wir sind und wundern uns zu wallen das wir überhaupt existieren.
• 39:37
  Speaker 0: Philosophieren heißt es in meiner griechischen Antike beginnt mit dem Staun.
• 39:41
  Speaker 0: Und dann fragen wir uns, was diese Existenz bedeutet.
• 39:45
  Speaker 0: und genau das unsere Fähigkeit zu philosophieren unterscheidet von den KE-Programmen jedenfalls fürs Erste.
• 39:54
  Speaker 0: Tschüss!
• 40:07
  Speaker 0: Finanziert wird dieses Projekt von der gemeinnützigen Stiftung AVE, dem Institut für Achtsamkeit Verbundenheit und Engagement.
• 40:15
  Speaker 0: Den Link dazu findet ihr in der Folgenbeschreibung.