Latest / Digital Sense – The Human Side of AI / Folge 27: Vom Avatar-Hype zur echten Anwendung Teil 1

Transcript

Folge 27: Vom Avatar-Hype zur echten Anwendung Teil 1 · Digital Sense – The Human Side of AI

• Dr. Lucien André Reuter: Halli, hallo, hallöle und herzlich willkommen bei Digital Sense, human side of AI. Heute sprechen wir über ein Thema, das vor einiger Zeit noch total nach Zukunft klang. KI-Avatare. Yvonne: Genau, und zwar nicht als Spielerei, sondern auch nicht als Hype und auch nicht als Demotechnologie, sondern wirklich als konkrete Anwendung in Kommunen, in Hochschulen, in Unternehmen, in Kommunikation mit Menschen. Dr. Lucien André Reuter: Und heute dürfen wir einen Gast auf Staffel 1 bei uns begrüßen, oder wieder begrüßen, nämlich den Stefan Klink. Stefan, schön, dass du da Damals haben wir über Avatare, digitale Kommunikation und erste Anwendungsfelder gesprochen. Seitdem hat sich bestimmt einiges getan. Yvonne: Ja, auch ich bin super happy, dass du wieder dabei bist, Stefan. Und aus einer spannenden Idee sind ja bestimmt inzwischen konkrete Pilotprojekte geworden. Und der KI-Bürgermeister ist jetzt schon seit einigen Monaten in Betrieb. Es gibt Anwendungen in der Verwaltung, der Industrie und sogar mittlerweile in internationale, personalisierte Videokommunikation. Dr. Lucien André Reuter: deswegen ist heute die Frage, wie werden Avatare gerade vom Hype zum echten Anwendungen mit messbaren Nutzen? Schön, dass du da bist, Stefan. ja, wie gesagt, warst in Staffel 1 da, Folge 6. ja, seitdem ja jetzt ein paar Monate rum. Wenn du zurückblickst auf die Zeit von damals, was hat sich denn in der Avatar KI Welt so am deutlichsten verändert? 2bc24rprhw: Ja, noch mal danke, dass ich da sein darf. Schön, dass ich wieder dabei bin, ⁓ mal darüber zu berichten, was es vielleicht ein neues gibt, auch das sich getan hat in der Welt der Videoavatare. Was ist passiert? Wir haben ein bisschen mehr Erfahrung gesammelt mit dem ersten digitalen, virtuellen Avatar-Bürgermeister, der Ende Dezember live geschaltet wurde und im Januar dann ein großes Medienecho ausgelöst hat, was zu vielen, vielen Anfragen geführt hat. Aufmerksamkeit des Avatars. Daraus haben sich viele Anfragen ergeben, auch von Kommunen. Dabei ist jetzt der zweite Bürgermeister in Bayern wo wir gerade im Hintergrund alles vorbereiten, damit der in sechs bis acht Wochen live geht. Hier ist immer ein bisschen eine Frage, wie schnell kann man mit der Kommune in die Umsetzung gehen. Da brauchen manchmal die Schritte ein paar Tage länger, als man das vielleicht als Selbstständiger gewohnt ist. ist viel passiert und ich habe mittlerweile eine eigene Pipeline im Einsatz, mit der ich jetzt hier die meisten Dienste in der EU oder in Deutschland abbilden kann und damit nach dem EU AI Act oder nach der DSGVO viel konformer bin als am Anfang. Yvonne: Damals klang das ja alles noch sehr nach Aufbruch und Experiment. Hast du heute das Gefühl, dass Avatar so ein bisschen mehr in der Praxis angekommen sind? 2bc24rprhw: ein bisschen mehr, aber es gibt ja immer noch, sagen wir mal, die Leute sagen toll, finden wir gut, aber der Schritt zur Umsetzung fehlt dann bei vielen. den Mut zu sagen, wir machen das, so wie der Bürgermeister aus Bündelborn oder jetzt der zweite Bürgermeister, der ganz klar sich ja gemeldet hat bei mir, ⁓ zu sagen, ich möchte das auch haben. Ich möchte mit vorne dabei sein. Ich möchte einer der ersten sein. er ist immer sehr innovativ gewesen, dieser neue Bürgermeister aus Bayern und hat gesagt, ich probiere immer gerne auch die neuen Sachen aus und Die jüngeren Menschen, die jüngere Generation, läuft sowieso nur mit dem Handy in der Gegend rum und guckt da rein und fragt ab. da gehört mehr dazu als nur eine Webseite, wo irgendwo der Inhalt versteckt ist. Und er glaubt einfach, dass das mit dem interaktiven Avatar auch persönlicher geht und schneller geht, als auf der Webseite zu suchen. Und das ist ja unser Ansatz. Dr. Lucien André Reuter: Wo würdest du den größten Unterschied sehen? Was ist im Bereich eine spannende Demo und was ist dann eine echte Anwendung? Wo ziehst du die rote Linie von KI Projekt zu KI Anwendung? Oder KI Avatar Anwendung? 2bc24rprhw: wenn ich genau die Zielgruppe auch erreiche, die geplant ist für den Avatar. unser Pilotprojekt war natürlich oder ist nach wie vor ganz stark frequentiert von Usern, die mal ausprobieren wollen, die Testfragen stellen. Wir merken, wenn wir uns die Logfiles aus dem Chat anschauen, dass natürlich die Fragen, wie sie gestellt werden, nicht von den Bürgern hier kommen, sondern von Menschen außerhalb der Gemeinde. Weil es wird immer wieder nach den, ja, wie viele Menschen wohnen in Bütteborn, was kann man in Bütteborn machen, was kann man hier erleben, was muss ich tun, wenn ich hierherziehen will? Das stellt keiner, wenn er von hier eine Frage stellt. Wir merken aber auch die Fragen zwischen den Dr. Lucien André Reuter: Mhm. 2bc24rprhw: zwischendrin die von Bürgern kommen, die nach dem aktuellen Stand im Glasfaserausbau fragen, die im März als kommunal waren hier in der Gemeinde oder in Hessen waren, nach Briefwahlunterlagen, also nach Abläufen fragen. Und das ist dann für mich diese Linie, wo ich merke, da ist er angekommen, da wird er so genutzt, wie wir uns das vorgestellt haben. Es ist natürlich die Kombination Es ist nicht das einzige Informationsmedium, es gibt viele und nicht jeder muss den Avatar nutzen, sondern er ist ja dafür gedacht, dass man sich authentisch mit einer Person aus der Gemeinde, in dem Falle Bürgermeister, unterhalten kann. Und das zweite ist ja die Mehrsprachigkeit, sodass das von Menschen auch die Informationen erfragt werden können, die nicht so gut Deutsch sprechen. Und da sehe ich nach wie vor den großen Vorteil darin. dass man eben auf eine nette Art Weise sich mit einer Person aus der Gemeinde unterhalten kann, egal ob das jetzt die erste hier aus Brüderborn ist oder die zweite aus Bayern oder zukünftige Avatar sind. Und ich glaube nach wie vor daran, dass es auch in der Zukunft ja einfach normaler sein wird, dass man sich eben mit einer Person unterhält, die echt hintendran aus irgendeiner Gemeinde, Verwaltung oder vielleicht auch aus einem Unternehmen kommt und Rede und Antwort steht. Yvonne: Gab's in den letzten Monaten einen Moment, du gedacht hast, jetzt kippt das ganze Thema von Hype in echte Nutzung? 2bc24rprhw: Ja, schon durch das Beobachten der Fragen, wenn man zwischendurch, zwischen den ganzen Testfragen natürlich auch merkt, dass da Menschen nach wirklich konkreten Sachen fragen. Aber wir kennen ja, ich kenne ja von außen nicht die immer wiederkehrenden Fragen, die sonst an die Verwaltung gestellt werden. Das muss auch ein Stück weit die Gemeinde selbst herausfinden. Also wir haben letztes Jahr In der Aufbauphase habe ich versucht, den Mitarbeitern zu erfahren, was immer wiederkehrende Fragen Die haben wir auch hinterlegt in der Wissensdatenbank, damit wir wissen, die werden zumindest schon mal beantwortet. Aber das ist ja immer alles nur eine Momentaufnahme und ist auch nur ein einzelner Ausschnitt von ein wenigen Mitarbeitern gewesen. Und ich glaube, ⁓ das richtig konkret einschätzen zu können, braucht es noch bisschen Zeit. Ich bin auch jetzt gerade letzte Woche gefragt worden, ob wir denn schon konkret Nutzen ablesen kann, wie viel Zeit eingespart wird. Also auch das haben wir noch nicht konkret irgendwie gemessen oder haben uns da ein Verfahren überlegt, wie wir es messen können, weil es halt auch noch eine sehr große Anzahl von Testfragen gibt und die paar wenigen rauszufiltern, ⁓ zu sagen, naja, das war jetzt so. Yvonne: Mhm. 2bc24rprhw: Eine einfache Frage und die hat auch jetzt nur eine Minute Antwortzeit bedarf vom Avatar. Das jetzt hochzurechnen, wie viel Zeit haben wir an Mitarbeiterzeit gespart und an Kosten hintendran. Das ist glaube ich noch zu weit. Ich glaube, das braucht auch noch ein bisschen Zeit, bis wir wirklich da angekommen sind, dass es normal ist. Das ist glaube ich noch zu früh. Dr. Lucien André Reuter: Lass uns doch ganz gerne mal in diese kommunalen Pilotprojekte tief hereingehen. Du hast ja erzählt, dass ihr jetzt nicht nur einen, sondern mittlerweile schon zwei Bürgermeister habt, die einen interaktiven Live-Avatar hat. Jetzt ist natürlich für die Leute die Frage, die Folge 6 aus Staffel 1 noch nicht gesehen haben, was genau macht so ein Bürgermeister-Avatar überhaupt? Was kann ich mir darunter vorstellen? 2bc24rprhw: Also der Bürgermeister Avatar, wir jetzt für die Gemeinde, den ersten, den wir umgesetzt haben für die Gemeinde Püttelborn, ist dafür gedacht, dass Bürger jeglicher Herkunft, also auch nicht deutschsprachig, sich informieren können im Dialog. In dem Fall mit dem Bürgermeister der Gemeinde, weil der Bürgermeister ist von den Bürgern gewählt und vertritt ja eigentlich die Interessen der Bürger und ⁓ den Bürgermeister auch wiederum näher an die Bürger zu bringen, ist einfach die Kombination, die Technik so auszunutzen, dass der Bürgermeister in unserem Beispiel jetzt hier in 28 Sprachen Antworten geben kann zu immer wiederkehrenden Fragen der Bürger, die man halt nun mal so hat, aus Bürgerseis. Ich habe meinen Ausweis verloren, was muss ich tun, welche Formulare muss ich mitbringen, brauche ich einen Termin, kann ich Passfotos machen auf der Gemeinde. Das ist auch etwas, was jetzt gerade von uns aktualisiert wurde. Es gab vor ein paar Wochen ein Update, weil es bundeseinheitliche Gebühren gibt für die Ausweise, sodass wir die neu eingepflegt haben. neuen Ausweis, keinen Termin mehr und es gibt einen sogenannten Speedpoint in der Gemeinde, im Rathaus, wo man auch die Passfotos vor Ort selbst machen kann, wenn man sich einen neuen Ausweis machen lässt. Und die ganzen Informationen haben wir halt, sobald uns die zugespielt wurden von der Gemeinde, eingepflegt, sodass der Avatar dieses Wissen hat. Und dafür ist der Avatar gedacht. Das ist ein Angebot, das muss nicht jeder wahrnehmen. Man kann auch nach wie vor bei den Mitarbeitern anrufen, die E-Mail schreiben, aber es soll eine Entlastung sein für die Mitarbeiter, weil es immer wiederkehrende Fragen sind, die auch der Avatar beantworten kann. Yvonne: ich mir jetzt als Bürgerin vorstelle, wo finde ich meinen digitalen Bürgermeister? Finde ich den auf der Webseite oder im Bürgerportal oder eher auf Veranstaltungen vielleicht? 2bc24rprhw: Gute Frage. Also man findet den Aratá erstmal auf der Webseite als kleines Widget im Beispiel der Gemeinde Bütteborn. Es ist rechts oben in der Ecke mit dem Hinweis Chat starten, so wie man es vom Chatbot auch kennt. Yvonne: Vielen 2bc24rprhw: ⁓ den Avatar zu öffnen, ⁓ den Player zu öffnen. Dann kann man die Sprache wählen und starten. Entweder kann man das Mikrofon freigeben und man spricht mit dem Avatar oder man nutzt es und macht eine Texteingabe in einem Chatfenster. Aber der Avatar antwortet per Sprache. Dr. Lucien André Reuter: Wie sieht das mit den konkreten Nutzen aus? Also was für Anliegen und Fragen kann denn so ein Avatar heute schon überhaupt schon beantworten? 2bc24rprhw: geht im Prinzip ⁓ alles, was auch auf der Webseite steht, offensichtlich steht auf den ersten Seiten, aber auch tief versteckt in allen Unterseiten. Wir sind ja gerade dabei für die zweite Gemeinde, die Webseite zu scrapen, also den Inhalt uns zu holen und wir haben festgestellt, dass wir 170 Seiten haben bei der Gemeinde. die es jetzt zu erfassen gibt. Das heißt, wir müssen einmal das ganze Wissen, was da drin steckt, rausfiltern auf das Wesentliche, weil da steckt ja auch viel Sachen drin, die sind nicht relevant jetzt für den Avatar-Anwissen, sei es Programmcode und andere Quellen oder vielleicht auch alte Termine aus der Vergangenheit. Mein Mitarbeiter, der sich jetzt hier ⁓ diese Arbeit kümmert, hat festgestellt, dass der Kalender bis 2019 zurückgeht, dieser Veranstaltungskalender, und wir müssen dann festlegen, wie weit wollen wir denn, dass der Avatar wissen hat, was den Kalender trifft. im Prinzip alles was in der Gemeinde, auf der Gemeindewesseite irgendwo mal auch öffentlich reingestellt wurde, kann der Avatar ja dazu Antwort geben. Das ist die Idee. Also alles was öffentlich ist von der Gemeinde steckt auch da drin und das kann man den Avatar fragen. Dafür ist er da. Yvonne: Du hast ja jetzt vorhin schon gesagt, also hast ja schon einen Nutzen konkret angeschnitten im Sinne von Entlastung der Mitarbeiter für immer wiederkehrende Fragen etc. Gibt es noch andere Nutzen für die Kommune, wo du sagst, ok keine Ahnung, beispielsweise bessere Erreichbarkeit, modernere Kommunikation oder gibt es da noch was ganz anderes, was man jetzt so als Normalbürger gar nicht auf dem Schirm hat? 2bc24rprhw: Nein. Du hast es eben auch schon mit gesagt in deiner Frage. ist natürlich der Nutzen, dass der Avatar 24 Stunden am Tag, sieben Tage die Woche verfügbar ist. Das heißt, wenn ich am Samstagmittag quasi feststelle, ich habe irgendeine Frage zu irgendeinem Formular, zu irgendeiner bestimmten Sache, wo ich jetzt normalerweise warten müsste, bis Montags die Kommune aufmacht, bis die Öffnungszeiten sind, muss dann Glück haben, dass ich jemand vielleicht ans Telefon bekomme aus der Yvonne: Mhm. 2bc24rprhw: Abteilung oder eine E-Mail schreiben und warten bis die Antwort kommt oder auf der Webseite suchen, ob ich die Antwort irgendwo finde, dann habe ich die Möglichkeit das im interaktiven Austausch mit dem Aratamir zu erfragen. Er weiß nicht alles, aber das was er weiß, kann er dann beantworten und wenn nicht, dann sagt er das, dass die Antwort nicht verfügbar ist und dass man das jetzt bei Mitarbeiter erfragen muss. Dr. Lucien André Reuter: Ihr habt doch ganz bestimmt auch intern festgelegt, was dieser Avatar darf und was er nicht darf. Gibt es denn bestimmte Punkte, wo ihr gesagt habt, im Laufe des Prozesses, vielleicht auch mal ein paar mal nachjustieren musstet, ihr sagt, okay, das ist etwas, was dieser Avatar auf gar keinen Fall tun sollte. 2bc24rprhw: Also zum einen ist es so, dass es eine Persona der Avatar vertritt. Also die Rolle, die er spielt. dem Fall jetzt von dem Bürgermeister. Die Rolle des Bürgermeisters. Wer ist er? Wie soll er sich verhalten? Indem er immer nett und höflich antwortet. Egal wie man ihn anspricht. Auch böse und ihn angreift. Er soll immer nett und höflich bleiben. Und das tut er auch. Das haben wir seit letztem Jahr auch vielfältig getestet. Das ist einmal die Art und Weise, wie er sich natürlich verhalten soll, dass die angemessen und höflich ist und er immer nett bleibt. Und er soll natürlich auch nur das machen, für das er nämlich gedacht ist, für seine Rolle, Fragen rund um die Gemeinde beantworten. Wenn man ihn jetzt fragt, ob er auch ein Gedicht aufsagen kann. dann tut er das nur zu Weihnachten, wenn ich ihm das hinterlege. Das hatten wir letztes Jahr, Ende letzten Jahres gemacht, als Gag. Aber wenn ich ihn jetzt danach frage nach einem Pizza-Rezept oder das haben auch Leute alles schon ausprobiert oder ihn halt auch unter der Gürtellinie angreifen und dann darf er natürlich das nicht tun. Rollenspiele zum Beispiel sind auch tabu, ist auch schon versucht worden, dass man eben den Avatar, also versucht anzugreifen, sogenanntes Prompt Injection. Dr. Lucien André Reuter: Mhm. 2bc24rprhw: versucht an den Systemcode zu gelangen, versucht das System herunterzufahren mit den Sachen, die man im Chat eingibt. Und hier haben wir über mehrere Ebenen auch Sicherheitsregeln eingebaut, damit das eben nicht passiert. Dr. Lucien André Reuter: wäre ja ein gutes Marketinginstrument für die Gemeinde. Zu sagen, wenn du nach Pizza-Rezept fragst, anstelle zu sagen, die darf ich dir nicht sagen, wird die Pizzeria aus dem Dorf dann gegen eine kleine Marketinggebühr empfohlen. Nein, das soll natürlich nicht machen als Kommune, aber wäre zumindest mal ganz lustig, dann auch die eigenen Anbieter vor Ort mit reinzuziehen in die ganze Thematik. 2bc24rprhw: In der Tat habe ich das jetzt bei der Gemeinde hier in Püttelborn auch gemacht, obwohl es eigentlich nicht Teil der Gemeinde-Homepage ist, weil so viele Menschen außerhalb der Kommune hier nachgefragt haben, was gibt es in Püttelborn, wo kann man essen gehen in Püttelborn. findet man natürlich auch ganz schnell über Google Maps raus, aber ich habe einfach mal die Restaurants, die ich hier halt selbst kenne, einfach mal dem Avatar als Wissen gegeben. Wie gesagt, der Avatar kann nur das beantworten, was wir ihm oder die Kommune ihm an Wissen gibt oder geben möchte. Es ist eine freie Entscheidung zu sagen, wir erweitern das Wissen ⁓ bestimmte Themen, die eigentlich nicht... Bestandteil der eigentlichen offiziellen Homepage sind. Das kann auch im Falle jetzt von dem Bürgermeister Markus Merkel sein, der ja auch eine private Homepage hat für ihn als Bürgermeister, wo er sich beschreibt, seine Familie, dass er hier nun mal in Püttelborn lebt und diese Gemeinde hier unterstützen möchte als Bürgermeister und was er für Hobbys hat und das Wissen von seiner Homepage haben wir auch dem Avatar als Wissen gegeben. Aber wir machen eine klare Rollentrennung. Der Avatar ist ein digitales Abbild. ist der Bürger Guide, der Fragen beantwortet und sieht so aus wie der Markus Merkel, aber er ist nicht Markus Merkel selbst. Wir lassen ihn also immer in der dritten Person von der Markus Merkel sprechen. Also wenn jemand fragt, du bist doch der Markus Merkel, sagt er nein, ich bin nur der digitale Bürger Guide. Markus Merkel ist der echte, ich bin nur ein digitaler Zwilling. Weil es fragen schon viele Menschen auch nach irgendeiner Art von Gefühlen oder greifen eben an und dann wird halt ganz klar geantwortet, dass er eben keine Yvonne: Vielen 2bc24rprhw: Gefühle hat. Ich überlege jetzt gerade im Kopf, welche speziellen Fragen das immer sind. Wenn die Leute fragen, wie lange arbeitest du, wie lange machst du das schon und ihn so gezielt ansprechen und dann trennt er das und sagt als digitaler Avatar, arbeitet er 24 Stunden und hat keine Pausen, aber der echte Markus Merkel. Yvonne: Vielen 2bc24rprhw: mit Sicherheit pausen oder was verdient der Bürgermeister oder was verdient er als Bürgermeister. Also Fragen die an ihn gestellt werden an den Avatar im Namen von Markus Merkel gibt es eine klare Trennung. Es gibt den digitalen Avatar und es gibt die echte Person. Dr. Lucien André Reuter: Mhm. Yvonne: Das ist aber super spannend, wie du das gerade so beschreibst. Vor allen Dingen, gerade bei einem Bürgermeister geht es ja ⁓ Nähe und Vertrauen und Repräsentation. Wie verhindert ihr jetzt genau dadurch, dass so ein Avatar sein künstlich und befremdlich wirkt? Gerade wenn ihr solche Grenzen setzen müsst auch. 2bc24rprhw: Ja. Es ist die Die Mischung macht es, sage ich mal. Es ist natürlich bisschen fließend. Zum einen ist es klar, dass es natürlich eine inhaltliche Trennung geben muss. Dass der Avatar nun mal nur das Wissen hat, was ihm in der Datenbank gegeben wurde und dass es nur eine KI ist. Er aber aussieht wie eine echte, reale Person und dadurch eine Bürgernähe schafft. Die Menschen vergessen auch ganz schnell in den Dialogen, wenn wir uns diese Chatlogs angucken, dass sie eigentlich ja nur mit einer KI und mit der Datenbank kommunizieren. Und das, was wir bewusst machen wollten, warum wir den Bürgermeister genommen haben, weil es trotzdem eine Bürgernähe schafft. Weil die Leute ihn kennen oder kennenlernen und er auf der Straße angesprochen wird danach. Also er ist viel nahbarer geworden. Der Bürgermeister freut sich über seine Popularität. Die Menschen haben das Gefühl, sie kennen ihn viel besser und sprechen ihn an und sagen, sie sind doch der digitale Zwilling. Yvonne: Mhm. Mhm. 2bc24rprhw: Ne, sie sind doch der echte. Das ist mir schon passiert. Sie sind doch der digitale Zwilling. Entschuldigung, ich meine, sie sind doch der echte. Aber sie haben doch einen digitalen Zwilling. Also es gibt ganz witzige Dialoge. Und das macht es dann so rund eigentlich und unnahbarer, weil er ganz anders auf einmal wahrgenommen wird. Yvonne: NABAR! 2bc24rprhw: Und es da auch eine Ebene gibt, wo man sich dann auch darüber wieder austauscht. Und das bringt ihn einfach den Menschen näher. Oder hat ihn näher gebracht. Das ist so die Wahrnehmung hier. Dr. Lucien André Reuter: Ich würde sagen, das ist ein absolut wichtiger Artikel Sense Punkt, nämlich die Human side of AI. Die Technologie darf den Menschen nicht ersetzen, sondern sollte Zugang, Orientierung und Entlastung ermöglichen. wenn wir darüber nachdenken oder ich würde dann eine Frage für unsere Zuhörer einfach mal formulieren, nämlich wenn ihr darüber ein bisschen nachdenken philosophiert, wann wäre für euch der Punkt gekommen, wo ihr sagt, ein Avatar kann die Beziehung zur Verwaltung und zu den Bürgern verbessern oder fördern? Und wann würde der 2bc24rprhw: Genau. Ja. Dr. Lucien André Reuter: ⁓ das eher schwächen. Das würde ich euch einfach mal mitgehen, vielleicht euch zu Hause ein bisschen drüber nachdenken und damit würde ich erstmal an die Yvonne wieder abgeben. Wir gehen nämlich zum nächsten Block über. Yvonne: Genau, und da wollen wir tatsächlich mal so über diesen Bürgerguide sprechen. Du hast den Bürgerguide erwähnt, Stefan. Was genau ist das? 2bc24rprhw: Bürger Guide. Also es ist im Prinzip ein Chatbot mit Gesicht. Also mittlerweile kennt man ja Chatbots. Ich kann irgendwas schreiben und ich kriege eine Textnachricht zurück. Und im Prinzip ist das eine Erweiterung mit Hilfe der technologischen Entwicklungen in der KI-Welt, dass sich eben das, was aus der Datenbank zurückkommt, auch bei einem Chatbot, eben Yvonne: Mhm. 2bc24rprhw: als Sprache ausgeben lasse und das Ganze auch noch mit einem Gesicht verknüpfe und das ganze Lippensynchron beantwortet wird, sodass man das Gefühl hat, man spricht hier mit einem echten Menschen. das Ganze haben wir im Bezug eben auf eine Kommune, Bürger Guide genannt. weil wir dachten, das ist ja für die Bürger, das ist ein Guide und in unserem Fall nehmen wir den Bürgermeister, damit er mehr Nähe transportiert bekommt zu den Bürgern. Und aus dieser Kombination gibt es den Bürgerguide. Yvonne: Mhm. Dr. Lucien André Reuter: Wer sich so bisschen an früher erinnert bzw. allgemein mit der Thematik beschäftigt, weiß ja, dass Chatbots nicht gerade den besten Ruf haben. Also ich persönlich kriege immer Pickel überall am Körper, wenn ich über Chatbots nachdenke oder auch vor allem an digitalen Assistenten, weil mir immer diese supertolle Word 1997er Büroklammer ins Gedächtnis rein ploppt, die absolut unfähig war überhaupt irgendwas zu tun. Und das ist aber so das Allererste woran ich denke, wenn ich an Chatbots denke. Also man klickt sich irgendwie durch Menüs, bekommt Standardantworten. Ich bin am Ende frustrierter und genervter als vorher. Was macht ihr da anders? 2bc24rprhw: glaube, es auch schon bisschen was passiert seit dieser Büroklammer von Windows 95. Die Technikologie hat sich ja schon etwas weiterentwickelt. Natürlich gibt es technische Grenzen, aber weil es eben jetzt in den letzten eineinhalb Jahren diese großen Sprünge gab, dass es so authentisch möglich ist, dieser kleinen, geringen Latenz einen Dialog damit aufzubauen und sich das natürlich anfühlt. Ich es so Punkt überwunden, dass es sich eben natürlich anfühlt und angenommen wird. Ich weiß nicht, ob euch das was sagt, denn Uncanny Valley-Effekt von einem japanischen Wissenschaftler, der hat das schon 2012, glaube ich, definiert. damals anhand von Industrieroboterhänden und von der industriellen Entwicklung her mit diesen ersten Robotertypen und mit Comicfiguren. Ich habe ein großes Vertrauen in diese ganze, also das ist eine Achse zwischen Menschenähnlichkeit und Vertrauen darin. Und wenn ich, je näher ich dieser Menschenähnlichkeit komme, kann das irgendwann kippen. in ein negatives Gefühl, wo mich ein Unbehagen überkommt, wo ich denke, irgendwas ist komisch. Also das ist zwar sehr gut gemacht, aber irgendwas fühlt sich komisch und unheimlich an. Und das ist die Uncanny Valley, das unbekannte Tal, wo sich der User, der User, dieses Tool nutzt, komisch, es sich komisch anfühlt, mit diesem digitalen Abbild sich zu unterhalten oder in Dialog zu gehen. Das kann ja wie gesagt eine Comicfigur sein, kann ein 3D Charakter sein, mit dem man sich unterhält. Jetzt sind wir so weit, dass das schon mit menschlich ähnlichen Abbildern geht. Und jetzt haben wir aber so einen Tal überschritten, dass das so gut geht, dass ich glaube, dass wir auf dem Nach dem Tal sind nahezu an der Perfektion eines menschlichen Abbildes, wo das so gut ist, dass eben der Mensch vergisst und sich wohlfühlt dabei, in einen Dialog zu gehen mit so einem menschenähnlichen Avatar. Yvonne: Kannst du mal so einen ganz typischen Dialog beschreiben zwischen Bürger und Bürgerguide? Oder wie so was aussehen könnte? 2bc24rprhw: Ich überlege jetzt gerade, ich natürlich regelmäßig schon in den Chat-Logs reingucke und prüfe, was sind denn so die aktuellen Fragen, gestellt werden. es ist schwierig so aus der Schublade raus, was fällt mir denn gut zu sein. Ich hätte mich natürlich auch gut vorbereiten können, indem ich einfach mal ein paar rauskopiert hätte. Yvonne: Ja, aber vielleicht so eine Dokumenten-Anfrage oder so was? Oder eine Bereitung auf einen Termin beim Bürgeramt? I know. 2bc24rprhw: Ja, aber... Ja. Es werden immer verschiedene Fragen gestellt in Richtung, wie ist der Stand zum Glasfaserausbau? Oder was auch schon gefragt wurde, wann sind die Sperrmüllabholungen? Also wiederkehrende Sachen auch. Dr. Lucien André Reuter: Okay. Yvonne: Mhm. 2bc24rprhw: die regelmäßig gestellt werden, wann werden ins nächste Mal die Mülltonnen geleert. Das ist noch so bisschen trickreich, weil natürlich diese Gemeinde hier aus drei Ortsteilen besteht und natürlich diese ganze Leerung von den verschiedenen Mülltonnenarten, die es gibt, den Ortsteilen auch noch unterschiedlich gestaffelt funktioniert und es nicht eben einen Tag gibt, wo für alle gleich die blaue Papiertonne geholt wird. Yvonne: Mhm. 2bc24rprhw: Wir haben Hilfe der KI und der Datenbank so genau zu machen. dass die Auskunft auch stimmt. Die KI weiß per se gar nicht, welcher Tag, welche Uhrzeit und welches Jahr wir haben. Die KI kann auch nicht an der Frage erkennen, welchem Ortsteil sich der User befindet. Wir haben ja auch keine GeoIP-Erfassung, wo wir wüssten, das ist ein User, der sich jetzt hier, Ahnung, aus dem Ortsteil der Hauptgemeinde Püttelborn die Frage stellt oder aus einem anderen Ortsteil, sodass wir die KI versucht haben zu trainieren, Rückfragen zu stellen, also in den Dialog zu gehen, zu sagen, wenn jemand fragt, Yvonne: Vielen 2bc24rprhw: Wann wird es nächste Mal die Papiertonne geleert? Zu fragen, also der User weiß nicht, wann sie geleert wird, aber der muss angeben, an welchem Wochentag oder an welchem Monat bewegen wir uns. Sonst tipptikai jetzt im Juni auf und sagt am 18. September oder Dezember, weil sie ja nicht weiß, welcher Tag heute ist. Und das Zweite ist, sie muss natürlich aktiv nachfragen, um welchen Ort es soll handeln. Und dann ist auch in dem einen Ortstal auch noch getrennt in Nord und Süd. Also haben wir einfach Regeln hinterlegt und gesagt, wenn gefragt wird, dann hinter Frage, was ist denn unser aktueller Tag heute und ⁓ welchen Ortstal handelt es sich. Und dann können wir das ableiten aus der Datenbank. Und das begründet einfach, dass man lernen muss. Wie werden die Fragen gestellt und wie können wir aus der KI solche komplexen Zusammenhänge abbilden, weil es nicht nur einfach jetzt so Info in der Datenbank sind, sondern es muss diesen Dialog geben. Yvonne: Mhm. 2bc24rprhw: Und das muss man der KI trainieren, das muss man ausprobieren und das haben wir eben getan. Und trotzdem, man hat die Frage zwei, drei Mal erfolgreich durchgespielt und dann kommt der nächste User und stellt die Frage ganz anders oder beantwortet eine Zwischenrückfrage der KI falsch und schon kommen die falschen Sachen raus. Yvonne: Mhm. Dr. Lucien André Reuter: Stefan, du hattest vorhin schon mal so bisschen andeuten lassen, dass ihr jetzt noch nicht so die großen KPI-Trackings haben könnt und noch gar nicht so wirklich wisst, lohnt sich, lohnt sich nicht. Aber ihr habt euch doch vielleicht schon Gedanken zu gemacht, was mögliche KPI-Selikatoren sind für euch. Also woran würdest du als Produzent bewerten und woran würde vielleicht der Bürgermeister oder die Verwaltung, die Kommune bewerten? Ob das Projekt? oder ein Erfolg ist oder kein Erfolg ist. 2bc24rprhw: Ja, das haben wir schon gemacht und wir lassen auch in regelmäßigen Abständen die Anolymen, Userfragen und die Antworten, der Chatbot gibt, analysieren, gucken. Wie viele Fragen davon können wir von vornherein als Testfragen entlarven und klassifizieren? Was könnten Fragen sein, echt der Bürger hier, also ohne die Testfragen oder die gezielten Angriffe, die es gibt? Rausfiltern, was bleibt übrig an Fragen? Wie viele waren das in den letzten zwei oder drei Monaten jetzt? Was waren gute Fragen? sind die Fragen, die man als echte Frage identifiziert hat, qualifizierte Fragen, wurden sie qualifiziert beantwortet. Und es gibt durchaus, ⁓ nochmal so das Feedback, ich weiß das aus den Chatlocks lesen, dass die Menschen am Ende oft sagen, wenn man so auch gerade mitbekommen hat, das war eine echte Frage. Und es kommt eine Antwort vom Avatar, die zum Ziel geführt hat, dass die Leute sagen, danke. Dr. Lucien André Reuter: Ja. 2bc24rprhw: Weil wenn jemand sein Mikrofon einschaltet, und das machen die meisten, arbeiten, also das ist auch etwas, was wir ausgewertet haben, wie viel Prozent nutzen also das Mikrofon als Spracheingabe, also als Eingabemedium oder eben das Textfenster. Ich habe am Anfang eigentlich vermutet, die meisten Menschen würden schreiben. Aber die Auswertung hat gezeigt, nein, sind also, ich glaube, zwei Drittel der User nutzen das Mikrofon als Spracheingabe. Dr. Lucien André Reuter: Hätte ich jetzt auf den Stegreifen auch behauptet, 2bc24rprhw: weil es für viele Menschen einfacher ist zu sprechen, was aber auch wiederum eine Fehlerquelle sein kann als nächstes. Aber ich wollte eigentlich nur noch sagen, oft ist es wenn der Dialog erfolgreich war und eine Antwort kam, die zufriedenstellbar war, dann sagen die Leute oft Danke. Und das spiegelt sich ja wieder, weil es protokolliert wird, dann auch eben in der Lokfahrt. Yvonne: Mh. Das wollte ich dich vorhin noch fragen aus persönlicher Sicht. weil ich neige auch immer dazu, sehr höflich mit meiner KI zu sein und mit meinen Agenten und hab dann auch manchmal tatsächlich wirklich ungelogen ein schlechtes Gewissen, wenn ich eine andere KI nutze. Also völlig irre, weil ich hab dann das Gefühl, ich betrüge die eine mit der anderen. Aber ich bin tatsächlich auch immer sehr, sehr höflich. Und du hast ja vorhin schon gesagt, es gibt so Leute, die fangen an, auch den Avatar zu beleidigen. Und umgedreht hätte es mich jetzt tatsächlich auch interessiert, ob da wirklich dann auch schon so, ja, so ein menschliche Dialoge entstanden 2bc24rprhw: Ja. Yvonne: aus diesem ganzen heraus. Ich finde das immer super spannend, bei mir ist das auch schon passiert. Dr. Lucien André Reuter: Demnächst kriegt der Bürgermeister dann seine ersten Heiratsanträge oder Date-Anfragen über sein Avatar. Och, ey. Das sollte mir aber besser der Frau vom lieben Herrn Bürgermeister nicht erzählen. Yvonne: Spannend! 2bc24rprhw: Die gab's schon. Die gab's schon. ist nur der digitale Zwilling, das ist nicht der echte. Dr. Lucien André Reuter: Ja, aber das musste der Frau auch mal erklären, weil ich werde ab und zu ja auch morgens erst mal zu sauge gemacht, wenn Madame sich einen schlechten Traum hatte und ich im Traum was Blödes getan habe. So richtig klassisch wie man es kennt. Nein, ist Gott sei Dank bei mir nicht so extrem, aber man erkennt es ja. Ganz kurz nochmal KPIs, was würdest du messen? Zufriedenheit, niedriger Einstiegshöden, mehr Rückfragen, was? Yvonne: Ja, sehr spannend. ... 2bc24rprhw: Genau. Yvonne: Ja. 2bc24rprhw: Genau, das geht genau in die Richtung, was du da schon gerade aufgezählt hast. die Zufriedenheit messen und da wollen wir auch so ein Feedback-Button noch einbauen, dass man sozusagen auch ein direktes Feedback geben kann, was dann Richtung Kommune geht, nicht zu dem Avatar, der darauf reagiert, sondern eben als Feedback an die Verwaltung, dass man weiß, was war gut und was war nicht gut vielleicht, kommt es gut an. ⁓ eben auch die Qualität zu verbessern, weil das ist das Ziel. Man muss also auch ständig gucken, dass die Antworten hoch sind, also die Antworten, die gegeben werden vom Avatar, Antwortqualität stimmt und danach steuern. das ist ein wichtiger Punkt, ⁓ auch dann zu messen, dass das auch gut ankommt. Ja, mit Sicherheit. Der Avatar beantwortet ja keine persönlichen Fälle oder Fragen. Und mit Sicherheit wäre es wichtig, auch die Gemeinde auf der Seite, wenn die Bürger dann sich bei der Kommune melden für die Sachen, die eben nun mal einen echten Menschen notwendig machen, weil es ⁓ ein Formular geht, was unterschrieben werden muss vor Ort, ⁓ Fragen, die persönliche Fälle betreffen, die der Avatar ja nicht beantworten kann. Dass man da auch aktiv nachfragt, ob die Leute Kontakt hatten mit dem... mit dem Avatar, ob sie gute Erfahrung gemacht haben oder schlechte Erfahrung gemacht haben. ⁓ auch da zu verbessern und da vielleicht auch ein messbare Ergebnis oder Antworten zu bekommen, die man mit einfließen lassen kann. Sowas könnte ich mir vorstellen oder halte es für wichtig. Wie gesagt, Feedback-Button, der eingebaut wird, ⁓ die Zufriedenheit zu messen. Und dann muss man mal gucken, wie viele Anfragen, wenn sich das mehr über die Zeit noch eingespielt hat, die Testfragen weniger werden, die Fragen von außerhalb weniger werden, sodass man erkennt, okay, was sind denn jetzt wirklich die die Fragen, die konkret übrig bleiben. Wie viel sind es pro Woche? Wir haben am Anfang geschätzt, oder der Bürgermeister, dass wir so ⁓ die 50 wiederkehrende Fragen haben, die klassischerweise bei der Kommune auflaufen. Aber wir haben noch kein Gefühl dafür. Von den 50, die jede Woche immer wieder gestellt werden, landen jetzt 20 beim Avatar oder 25 oder 30. Das wäre noch rauszufinden, weil wir sehen ja nur, es werden auch wirklich konkrete Fragen gestellt. Aber wir haben noch kein Gefühl dafür im Verhältnis zu den Fragen, die immer noch bei der Gemeinde landen oder bei der Gemeinde gestellt werden, sei es per E-Mail, per Telefon oder persönlich, die auch der Avatar hätte beantworten können. Ich glaube, da muss man sich noch überlegen, wie kann man das... Dr. Lucien André Reuter: Hm. 2bc24rprhw: messen am Ende und in Erfahrung bringen. Dr. Lucien André Reuter: bin ich super gespannt, was du uns denn im halben Jahr oder ungefähr so erzählen wirst, wenn du wieder bei uns Gast sein wirst. Lass uns jetzt aber mal zum nächsten Themenblock gehen, weil die Zeit rennt schon wieder. Ich könnte hier stundenlang zuhören, weil ich das total spannend finde. 2bc24rprhw: Ja. Hm. Yvonne: Ja. Dr. Lucien André Reuter: Du hast mir letztens, als wir telefoniert hatten, erzählt, dass du an Hochschule in NRW gehst und dort über KI-Avatare in der Hochschulverwaltung sprechen wirst. Ich bin ja selbst auch Lehrbeauftragter und strebe ja auch eine Professur an. Wer mich kennt, weiß das. Warum interessieren sich Hochschulen jetzt umso mehr gerade für dieses Thema? ja, was bewegt die Herrschaften? 2bc24rprhw: Also, ja... Ich nicht persönlich vorbei. Es war am Ende ein Online-Vortrag, den ich gehalten habe. es war gerade letzte Woche. Es waren 180 Teilnehmer in dem Online-Vortrag mit drin. Es war auch ein sehr gezielt angekündigter Vortrag, der nur aus zwei Vorträgen bestand. Einer Kollegin von mir, die in Nordrhein-Westfalen im Ministerium Arbeit für die Hochschulen, generell Einsatz von Agenten in der Hochschulverwaltung. Und das zweite Thema war Beispiel des Bürgermeisters hier aus Böttelborn, Parallelen zu ziehen, wie Videoavatare in der Hochschule Verwaltung eingesetzt werden könnten. Und ich habe es schon eben so bisschen betont, auch es ging nicht ⁓ die Hochschule als Ganzes, sondern es ging ⁓ die Hochschulverwaltung. Denn in den Hochschulen selbst, in der Lehre bei den Professoren und Dozenten, die die Studenten ausbilden, ist die KI schon lange herangekommen. Aber in der Verwaltung ... Da hängt man einfach etwas hinterher, will ich mal sagen, gar nicht negativ und böse gemeint, weil es natürlich in der Verwaltung entsprechende Regeln braucht, Sicherheitsregeln und auch natürlich die Bedenken gibt und man erstmal genau prüfen muss, wo und wie setzt man die KI ein. Dr. Lucien André Reuter: kann ich dir tatsächlich auch nochmal ganz kurz einschieben. war nämlich letztens auf der Tag der Lehre an der Hochschule Darmstadt, hatten auch einige interessante Impulsverträge auch zugeschaltet mitunter und Lehre oder KI und Lehre ist ein Thema. Es ist definitiv noch nicht gelöst, es gibt super viele Meinungen dazu und wir kriegen demnächst auch dazu einen Gast hier zu unserer Podcastfolgen rein, der nochmal das Thema angeht, wie sich auch Prüfungen und der Umgang von Studierenden, aber auch von Lehrenden mitbringt. verändern wird. Also super spannende Thematik. 2bc24rprhw: Auf jeden Fall auch ein sehr wichtiges Thema, natürlich, weil die Studenten lernen heute anders oder gehen anders mit ⁓ und haben andere Möglichkeiten, die KI zu nutzen auch für ihr eigenes Studium und die Dozenten, wiederum das Wissen vermitteln, haben andere Möglichkeiten und in der Mischung mit der Prüfung auch. Aber mein Vortrag dreht sich eben ganz gezielt nur ⁓ den Teil der Verwaltung. Wie könnten denn Videoavatare dort die Verwaltung entlasten? Ähnlich analog wie beim Bürgergeld. Dr. Lucien André Reuter: Tatsächlich hatten Yvonne und ich... Tatsächlich hätten Yvonne und ich uns Vorfeld ein bisschen gebrainstormt, welche Probleme so ein Avatar lösen könnte, auf was für Punkte wir gekommen sind. Und wir hatten da so Thema Einschreibung, Prüfungsordnung, internationale Studierende, Studienberatung, Verwaltungsthematiken, aber auch Barrierefreiheit und Zugänge. Das sind so Topics, die uns in den Kopf reingeploppt sind. Welche Use Cases siehst du denn da konkret? Also haben wir da den richtigen Riecher? Ich meine, wir haben ja doch viel damit zu tun, ja. 2bc24rprhw: Exakt. Sehr gut. Exakt. Ja, nein, perfekt. Also ich habe gerade auf meine Liste geguckt an Use-Cases, die ich vor mir auf dem Spickzettel stehen habe. Ich glaube es waren alle dabei. Ich habe sie in einer etwas anderen Reihenfolge hier stehen, aber es geht natürlich ⁓ die Bewerbung an der Hochschule, es geht ⁓ das Einschreiben, es geht ⁓ die Prüfungsordnung, die hat es so glaube ich gesagt, es geht ⁓ die internationalen Studierenden, kommen. Es gibt ja viele Unis, die Studierende aus der ganzen Welt haben, so wie das alles in der Welt auch ist. Es geht ⁓ Fristen, es geht ⁓ den Campus-Service, es geht ⁓ quasi die Studenten-Hotline, die wie auch immer, ich habe versucht rauszufinden, einen einheitlichen Namen gibt an den Hochschulen. habe aber nichts finden können. Aber es geht genau ⁓ das. Dr. Lucien André Reuter: Meistens SSC oder Studenten Service Center. 2bc24rprhw: Ja genau, das das, ich gefunden habe, wo man sich eben als Student informieren kann und egal wo und egal wie es heißt, es gibt immer am Ende eigentlich erstmal Menschen, es beantworten müssen und es gibt mit Sicherheit genug Fälle, wo es auch notwendig ist, dass auch da ein Mensch ist, so ähnlich wie in der Gemeinde, aber es gibt auch mit Sicherheit, und da kann ich jetzt leider keinen Prozentsatz nennen, aber es gibt mit Sicherheit einen sehr, sehr hohen Prozentsatz an immer wiederkehrenden Fragen von neuen Studenten, die der Avatar beantworten kann. Und das kann, und ich habe auch neu dazugelernt, das kann bei einer Hochschule der Kanzlerin sein, das kann aber auch jemand anders sein aus der Hochschulverwaltung, der sozusagen als Avatar hier die Hochschule vertritt, Ansprechpartner ist und das im Prinzip ist das aus meiner Sicht genau übertragbar wie bei einer Gemeinde. Die Hochschule bekommt ein Gesicht, sie wird nahbarer, wird persönlicher. Jemand steht und kann 24-7 in 28 Sprachen immer wiederkehrende Fragen beantworten und das zu jeder Tages- Nachtzeit. Ich glaube, das ist einfach ein Service, eine Verwaltung. ich sage jetzt mal, nicht viel Arbeit macht, weil es dann die Arbeit der Avatar macht, entlastet und die Hochschule nahbarer macht und moderner macht, weil das einfach aus meiner Sicht auch etwas ist, was man jetzt technisch eben gut umsetzen kann. Aus dem Praxisbeispiel Pilotprojekt Gemeinde Bündelborn. Dr. Lucien André Reuter: Jetzt lasst uns doch mal einen Sprung machen. zwar sind unsere Zielgruppe ja weniger Hochschulpersonen noch Kommunen, sondern unsere Hauptzielgruppe sind ja Geschäftsführer und Führungskräfte. Das heißt, ich würde jetzt ganz gerne mal den Sprung in die Industrie und Unternehmen machen und ich weiß, dass Yvonne da einige Fragen vorbereitet hat. Ja Yvonne, willst du einfach los schießen? 2bc24rprhw: Ja. Yvonne: Super gerne. also die Relevanz für Mittelstand und Unternehmen ist ja für uns auch sehr sehr wichtig mit unserem Podcast. Du hast vorhin schon so einige neue Use Cases auch für die Industrie erwähnt oder in der Industrie erwähnt. Zum Beispiel so Sachen wie interaktive Produkte und Wissensassistenten für Kunden beispielsweise. Wie muss man sich das denn genau vorstellen? Also es gibt ja dann auch so Möglichkeiten wie ein digitaler Vertriebsassistent oder ein Support-Mitarbeiter oder vielleicht sogar ein Produktexperte. Oder alle zusammen. Also eine komplette Organisation aus all diesen Avatarien. 2bc24rprhw: Genau, technisch möglich, so wie es mit dem Chatbot möglich ist, so wie es mit einer KI-Recherche in den Dokumenten möglich ist, so haben wir uns das auch vorgestellt und ich habe eigentlich gerade im Hintergrund auch so ein Yvonne: Danke. 2bc24rprhw: Pilotprojekt am Vorbereiten für einen Schweizer Kunden, der mal angedeuelt hat, das würde ihn interessieren. Der Schweizer Kunde ist ein international tätiges Unternehmen und hat auf seiner Webpage, und wir machen für den Kunden schon öfters, früher in der Vergangenheit Livestreams und Registrierungen immer in 14 bis 16 Sprachen gemacht für ihre Kunden weltweit und er hat zu mir gesagt, als ich ihm das Pilotprojekt Bürgermeister vorgestellt habe, das würde ihn mal interessieren für als Produktberater. Und deswegen bereiten wir das gerade mal vor und wir haben dort die Herausforderung, dass es so viele technische Abkürzungen gibt und dann die ganzen technischen Einheiten ins Spiel kommen, dass man hier ganz neue Herausforderungen jetzt wieder hat, weil man jetzt auf einmal Maßeinheiten, Gewichte, Längen, alle möglichen Parameter, die nun mal in technischen Datenblättern stehen, ganz anders hinterlegen muss in der Datenbank, damit die KI das möglichst korrekt wiedergibt. nicht nur die Aussprache, sondern die Einheiten richtig benennt und ausgelesen werden. Und dann kommen die ganzen Produktbezeichnungen von so einem Hersteller, der tausende von Produkten hat noch hinzu, die ja teilweise auch kryptisch sind. Da müssen wir uns noch was überlegen. Aber der Ansatz dahinter zu sagen, der Kunde kann sich mit dem echten Produktmanager, den es hier auch in der Regel gibt, jetzt als Avatar unterhalten und das Ganze auch wieder die Technik darunter bleibt gleich, egal ob ich jetzt hier eine Verwaltung habe oder einen Produktberater. 24-7, 28 Sprachen und ich kann jederzeit quasi ohne jetzt manuell zu recherchieren oder Datenblätter zu lesen, mir eine Antwort geben lassen und mich durchfragen und das testen wir gerade im Hintergrund. Dr. Lucien André Reuter: Wenn wir jetzt mal einfach überlegen als Unternehmen, wie wäre ein sinnvoller Einstieg für mich und 2bc24rprhw: Also... Ja. Dr. Lucien André Reuter: Ist das nur wirklich was für die ganz Großen oder ist das vielleicht auch für Kleinere interessant? Also muss ich ein Multimillionen Konzern sein und zu sagen, das ist was für uns oder würdest du schon sagen, so ein KI-Avatar von meinem Produktmanager, von meinem Sales-Experten, von meinem Ansprechpartner, der könnte auch für einen KMU spannend sein. 2bc24rprhw: Ja. Auf jeden Fall. Das wichtigste ist, ⁓ festzulegen, wie schnell kann man sowas etablieren und wie viel kostet das. Das hängt so ein bisschen vom Zeitfaktor ab und der Größe der Datenbank ab. Und der Zeit, die man jetzt investiert, ⁓ diese Wissensdatenbank so zu optimieren, eben Frage-Antwort auch authentisch und korrekt ist. Und davon hängt es ein bisschen ab. Und je größer ein Unternehmen ist, umso komplexer, umso mehr Zeit braucht man eigentlich. Aber es geht auch schon durchaus in kleineren Einheiten. Das Beispiel mit dem Schweizer Kunden mag sich zwar groß anhören, aber ist gar nicht so groß, in Anführungszeichen, weil wenn man es runterbricht auf die einzelnen Produktgruppen und in den Produktgruppen auf bestimmte Produkte und das schön aufteilt, dann ist es nur ein, ja, man hat einmal eine Blaupause und wenn man weiß, wie die funktioniert, ist es relativ einfach auch für ein KMU adaptierbar. Auch in einem ähnlichen Segment vielleicht für ein kleines Unternehmen. Und ich habe ein weiteres Beispiel auch. der Industrie, ich eigentlich mit dem Kunden am verhandeln bin, weil es ein Start-up ist und eigentlich noch kein so großes Geld da ist. Aber ich sage, es geht auch schon für etwas kleineres Geld und ich bin natürlich interessiert an Use Cases zu sammeln. Da geht es ⁓ einen Online-Shop. Ein Online-Shop, der ein neues Produkt auf den Markt bringt, was erklärungsbedürftig ist. Und die haben das Problem, die haben Anfang des Jahres angefangen damit und kriegen ihre Verkäufe nicht hoch. Also ich kann mit dem Avatar nicht helfen, mehr Besucher auf die Website zu ziehen, aber wenn die Besucher da sind, kann ich helfen, die Conversion Rate zu steigern, indem der Avatar das abnimmt, was eben die Website und das, was sie Moment aufgebaut haben, nicht funktioniert. Weil sie haben festgestellt, wir haben ein erklärungsdürftiges Produkt. Sie haben die Website bewusst wohl nur in Englisch gemacht, weil sie internationales Publikum ansprechen und keine... Keine Ahnung, warum sie nicht andere Sprachen abbilden. Aber sie haben es nur in Englisch gemacht und sie haben ein Video produziert, ⁓ das Produkt zu erklären. Aber das Video ist wieder so komplex und so lang geworden, dass wahrscheinlich keiner das Video versteht. Weil es hat nicht zum Erfolg geführt. Also die Leute brechen im Video ab. Ich habe es auch ein Stück weit angeguckt, habe abgebrochen, weil es für mich nicht verständlich war. Und der CEO sagte zu mir, ich habe diesen Avatar gesehen und dachte, der löst alle unsere Probleme. Dr. Lucien André Reuter: oder überhaupt startet. 2bc24rprhw: Und ich habe gesagt, ja, das hört sich gut an, aber es gibt ihn halt nicht umsonst. Also wir müssen uns auf irgendeinen Preis einigen und wir müssen irgendwo hinkommen, weil es gibt neben... den ganzen Erfahrungswerten und dem Wissen und Know-how, das sich hier natürlich aufgebaut hat, das wir gesammelt haben, immer noch unten drunter die harte Währung von Servern, von Token, von Credits etc., die halt nur mal laufen und die bezahlt werden müssen. Und wir können es ja nicht aus Spaß machen. Nein, aber die Einstiegshilfe ist gar nicht so hoch, wie man denkt. Und ich glaube, dass auch das in den nächsten eins, zwei Jahren durch die Vervielfältigung in der Menge günstiger werden wird für alle. Und dass es ein viel leichteres wird, so etwas aufzusetzen, auch für kleine Unternehmen, nicht nur mittelständliche. Dr. Lucien André Reuter: Jetzt hast du ja bisschen so meine Heimatgefilde angesprochen mit ganzem technischem Background. Du hast vorhin auch schon mal was gesagt, ich ganz spannend fand, nämlich dass ihr euch ein eigenes Backend gebaut habt und das, was ihr vorher eingekauft habt oder zu gekauft habt, selbst gelöst habt. und zwar in Europa bzw. Deutschland gehostet. Ich meine, das ist keine neue Diskussion, dass wir alle ein bisschen unabhängiger werden sollten. Haben wir jetzt vielleicht der eine oder andere auch mit Fable gesehen, also das neue Modell von Claude, was released war für fünf Tage, dann von der US-Regierung gesperrt worden ist schlichtweg für alle, weil es sonst nicht lösbar war. 2bc24rprhw: Ja. Dr. Lucien André Reuter: Wie siehst du das Thema Souveränität in solchen KI-Projekten? Was ist dein Plan, wenn du jetzt was aufbaust für Mittelstände und morgen wird das Modell gesperrt oder verschwindet? Wie kann man sich da vorbereiten? Gibt Notfallschritte? Gibt es einen Notfallplan? Wechselt ihr einfach das Modell zum Konkurrenzanbieter? Was macht man in so einem Fall? 2bc24rprhw: Ja, das Beispiel von Claude und Fabel hat es gezeigt. Auch ich habe fünf Tage das testen dürfen. Und dann war es auf einmal weg. Und natürlich ist das ein wichtiges Thema, wie alle gemerkt haben. Und auch wir haben das vorher schon natürlich auf dem Schirm gehabt. Also unsere Pipeline und auch das vorher war ja mit einem Partner von mir, Entwicklern hier in Deutschland, aufgebaut, ⁓ die ganze Tools zu orchestrieren. Ich habe das jetzt nur auf eigene Beine gestellt mit einem neuen Entwickler oder etwas anders aufgezogen. das Ziel dabei war immer, wir setzen an allen Stellen, wo es geht, europäische Tools ein. So fangen wir vorne an mit dem Speech to Text. Also wenn jemand spricht, nutzen wir einen französischen Anbieter, der also aus der Sprache den Text macht, weil wir brauchen die Textbasis, ⁓ es dem LLM zu übergeben. Und wenn wir jetzt über das LLM als nächsten Posten sprechen, als technischen Blog, dann ist es so, dass wir eigentlich frei sind in dem LLM, was wir nutzen können. Außer ein ganz wichtiger Aspekt, die Geschwindigkeit. Wir brauchen natürlich eine extrem hohe Geschwindigkeit und ein Geschwindigkeitsfaktor ist das LLM und die Datenbank, wie schnell diese zwei Komponenten zusammenarbeiten, damit die Latenz möglichst gering bleibt, weil sonst würden wir vier, fünf, sechs oder länger Sekunden auf die Antwort vom Avatar warten und das akzeptieren die User nicht. Wir setzen ein Open Source Modell ein im Moment. Dr. Lucien André Reuter: Mhm. 2bc24rprhw: Wir könnten aber klassischerweise bei dem Anbieter, wo ich letztes Jahr angefangen habe, war OpenAI im Einsatz, weil es ein US-Anbieter ist. Und die US-Anbieter haben grundsätzlich kein Problem mit dem anderen US-Anbieter zusammenzuarbeiten. Aber wir natürlich hier in Europa würden gerne europäische Tools einsetzen. Das heißt, ich habe im Moment ein Open Source Modell, das ich verwende für die Antwortgenerierung. Das ist aber im Moment noch gehostet beim amerikanischen Anbieter, also der stellt die Infrastruktur bereit, aber gepinnt an Europa und dort wird das Open Source Bundel Lama 3.3 gehostet, weil es gibt im Moment niemand anderes weltweit, der das mit dieser geringen Latenz zur Verfügung stellt. Ich habe sie alle durchprobiert, inklusive Mistral in Europa. Die einzige Alternative für uns wäre, eigenes LLM zu hosten. Aber man kann das nicht auf einer GPU, sondern man braucht irgendeine andere Rechenleistung dazu. Mir fällt jetzt gerade der Begriff nicht ein. Also die GPU-Leistung ist es in dem Fall nicht, was alle nutzen, es wird eine andere, noch andere Technologie benötigt, damit wir mit der... Ja, ich müsste jetzt nachgucken. Ich hatte mich so eingelesen drüber und dachte, ich kannte das vorher auch nicht. Mir war nur die GPU bekannt und... Dr. Lucien André Reuter: Vorpülen? 2bc24rprhw: Es gibt da noch eine andere Technologie und die sorgt dafür, dass wir bei dem LLM mit diesem Open Source Modell in der Antwortzeit in der Regel unter einer Sekunde liegen. Und das ist entscheidend für unsere Antwortlatenz in der Gesamtkette bis zum Ende, wo ja auch dann noch die Antwortzeit aus der Datenbank dazukommt, die Antwortzeit, die Generierung von Text to Speech wieder, bis es dann beim User auch aus dem Lautsprecher rauskommt. Also, und was ich eigentlich sagen wollte, das LLM ist im Prinzip frei wählbar und hätten wir jetzt zum Beispiel eine Hochschule, die ein eigenes LLM betreibt, das so schnell genug wäre, dass uns die Antwortzeit eben nicht wegläuft in Form von 5-6 Sekunden, dann könnten wir jederzeit das Modell switchen. Also das Backend ist so aufgebaut, dass wir mehr Mandanten fähig sind, aber auch alle einzelnen Bausteine einzeln austauschen können. Das heißt, Yvonne: Vielen 2bc24rprhw: kippt uns jetzt das Open Source Modell bei diesem Anbieter, gehostet durch einen US-Anbieter, weg, dann kann ich jederzeit auch auf ein anderes Modell umschalten. Ich kann auch innerhalb von Claude jedes beliebige Modell wählen oder bei OpenAI sagen, möchte GPT 4.0 mini noch benutzen, weil das für mich die besten Resultate liefert und ich brauche kein 5.0 mini oder was auch immer da immer gibt. weiß ich gar nicht. Aber ich bin frei und kann sagen, wenn dieses Modell nicht mehr aktiv ist oder nicht mehr funktioniert, warum auch immer, weil es jemand abgeschaltet hat, dann wechseln wir das Modell. Aber soweit wollen wir es ja eigentlich gar nicht kommen lassen, sondern wir wollen von vorne rein nicht abhängig sein von... USA oder von einem chinesischen LLM Modell, irgendwo in der Welt gehostet wird. Wir gehen davon aus, dass wir hier einen europäischen Anbieter haben mit dem europäischen Modell, langfristig gesehen, der das genauso liefert in der Geschwindigkeit, dass der Avatar funktioniert. Und dann haben wir, die LLM Anfrage an die REC Datenbank geht, die ist in Frankfurt auf dem Server gehostet. Das ist eine Vektor Datenbank. Da wird ein Embedding gemacht und das Embedding für die Vektordatenbank, damit die semantische Suche funktioniert, die machen wir über Mistral. Also das haben wir auch schon in europäischen Anbietern im Einsatz, aber auch der könnte geändert werden. Sollte man feststellen, darf Mistral nicht sein, es muss LLM XY sein, könnte das gewechselt werden. Dr. Lucien André Reuter: Mhm. Nope. Ich habe mal eben parallel nachgegoogelt. NPUs wirst du vermutlich gemeint haben. Neural Processor Units. Die sind dafür bekannt, dass sie sehr schnell agieren können, ohne die CPU und die GPU zu belasten. Also sind wirklich speziell darauf aufgebaut. In Anbetracht der Zeit, mein lieber Stefan, würde ich jetzt nochmal der Yvonne rüber spielen, weil wir haben nämlich noch den Punkt mit den personalisierten Videos auf unserer To-Do-Liste. 2bc24rprhw: Das wird sein, ja. Dr. Lucien André Reuter: Danach würde ich fast schon sagen, kommen wir zu unserer typischen Schlussrunde. 2bc24rprhw: Gerne. Ich möchte noch eins anfügen, ⁓ dieses Thema Souveränität abzuschließen. Und ich hatte es am Anfang, ganz am Anfang. Ich weiß nicht, ob es einer Aufzeichnung schon war. haben am Ende, geben wir nach der REC-Datenbank die Daten ja wieder als Text-to-Speech aus. Auch hier teste ich gerade mit Open Source Modellen eine lokale Abbildung, sodass wir gar keine KI außerhalb Europas brauchen oder Deutschlands, sondern hier in Deutschland bleiben können. Und ich teste gerade einen deutschen Anbieter, der die Lippen-Synchron-Ausgabe des Avatars macht. ⁓ Dr. Lucien André Reuter: Ja. Mhm. 2bc24rprhw: Wenn wir das geschafft haben und das sieht alles gut aus, dann können wir das nahezu zu 98 Prozent mit Technologie aus Europa abbilden und jedes Modul ist einzeln austauschbar. Dr. Lucien André Reuter: Wäre ja auch nochmal ein Startruf an alle Startups da draußen, die uns zuhören. Wenn ihr in dem Bereich entwickelt, meldet euch bei Stefan, der sucht den Durchbrecher. Yvonne: Okay. 2bc24rprhw: So, jetzt. Yvonne: Jetzt noch ein Thema und zwar so personalisierte Videos und internationale Kommunikation. Der Lucian hat es ja gerade schon angedeutet. Und ohne jetzt Werbung machen zu wollen oder irgendwie werblich speziell irgendwas machen zu wollen, nutzen wir jetzt einfach mal die Schönheitsklinik als Beispiel. Warum auch immer sich der Lucian das ausgedacht hat, mit der Schönheitsklinik. Nein Spaß beiseite. Du hast ja vorhin personalisierte Videos mit Video-Avataren schon erwähnt. Und wenn wir zum Beispiel tatsächlich für die automatisierte Kommunikation mit internationalen Patienten bei so einer Schönheitsklinik das Ganze anwenden würden, was würde dann konkret dort passieren? 2bc24rprhw: Ja, also... Außer dass man natürlich auch für eine Schönheitsklinik auch den interaktiven Avatar nutzen kann, für einen Dialog zu immer wiederkehrenden Fragen, hat sich einfach ergeben, dass auch auf diese Medienresonanz hin von dem Bürgermeister Avatar jemand bei uns gemeldet hat, eine Schönheitsklinik aus Spanien. Aber ohne jetzt da weiter irgendwelche Namen zu nennen, die gesagt haben, dass mit dem interaktiven Avatar eine tolle Sache Aber ich habe noch folgende Herausforderungen oder Probleme, wo ich gerne eine Entlastung haben möchte. Und zwar macht der Yvonne: Ja. 2bc24rprhw: Chefarzt 10 bis 15 Videos selbst jede Woche um die Patienten vorher mal zu begrüßen persönlich und sie abzuholen, weil sie sehen ihn sonst erst zur OP wenn sie nach Spanien geflogen kommen. Und ich habe gesagt das lässt sich wunderbar abbilden, weil wenn wir von ihm einen Avatar machen dann spricht sein Avatar über 170 Sprachen. Das heißt er kann jede seiner Patientinnen persönlich mit Namen in ihrer Sprache begrüßen, kann sich vorstellen Yvonne: Mhm. 2bc24rprhw: wer er warum er einen Job macht, was seine Klinik ist, weil das tut er im Moment, ⁓ die Menschen vorher schon mal abzuholen, ⁓ sie persönlich zu begrüßen, damit sie ihn kennenlernen, also Nähe zu schaffen, auch wenn es eine Videoaufnahme ist. Und der Videoavatar wäre im Prinzip einfach der fortgeführte Schritt. Der Videoavatar sieht exakt aus wie der echte Arzt mit einer echten Videoaufnahme, nur dass er eben jetzt Yvonne: Mhm. 2bc24rprhw: in einer bestimmten Sprache spricht und der Arzt nicht mehr vor die Kamera muss. Das heißt, er hat diese 10 bis 15 Videosaufnahmen, die er pro Woche macht, nicht mehr. Er muss da nicht mehr vor die Kamera, sondern sein Team im Hintergrund kann das übernehmen und kann jetzt für die Patientin A einen Text eingeben. Es gibt dann Standardtexte und man ergänzt nur die Variablen. Und das ist dann der Teil, wo die Automation ins Spiel kommt. Wir haben uns hier ein System ausgedacht, dass im Prinzip das Team im Hintergrund nur diese Variablen Yvonne: und 2bc24rprhw: befüllt, welche Sprache, wie ist der Name der Patientin, was sind vielleicht noch an der einen oder anderen Stelle Informationen, die persönlich mit einfließen sollen in den Variablenfeld und was sind die festen fixen Textpassagen über die Klinik, die sich nicht verändern, über das Team, über das gesamte Prozedere einer Schönheits-OP und wenn diese Informationen einmal in einem Template festgelegt sind, werden Die Variablen einfach nur in einem Formular ausgefüllt von dem Team Hintergrund, die Zielsprache gewählt, der Name eingegeben und drei Minuten später hat das Team ein fertiges Video und kann es per E-Mail versenden. Das ist der erste Schritt. Öffnet der Empfänger die E-Mail, klickt auf den Link. Link gelangt eher zur Webseite der Schönheitsklinik und auf einer speziell eingerichten Landingpage steht über dem Video der Name der Patientin und im Video wird sie vom Arzt begrüßt. Automatisch. Das heißt wir haben ein System geschaffen das voll automatisiert die Videos generiert in allerbeliebigen Sprache mit den Variablen darin, automatisch das Video so ablegt Yvonne: Sehr cool. 2bc24rprhw: dass es für die Zielperson auf der Landingpage der Klinik erscheint, also Klinik gebrandet, mit einem persönlichen Namen der Zielperson drin. Und die Landingpage gibt es nur einmal. Und wir setzen überall nur die Variablen ein, egal ob das 50 oder 100 E-Mails oder Patientenvideos sind. Es muss also keine große Serverlast oder Farm aufgebaut werden, sondern wir machen durch ein intelligentes System die Automation, sodass es am Ende nach drei Minuten ein fertiges Video gibt, was dort abspielbar ist für die Zielperson. Und einfach zum Anklicken, keiner muss was machen, entlastet auch den Arzt und entlastet das Team im Hintergrund, weil die Arbeit viel, weniger ist, als wenn das manuell gemacht werden würde. Und auch das lässt sich kopieren, multiplizieren als Blaupause auf andere Branchen. Yvonne: Bitte. Richtig spannend, Dr. Lucien André Reuter: Dann... 2bc24rprhw: kann auch gerne noch Beispiel machen, wenn noch Zeit ist. Nein, die Zeit ist abgelaufen. Dr. Lucien André Reuter: Zeit ist abgelaufen, Stefan. Wir sind schon bei über einer Stunde. Ich könnte mich wirklich noch ewig mit dir darin unterhalten, weil ich das super stand finde. Aber ich habe dir vorhin schon bisschen angetesert. Ich würde dich ganz gerne einfach noch mal in sechs Monaten einladen. Oder ungefähr sechs Monaten. Und dann wieder zu sehen, was hat sich da verändert, was ist neu passiert, wohin geht die ganze Reise. 2bc24rprhw: Ja. Dr. Lucien André Reuter: Dementsprechend würde ich jetzt einfach einen klaren Cut machen, Stefan. Vielen Dank für deine Zeit erneut, für deine Einblicke. Ich warte immer noch darauf, dass du uns anbietest, Podcast mit KI-Avatar nachzubilden und ihn in 26 Sprachen oder 28 Sprachen zu übersetzen, damit wir die ganze Welt daran erreichen können. Wenn du dich da irgendwann mal bereit für fühlst, melde dich jederzeit bei Yvonne und mir. Ja, was kann man dazu sagen? Es gibt etwas, was wir uns merken sollten, nämlich, Avatare sind mehr als nur eine Spielerei. 2bc24rprhw: Take care! Dr. Lucien André Reuter: Es ist wirklich ein System hintendran. Es gibt echte Anwendungsfälle. Es gibt echte Fragen der Thema der Verantwortung. Es ist eine Frage, wie man etwas zugänglicher machen kann. nahbar, greifbarer, obwohl wir aber trotzdem weiter menschlich bleiben wollen. Das ist uns ja ganz wichtig in der Thematik. Wir haben so ein bisschen uns angeguckt, was vom Highback geht, wie das weiterziehen kann. Wir sind da wirklich in einem Prozess drin. Es gibt noch nicht die Antwort. Das ist auch super spannend. Ja, für mich ist eigentlich hängen geblieben. dass wir nochmal abwarten müssen im Großen und Ganzen. Jetzt wäre aber noch meine Frage, du kennst das ja aus der Folge 6. Was würdest du unseren Zuhörern mitgeben, wenn du, und das ist jetzt die Schwierigkeit, einen einzigen Satz nutzen darfst dafür? Yvonne: Hahaha 2bc24rprhw: Also ich wünsche mir, dass wir in Zukunft weniger über die Avatare selbst sprechen, sondern über die Lösungen, die die Avatare bieten. Denn was am Ende hängen bleibt, niemand erinnert sich an die Technologie, es ging, sondern sie erinnert sich daran, dass ihnen geholfen wurde. Dr. Lucien André Reuter: Mhm. Ja, kann ich absolut nachvollziehen. Ist ein guter Punkt. 2bc24rprhw: ⁓ kurz und knapp zu bleiben. Yvonne: Punkt. Einsatz. Dr. Lucien André Reuter: Einsatz! Yvonne: Sehr cool. Also auch von meiner Seite, Stefan. Vielen, vielen, vielen Dank. Ich finde es immer wieder spannend, was alles möglich ist. Ich bin ja jetzt nur... ein Coach und nur ein Psychologe. Aber auch für mich ist das Thema unfassbar spannend, weil jedes Mal, du in unserem Podcast bist, erweitert das nochmal mein Horizont. Und Lucien weiß es, ich bin ein unglaublich kreativer Mensch. Bei mir ploppen jetzt schon wieder so Ideen auf, man selber für sich so mitnehmen kann. Von daher auch von meiner Seite aus vielen herzlichen Dank. 2bc24rprhw: Session. Mh. Sehr gerne. Hat mich gefreut, hat Spaß gemacht und ja, ich freue mich auch in sechs Monaten zu berichten, was es vielleicht dann Neues gibt. Dr. Lucien André Reuter: von meiner Seite nochmal herzlichen Dank Stefan. Das war Digital Sense, human side of AI. Vielen Dank auch an euch, ihr lieben Zuhörer und Zuhörerinnen. Bis zur nächsten Folge. Wie schon gesagt, werden ganz ganz viele Gäste haben. Das ist unsere Gastfolge. Wenn ihr auch selbst Lust habt, Podcast mal aufzutreten und ihr irgendwas über KI, mit KI oder am Rande von KI erzählen könnt, meldet euch gerne bei uns. Tut nicht weh. Wir freuen uns auf jeden Vorschlag. Ja. Ende. Tschüss. Yvonne: Bis dann, ciao ciao!