Latest / DEEPTECH DEEPTALK / DeepTech, tiefer Wald, wenig Überblick 🌳🤖🌳 Willkommen im Modell-Dickicht
Transcript
- 0:12Da sind wir wieder vom Deep Tech Deep Talk in ja in in Alter
- 0:16gewohnter Runde, Jam Session Alois und meine Wenigkeit und
- 0:20wir haben uns heute ein Thema vorgenommen, alles über was
- 0:22reden wir heute? Wir wollen uns heute das Thema
- 0:26der Large Language Models noch mal vornehmen, und zwar, was wir
- 0:30jetzt naht, ja der der Jahrestag von Chet GBT.
- 0:34Bald sind es 3 Jahre her und wir haben in der Zwischenzeit
- 0:38unglaublich viel Entwicklung gesehen.
- 0:40Von einem, ich sag mal spielkram Anwendungsszenario in Richtung
- 0:44immer mehr depresning Anwendung und das wollen wir heute mal
- 0:49erörtern. Es ist ja doch irgendwie so eine
- 0:51ganz komische Situation, dass ja 3 Jahre wirklich dauerhaft
- 0:54gefühlt exponentiell schnelle Entwicklung auf der anderen
- 0:59Seite warten alle auf AGI. So und irgendwie kommt es nicht.
- 1:03So, das heißt, irgendwie geht es dann doch langsamer, als einige
- 1:05vermutet haben, aber für viele dann auch zu schnell.
- 1:08Wir merken auch, dass der Arbeitsmarkt inzwischen doch
- 1:10stark auch tangiert wird von den Themen, einfach auch durch die
- 1:13eigene Rückmeldung, die wir in unseren Projekten und so weiter
- 1:15und sofort kriegen, ja, wir wollen gar nicht mehr so viele
- 1:17Leute einstellen, wollen dann am liebsten alles automatisieren,
- 1:20wir wollen alles mit KI machen. Bloß ganz viele Leute.
- 1:23Entweder nutzen sie es noch gar nicht, also haben es noch nie
- 1:25ausprobiert, da gibt es ja immer noch genug und auf der anderen
- 1:26Seite nutzen sie es dann vielleicht auch nicht so, dass
- 1:28sie es voll ausschöpfen zu Ihren Gunsten beziehungsweise gibt es
- 1:32diese Möglichkeiten das wirklich für den Arbeitsalltag erst so
- 1:35richtig gut zu nutzen, seit kurzer Zeit richtig.
- 1:38Ja, also wir sehen auf. Auf der einen Seite immer mehr
- 1:42Modelle, die auch gewisse Spezialitäten haben, zum
- 1:47Beispiel in Richtung kultureller Adaption, ne, also.
- 1:51Oder sprachliche Adaption. Neuste neuestes Release ist hier
- 1:55sicherlich Tilde AI mit einem offenen Modell, welches auf den
- 2:01Lumi Supercomputer trainiert worden ist und insbesondere so
- 2:04die baltischen sprachen, kulturelle Aspekte, aber auch
- 2:07insgesamt auf Sprachen setzt, weil das Unternehmen dahinter
- 2:10halt seit vielen, vielen Jahren wirklich gut in Sprache ist und
- 2:14auf der anderen Seite sehen wir immer mehr Fortschritte.
- 2:18In Richtung Agentenbasierte KI Plattform.
- 2:20Das heißt, dass wir nicht mehr die Modelle per SE als als
- 2:24sozusagen Werkzeug für alles sehen, sondern dass es
- 2:28differenzierter wird und die dritte Entwicklung, und das geht
- 2:30genau in die Richtung, die du gerade ansprachst, ist, dass die
- 2:33Fähigkeiten der Modelle, dieses Thema Reasoning zu machen, also
- 2:38in einer tiefen Recherche zum Beispiel über n Sachverhalt und
- 2:42wirklich einer kritischen Auseinandersetzung, dass die
- 2:44Fähigkeiten dieser Modelle. Auch doch jetzt immer mehr an
- 2:48Qualität gewinnen, ja. Man hat mal so ein bisschen das
- 2:50Gefühl, dass man mit so einem dementen Forscher arbeitet.
- 2:52Aktuell bei vielen Modellen ja, wo man sagt, ja, du bist super
- 2:54schlau, aber du hast von der Hälfte auf den Weg vergessen,
- 2:57ne, und das wird jetzt gelöst. Genau also dieses Thema mit dem
- 3:02Kontext window, was, was ja viele schon gehört haben, das
- 3:05heißt, wieviel kannst du eigentlich an bei Informationen
- 3:07einem prompt ja eine Eingabe hinzufügen, das war genau das
- 3:12was du sagtest mit der Demenz. Also die die Fenster wurden
- 3:16immer größer. Ja ich konnte da nen ganzen
- 3:18Brockhaus, ne ganze Enzyklopädie sozusagen mit Reinladen um den
- 3:22Kontext für die Fragenbeantwortung oder
- 3:24Aufgabenbeantwortung entsprechend festzulegen.
- 3:27Auf der anderen Seite haben die Tests dann gezeigt, dass diese
- 3:30Art von Kontext dann doch immer wieder in diesen Schritten ne
- 3:32des Reasonings vergessen wurde und jetzt gab es in der letzten
- 3:37Zeit einige Release Varianten, insbesondere will ich da so ne
- 3:41App nennen, ne von von Cloud. Und da kam auf einmal
- 3:47entsprechend ein wirklicher Qualitäts Booster.
- 3:50Was das Thema angeht, sich mit einem Sachverhalt, dann mit
- 3:53Memory, ja, also mit mit genau diesen Kontext, der mit
- 3:57hinzugefügt wurde, aber auch mit den Zwischenschritten, dass die
- 4:01nicht vergessen worden sind und vernünftig dann wiederum als
- 4:04Input gelten, dass das wirklich einen einen Qualitätssprung
- 4:07erreicht hat. Denn so, dass da weniger
- 4:09vergessen wird oder wird einfach nichts mehr vergessen.
- 4:11Also ich glaube zu sagen, es wird nichts vergessen.
- 4:14Kommt dann doch wieder auf den Use Case an ne und und auch auf
- 4:17das eigene Prompting und wie gut man insgesamt das Thema Context
- 4:21Engineering kann ne und auch auf seiner Plattform aufsetzt, das
- 4:25heißt ich würde sagen deutlich weniger und die ich fand bei der
- 4:29Nutzung die Überraschung der Qualität der Antworten ja und
- 4:33auch sozusagen wie stark sich das System dann mit der
- 4:36Aufgabenstellung. Jenseits dieses ja schnellen
- 4:40Zurückgebens. Ja, die Information sieht so und
- 4:42so aus. Ne, das waren immer am Anfang so
- 4:44vor 3 Jahren ja die meisten Eingaben.
- 4:46Ja ich hab die und die Frage und ne teilweise auch sehr sehr sehr
- 4:50intime Fragen und ich möchte einfach ne Antwort haben, so
- 4:52ähnlich wie ne Google suche das ist inzwischen so differenziert
- 4:56machbar, dass man quasi dem System sagt, setze dich als
- 4:59wärst du ein PHD Anwärter. Setze dich mit dieser
- 5:05Fragestellung, die ich habe, wirklich tief auseinander und
- 5:09fange dann an, schrittweise mir quasi eine Art von
- 5:13Meinungsbildern, ja ne, die die erstmal leicht anfangen und
- 5:17immer tiefer gehen bis hinzu Handlungsvorschlägen zu
- 5:20erarbeiten. Ne, also wirklich ein
- 5:22Arbeitsprozess abzubilden. Ja, was ja entspannt war so
- 5:26viele arbeiten ja an diesem iterativen Prompting.
- 5:28Ja, das heißt, ich fange mit etwas an und dann?
- 5:30Nehme ich vielleicht noch mal ein anderes Modell, das da noch
- 5:32mal ein bisschen tiefer reingeht?
- 5:33Und dann hoffe ich, dass da ein bisschen mehr rauskommt und dann
- 5:36verdichte ich das wieder. Das ist ja dieses Iterativ zu
- 5:39einer Lösung hin Robben und jetzt mit dem Release von
- 5:42Chatibity, die einfach aktuell natürlich die, die da auch am
- 5:45meisten Sichtbarkeit haben noch sind mit Chatibity 5 ist das
- 5:51gefühlt ja keine Ahnung, also es gibt ja so eine Art Rezept.
- 5:56Für n. Prompt ne, du kannst irgendwie
- 5:57ne Seite lang n prompt schreiben, aber das macht ja
- 5:59keiner so. Das heißt es war vielleicht ne
- 6:01falsche Hypothese zu sagen, OK man man man man macht dieses,
- 6:05man entfernt sich von diesem iterativen und gibt den Leuten
- 6:08so n prompt Rezept was an, dass sich eh keiner hält und jetzt
- 6:12auf der anderen Seite hat so n so n Cloud so ne.
- 6:15Ne Lösung Heroid von einem der von von von der Lösung die
- 6:19Mitdenkt, die weniger Iteration braucht, aber in diesen
- 6:22iterativen konditioniert ist. Also so und auf auf der Basis
- 6:26vielleicht drauf setzt. Genau also es, was man schon
- 6:29sehen kann, ist, dass diese Art von von Anweisung ne, die ja
- 6:33auch teilweise in in Millionenfacher youtube
- 6:36Ausfertigung als Prompting Tipps Hinweise.
- 6:39Ne, viele haben sicherlich mal mit Chain of Thought und so
- 6:43weiter schon in sind in Berührung gekommen.
- 6:45Ne, das sind genau diese Hilfsmittelchen um am Ende zum
- 6:48zum gewünschten Ergebnis zu kommen, dass das immer mehr in
- 6:51ins Backend verlagert wird und das eigentlich durch weniger
- 6:56Eingaben trotzdem die Qualität steigt, weil diese Art von
- 7:02sozusagen Abfolgen und auch auch tieferen Auseinandersetzung halt
- 7:06sozusagen im Hintergrund stattfinden und.
- 7:09Da gibt es unterschiedliche Paradigmen, die das Treiben.
- 7:13Teilweise ist es auch auch immer noch ein, könnte man fast sagen,
- 7:17so ein, so ein, ein ein Zusammenstellen von
- 7:22unterschiedlichsten Modellklassen, die im
- 7:25Hintergrund einfach läuft, ohne dass man weiß, dass es läuft.
- 7:28Teilweise ist es aber wirklich auch aus einem System heraus,
- 7:31und das ist das, was wir gerade auf dem auf dem gesamten Markt
- 7:34sehen, weshalb viele Profis. Sich nicht auf einen einen
- 7:40Vendor verlassen und eigentlich immer parallel schauen?
- 7:45Ja in in welche Paradigmen gehen die Firmen die das dahinter
- 7:48treiben aber. Wie soll der Otto
- 7:49Normalverbraucher damit halten? Ich meine du siehst ja den Wald
- 7:52Wald vor Bäumen nicht mehr von Anbietern, jetzt kommen auch
- 7:55immer mehr europäische Anbieter, die du jetzt eben genannt hast.
- 7:59Und die haben dann wiederum unterschiedliche Modelle.
- 8:01So, jetzt sehen wir natürlich, dass jetzt beispielsweise wieder
- 8:04Chef GPT so n Automodus eingebaut hat, dass das
- 8:08automatisch erkennt, ob da n bisschen mehr Reasoning
- 8:10gewünscht ist oder oder notwendig ist oder nicht.
- 8:14Idealerweise braucht ja der Nutzer genauso was, also der der
- 8:18normale Otto Normalverbraucher, der sich jetzt nicht in der
- 8:20Tiefe mit der was kann, welches Modell und welche Anbieter hat
- 8:23das Beste für mich und so weiter und sofort.
- 8:25Man möchte sich ja verlassen auf die die am am lautesten sind und
- 8:28auf die Big tags. Ja und da ist man Chat GPT weit
- 8:31vorne, da ist Google relativ weit vorne und andere stehen
- 8:34jetzt auf dem Markt und gerade so Cloud ist glaube ich eher
- 8:37eine Tag Szene noch verbreiteter, gerade was so
- 8:40Programmierung angeht. Aber sind jetzt auch gar nicht
- 8:42so in in der Breite angekommen. Genauso wie ein Trophic und so
- 8:45weiter und sofort. Und diese ganze, ich nenne sie
- 8:47tatsächlich mal nischenmodelle wie Tilde und Schweizer Modell,
- 8:50wie heißen die Nummer Apertus, Apertus und Co.
- 8:52Das ist alles cool, aber ich glaube diesen Pfad sich da nicht
- 8:56zu verirren und zu gucken, OK was ist jetzt eigentlich mein
- 9:00Modell, was ich jetzt mal vielleicht für einen Zeitraum x
- 9:02nutze oder ich habe das Modell für den Task und ich habe das
- 9:04Modell für den Task, wo siehst du da eine Tendenz in welche
- 9:08Richtung entwickelt sich das oder sollte sich das vielleicht
- 9:10sogar entwickeln? So ein Ansatz, der viel auch
- 9:13diskutiert wurde und auch jetzt, inzwischen ja, gelebt wird, ist
- 9:16das Thema so eines Meta Einstiegs zu haben.
- 9:19Ne, Du hast eine Maske, nennen wir die einfach mal Interface
- 9:22und da bist du als Dow dümmster anzunehmender User ja der der
- 9:28gar nichts von von Pompting hinweisen ja oder oder auch
- 9:33Modell Flavor und und diese Differention gar nicht im Kopf
- 9:35hat sondern einfach nur n Wunsch hat, dass er möglichst gute
- 9:37Ergebnisse bekommt. Ja bei welchen Aufgaben auch
- 9:40immer. Dass du quasi dem dieses
- 9:43Interface anbietest und im Hintergrund eigentlich die
- 9:45Orchestrierung stattfindet. Das heißt, dass wirklich auch
- 9:48nicht dann nur ein Modell sozusagen angepingt wird,
- 9:51sondern dass mehrere Angepingt werden und dann quasi versucht
- 9:57wird, dann doch in der Iteration mit dem User rauszufinden, was
- 10:00findet er denn gut oder schlecht und?
- 10:04Trotzdem aber ein ein großer Automatisierungsanteil einfach
- 10:07dahinter ist. Das ist so ein Ansatz dann.
- 10:09Das heißt, man könnte sich jetzt in so eine Metaebene setzen als
- 10:12Anbieter und die verschiedenen Anbieter wiederum in einem
- 10:15Interface zusammenfassen mit den jeweiligen Modellen.
- 10:19Und ja, klingt ja erstmal erstmal total sinnvoll.
- 10:21Genau ne und das da gibt es jetzt schon Systemanbieter die
- 10:24einfach sagen alleine aufgrund der Token Preise.
- 10:27Ja das ist ja auch noch mal so ein so ein Thema was noch nicht
- 10:30wirklich gelöst ist, weil wenn du dann.
- 10:32Nehmen wir mal an, du, du gehst von diesem Dow dümmsten
- 10:36anzunehmenden User in Richtung eines Users, der dann schon
- 10:40informiert ist und sagt Oh für das und das Thema ja ich mach
- 10:44vielleicht viel solche Research aufgaben ne also oder einfach
- 10:47Recherche Aufgaben und da möchte ich die beste Power einfach
- 10:50haben, dann kann man sich vorstellen, dass sehr schnell
- 10:53sehr viel Tokens auch verbraucht werden und wenn ich das dann
- 10:55auch noch parallel auf den unterschiedlichen Modellen
- 10:57mache, müsste ich mich eigentlich mit Kreditkarten.
- 11:00Ja, und und und. Zugängen auseinandersetzen und
- 11:03Limits und so weiter und da gibt es jetzt genau diese
- 11:06Intermediäre, die sagen, ja, brauchst du gar nicht wissen, du
- 11:08kriegst bei uns ein Interface und wir testen quasi schon, also
- 11:13selbst mit so einem Auto automatischen Modus alle Wege
- 11:16und zeigen dir dann so die die Best Hits und wenn du das dann
- 11:20ein paar Mal im Monat einfach nur nutzt bei uns, dann lernen
- 11:24wir dich besser kennen und. Und müssen diese komplett
- 11:27parallele Ausstörung irgendwann gar nicht mehr machen, weil wir
- 11:29wissen okay dieses Modell ist jetzt für dich am besten, weil
- 11:32du dich mit jenen Rechercheaufgaben
- 11:34auseinandersetzt. Die Intermediäre sind, das ist
- 11:36natürlich ein spannendes Geschäftsmodell, ja so.
- 11:38Im Grunde bist du denn irgendwo ein Startup, setzt dich irgendwo
- 11:40dazwischen, also komplementär als Layer on top, ja, oder wie
- 11:45kommt wahrscheinlich den Big tags, wobei das funktioniert,
- 11:47sagen ja okay jetzt kaufen wir euch so, jetzt stellt ihr uns
- 11:51die vorderste Reihe, ja, also. Das wäre, glaube ich mal ganz
- 11:54spannend zu beobachten, wie sich das jetzt in Zukunft entwickelt.
- 11:57Ja, ob diese Intermediäre so so starke Verhandlungsmacht
- 12:02aufbauen, dass sie vielleicht auch eigenständig bleiben
- 12:03können, oder ob die jetzt praktisch dann ja geschangenheit
- 12:07werden, sozusagen von den großen Tags.
- 12:09Genau das Spannende ist in diesem intermediär Geschäft gibt
- 12:12es so auch wiederum 2 Ansätze. Der eine ist der for Profit ne
- 12:16das ist sind dann einfach Leute die möglichst schnell natürlich
- 12:19diese Anfragen bündeln müssen, ne je mehr User die dann
- 12:22bündeln. Also Traction, die dann wiederum
- 12:24den großen ne zuführen können durch Nutzung.
- 12:28Desto mächtiger sind sie und da ist die Frage, wie lange bleiben
- 12:30sie mächtig genug, also haben genug Userbase und Traction,
- 12:34dass es interessant ist mit denen auch so gewisse
- 12:36Rahmenverträge, ne abnahmegeschichten und sonst was
- 12:39zu machen. Die andere Seite, die aber auch
- 12:41spannend ist, ist, dass du immer mehr solche Art auch von
- 12:43Intermediären im Bereich Open Source siehst, die sagen, Wir
- 12:47haben eine unfassbar große Open Source Usage.
- 12:51Haben da von Grundlagenforschung bis angewandte Forschung bis
- 12:55hinzu Non Profit Bereich NGOS bis hinzu den Profit Bereichen
- 12:59alle bei uns on Board ne die gucken sich bei uns Benchmarks
- 13:02an, laden sich bei uns unterschiedliche auch
- 13:04Modellvarianten runter, arbeiten da dran sowie die Open Source
- 13:07Community Halt tickt und die bieten auch so eine Art Meta
- 13:12Einstieg an und bauen daraus Plattformen ne und da sind
- 13:16häufig jetzt so Non Profit Firmen hinter.
- 13:19Die auch so ne Wette haben. Wir wissen ja auch, können uns
- 13:21noch erinnern, Open Air war ja auch mal mit diesem Ansatz
- 13:24gestartet, haben sich dann gewandelt und die bündeln
- 13:27sozusagen das aber jetzt nicht mit der Macht von viel bezahlter
- 13:31Traction, sondern sozusagen mit der der Usage im Open Source
- 13:35Bereich. Ich sehe das ganze Thema, da
- 13:36Building Compliance auch noch so ein bisschen auf der.
- 13:38Ja OK, ganz spannend, gerade wenn ich jetzt im im work
- 13:40Kontext dran gehe und sage OK viele Arbeitgeber sind aktuell
- 13:44schon massiv überfordert mit der Einführung von Co Pilot oder
- 13:48ähnlichem. Ja und das sind ja tendenziell
- 13:50vielleicht auch sogar inferiore Lösungen im Verhältnis zu dem
- 13:52was der Markt hergibt, deswegen haben die Leute nutzen, die ja
- 13:54praktisch unerlaubt zum großen Teil dann irgendwie die Chat
- 13:57GPTS oder Googles dieser Welt. Und jagen da im Grunde
- 14:00vielleicht sogar vertrauliche Daten rein?
- 14:02Und dann hast du noch ein Layer dazwischen, also ein Anbieter
- 14:05dazwischen, der dir in einer Metaebene dann im Grunde auch
- 14:07eine Lösung zur Verfügung stellt, wo du dann ja im Grunde
- 14:11sagst, OK, wenn der mir jetzt aus Versehen das falsche Modell
- 14:14oder aus aus Versehen so ein chinesisches Open Source Modell
- 14:17irgendwie angibt, ob nutzt, obwohl er eigentlich sagt, er
- 14:21nutzt jetzt ein europäisches. Ne, wer, wer haftet denn da
- 14:26jetzt? Also insofern müsste man das ja,
- 14:27um das wirklich sauber zu machen, müsste man das ja
- 14:29praktisch auch so einer europäischen Open Source Lösung,
- 14:32wo dann ganz genau getrackt wird, welches Modell wie
- 14:34angepingt wird und genutzt wird, also da da wirklich dann noch
- 14:38mal aufzuräumen, das ist ja praktisch der Wald den man vor
- 14:41Bäumen nicht mehr sieht, aber das sind die Wälder, die man
- 14:43vor, also das ist einfach, das bringt eine krasse Komplexität
- 14:46rein, oder? Absolut.
- 14:48Ich mein, alleine wenn man das Modell datenschutzrelevante
- 14:52personenbezogene Datenanfragen stellen würde, ja egal ob das
- 14:55Modell dann mit mit einer fiktiven oder gedachten Person
- 15:00ja oder mit einer echten Person und dann fiktiv erfundenen
- 15:04personellen, sozusagen personenbezogenen Daten
- 15:07antwortet, das sind ja heute auch schon die großen
- 15:09Aufgabenstellungen und ich glaube.
- 15:11Wenn du jetzt diese Intermediärs, also diese Layer
- 15:14Geschichten, die es ja in der Informatik immer schon gab, ne
- 15:16ISO Rosi Modelle und so weiter wenn du wenn du das denkst es
- 15:19kommt Komplexität rein ne es kommt unfassbar viel auf
- 15:23Funktionalität rein, ne dass das immer mehr auch für den
- 15:26Commodity Nutzer wirklich zu auch teilweise wirklich
- 15:29verblüffend guten Ergebnissen führt, aber das Thema Handling,
- 15:32beherrschbarkeit, Transparenz, Responsible AI Kriterien ne wie
- 15:36Robustheit auch das Thema Datenleakage.
- 15:40Ja, auch das Thema. Wie greife ich dann solche
- 15:42Schnittstellen an, um dann Reverse Engineering zu machen,
- 15:45also auch viel, dann dann ne von den Trainingsdaten und sozusagen
- 15:49Informationen, die in Retriever Augmented Generation Rack Lösung
- 15:52sitzen, dann abzurufen, das ist noch längst nicht geklärt, da
- 15:55wird die Szene auch glaub ich wirklich nur iterativ
- 15:59erwachsener, weil gewisse Funktionalitäten triggern
- 16:03wiederum User. Die vorher noch gesagt haben,
- 16:06ach, ist doch alles Spielerei, ne und je mehr ich jetzt
- 16:09Funktionalität bereitstelle, desto mehr commuser rein,
- 16:12vielleicht auch von Institutionen, ja öffentlichen
- 16:14Institutionen, die dann aber wiederum sagen, Ach und das
- 16:17Thema Security und das Thema Gardrailing ist noch gar nicht
- 16:20geklärt, OK, wusste ich gar nicht, ne deswegen.
- 16:23Ich glaube, erwachsen zu werden, auch im Bereich AI Data Literacy
- 16:26bedeutet, dass du heute wirklich diese Art von Komposition, die
- 16:30du inzwischen in der KI nutzt, ne sind ja nicht nur große
- 16:33kleine Sprachmodelle ne oder oder sowas, sondern das sind ja
- 16:36auch klassische Modelle, die weiterhin auch angetriggert
- 16:39werden, klassische APIS, dass diese Orchestrierung gut
- 16:43hinzubekommen, das ist sozusagen jetzt jetzt die Herausforderung,
- 16:46die. Magic Source sozusagen.
- 16:48Und? Wie ist das?
- 16:50Ist wohl kein kleiner Themenschwenk.
- 16:51Wir hatten ja eben auch gesagt, es gibt jetzt immer mehr
- 16:53europäische Anbieter, siehst du Gefahr, dass wir praktisch in
- 16:57eine gleiche Situation kommen wie wir damals mit einem Cloud
- 17:00Thema waren, dass wir halt die amerikanischen Hyperscaler
- 17:03haben, ja die gesagt haben, OK, wir können nicht alle Themen
- 17:05selber bedienen, aber wir stellen zumindest die Cloud
- 17:07Infrastruktur dafür und in Europa haben wir, sagen wir
- 17:11überschaubar viele 3 oder so, die mir vielleicht einfallen
- 17:14würden. Hyperskiller, die jetzt auch
- 17:17nicht wirklich mithalten können mit dem Angebot von den
- 17:20amerikanischen Big Tags oder vielleicht sogar chinesischen
- 17:22Big tags. Also ich, ich glaube erstmal,
- 17:26was wir jetzt sehen ist, dass ja diese Art von Nutzung von auch
- 17:32generativen KI Komponenten, egal ob sie jetzt aus Europa kommen,
- 17:35USA, China oder sonstwo her, dass sie ein bisschen
- 17:38erwachsener wird, das heißt differenzierter ne, wenn ich
- 17:41irgendwann wirklich. Fast schon PHDS nicht ersetzen,
- 17:45aber zumindest so unterstützen kann, dass Recherchearbeiten und
- 17:49grundlegende Auseinandersetzungen zum
- 17:50Beispiel auch mit juristischen Fragestellungen ja oder aus der
- 17:53Chemie oder Materialentwicklung, wenn das damit möglich ist, dann
- 17:58fang ich ja an, diese Systeme nicht nur im Spaß zu nutzen,
- 18:02sondern ich komme ja von Spielerei zu impact und
- 18:06spätestens dann muss ich natürlich mir mich damit
- 18:09auseinandersetzen, wie darf ich diese Systeme nutzen.
- 18:13Ja, oft ne in in in welcher sozusagen auch auch
- 18:17regulatorischen Umgebung werden sie genutzt, werden sie
- 18:20eingesetzt und da glaube ich ist das n Riesenchance für
- 18:23europäische Modellanbieter, die ja nicht häufig nicht einfach
- 18:27nur n neues Foundation Modell machen, was genauso gebaut
- 18:31trainiert ja und ausgerichtet ist wie US China Modell wie auch
- 18:34immer, sondern die haben immer gewisse Besonderheiten, sei es
- 18:38diese wirklich Tiefe in Sprache, in Übersetzungsmöglichkeiten und
- 18:41so weiter. Die noch nicht gelöst sind, das
- 18:43heißt, je differenzierter ich das Werkzeug generative KI
- 18:46nutze, desto mehr schaue ich auch auf solche Anwender oder
- 18:50auf ein Stacket auf Ionos und so weiter und sage, ich bin sogar
- 18:53bereit den Abstrich, was du gerade sagtest an dem, was ich
- 18:57normalerweise von Usability und und Möglichkeiten gewohnt bin zu
- 19:02gehen, weil ich eine beispielsweise sichere und
- 19:05compliante Lösung suche und die gar nicht bei den anderen
- 19:08Anbietern zu finden ist. Das heißt entweder ich.
- 19:10Ne, also nutze weiterhin sozusagen diesen Werkzeugkasten
- 19:14incompliant und in der Schatten IT.
- 19:16Was mich aber auch wieder vor große Herausforderungen, ne
- 19:19Daten leakage und so weiter hatten wir schon angesprochen
- 19:21hat oder ich trainiere dann doch den Muskel auch auf europäische
- 19:26Instanzen zu setzen und entsprechend dann mir auch eine
- 19:30sichere Lösung zu bauen, die vielleicht n bisschen
- 19:32Zukunftsperspektive mehr bietet. Aber nehmen wir an.
- 19:36Die das ganze Orchester wird immer um weitere Instrumente
- 19:40erweitert und was ja denn ganz spannend wird, gerade wenn man
- 19:43Metaebene geht, so ein bisschen zu gucken, welche White Spots
- 19:45identifiziere ich ja und sich da im Grunde reinzusetzen in diese
- 19:48Nischen, ich kann jetzt besser mit slawischen oder mit
- 19:52baltischen sprachen, ich kann das und das die und die Nische
- 19:55besetzen, es gibt ja inzwischen auch die neuen intelligenten
- 19:57Schnittstellen MCPS. Wo man dann vielleicht auch als
- 20:01entsprechender Zwischenlair dann sagen kann, OK, ich hole jetzt
- 20:05einfach mal die verschiedenen, Ich versuch das gänzlich
- 20:08abzudecken, das Spektrum und alles was dazu kommt, so gut wie
- 20:11möglich und dann kann ich mir vielleicht auch noch die
- 20:13sozusagen die die KI Polizei dazu holen, indem ich die
- 20:18entsprechend anschließe, die dann das für mich filtert, so
- 20:20dass ich das Risiko minimiere, was ja vielleicht auch ein Stück
- 20:24weit auf auf Regierungsebene oder ähnliches so ein Stück weit
- 20:28controled wird oder begleitet wird.
- 20:30Ja. Also das ist die dieses Thema.
- 20:34MCP ist ein Standard, der jetzt geprägt wird gerade.
- 20:41Es gibt ja auch a to a ne, also Agent to Agent hinter MCP steht
- 20:46ja das Model Kontextprotokoll und Protokolle sind ja immer
- 20:49dafür da um irgendeine Art von gerichteter Kommunikation
- 20:52standardisierter Kommunikation zu machen.
- 20:54Das ist relativ neu, das gab es natürlich, als diese großen
- 20:57Modelle wirklich so für Spielereiausgaben genutzt worden
- 21:00sind, noch gar nicht ne, die waren sehr closed Shop, ne, da
- 21:03konnte man das halt sich halluzinieren lassen, was
- 21:06irgendwie in den Daten entsprechend erstmal gelernt
- 21:09worden ist und dann nach statistischen ja also nach nach
- 21:12sozusagen tiefen neuronalen Netzen.
- 21:14Transformer Architektur basiert ausgegeben werden konnte.
- 21:18So, dann haben die sich geöffnet ne in Richtung Oh es macht ja
- 21:21Sinn auch aktuelle Quellen mit einzubeziehen.
- 21:24Und dann kam ja diese ganzen auch großen Challenges mit dazu.
- 21:27Was passiert, wenn jetzt jemand dort seine persönliche
- 21:30Krankenakte sozusagen mit reinkopiert ja und das Ganze
- 21:34geöffnet ist? Was passiert, wenn er bestimmte
- 21:37personenbezogene Daten damit teilt und und und.
- 21:40Und gleichzeitig sind auch schon solche Filtermechanismen mit
- 21:44entwickelt worden by The Way auch erstmal nicht von den von
- 21:47den. Modellherstellern, sondern auch
- 21:50wieder von Intermediären, die gesagt haben, ja, wir wissen,
- 21:53wenn wir jetzt einfach JGPT jetzt als synonym ne in einem
- 21:56Unternehmen einfach frei walten lassen, dann kommen genau auch
- 22:00diese diese heiklen Themen da rein und die haben dann zum
- 22:03Beispiel automatische Filter gemacht, die.
- 22:05Wenn man so copy Paste aus einer e Mail ja in das System
- 22:09reinkopiert hat eine Killeranwendung ne das war eine
- 22:12der großen Anwendung, weil man gesagt hat, oh schreib mir mal
- 22:14kurz ne Antwort ne und man hat natürlich copy paste gemacht.
- 22:17So jetzt war die Anrede da drin auch noch die Adresse und so
- 22:20weiter das heißt wirklich personenbezogene Daten und dann
- 22:22gab es dieses intermediace Layer dazwischen was das gesehen hat
- 22:26das aber nicht verhindert hat weil ne dann hätten die Leute
- 22:29wieder durch Schatten IT andere Wege gefunden.
- 22:31Sondern einfach die Personen aus dieser E Mail gelöscht hat, die
- 22:37mit xxx, wie auch immer ja platzhaltern versehen hat, dann
- 22:41an Jpd geschickt hat die Antwort quasi entgegengenommen hat und
- 22:45dann wiederum diese Person da rein gepastet hat und das hat
- 22:49der Nutzer gar nicht mitbekommen.
- 22:50Ja, das heißt er hat sozusagen weiterhin ja eigentlich Data
- 22:55Leakage betrieben, aber dieser Filter, dieser automatische
- 22:59Filter hat dafür gesorgt. Dass das entsprechend vernünftig
- 23:02verarbeitet wird und diese diese Informationen nicht gegen die
- 23:05Schnittstelle gepritcht werden, sprich einfach.
- 23:07So n Kleinen on Premier, der dafür sorgt, dass keine
- 23:10persönlichen Daten genau. Und natürlich hat das nicht zu
- 23:13100% funktioniert, oder es sind manche Sachen auch
- 23:15schiefgelaufen und so weiter aber das waren die Anfänge, so
- 23:19was gab es schon vor zweieinhalb Jahren, muss man sich vorstellen
- 23:21und. Auch diese Art von gar trailing
- 23:24nenn ich das jetzt mal ne, also ich muss gar nicht da dran
- 23:28denken, was ich alles nicht machen darf.
- 23:29Ja, weil das funktioniert häufig nicht, sondern es gibt einen
- 23:32Automatismus, es gibt Unterstützung, Support, Layer
- 23:35Agenten, wie auch immer, die dann sozusagen für dich, für den
- 23:39User aufpassen oder für die Organisation aufpassen.
- 23:42Dass damit gut umgegangen werden kann, und das ist natürlich auf
- 23:46der einen Seite stand der Forschung aktuell aber auf der
- 23:48anderen Seite gibt es da auch schon eine Vielzahl von Toolings
- 23:51ne in der Toolbox, die versuchen, so etwas quasi
- 23:55möglichst einfach aus zu auszusteuern.
- 23:58Genau, es gibt ja. Auch man munkelt zum Beispiel,
- 24:01dass JBT jetzt auch irgendwie so ein Zwischenmodell, was gar
- 24:03nicht öffentlich ist, hat, um irgendwie die mental sainess zu
- 24:06zu prüfen vom User. Ja, weil man läuft ja auch immer
- 24:10mehr an das Thema. Dass die Leute ihre
- 24:12Eigendiagnosen über JGPT und Co. Laufen lassen, das ist natürlich
- 24:17auch wer. Wer beurteilt das ja, also ob
- 24:19die Leute Sane sind oder nicht. Das ist natürlich ganz spannend
- 24:22an der Stelle, aber das geht ja auch so ein bisschen, also ich
- 24:25weiß gar nicht, ob man, ob man überhaupt diese mental sanes ins
- 24:28Netz, also das muss man im Grunde auch anonymisiert
- 24:30transferieren, weil sonst hast du ja auch wieder ein
- 24:32Datenschutzthema, weil im Grunde generierst du ja, sagen wir,
- 24:34eine psychische Patientenakte von den Nutzern.
- 24:38Absolut. Also wenn du das alles
- 24:39mittracken würdest, was so n Nutzer so in in glaube ich
- 24:43alleine einer Woche ne also so n heavy User wovon wir ja viele
- 24:46haben, ne persönlich teilt, da wird man sehr überrascht sein,
- 24:50da gibt es ja Studien die ja belegen, dass wenn du mit
- 24:53solchen Systemen sprichst fühlst du dich gefühlt ne hast du ne
- 24:56Sicherheit da und teilst alles ja also was du auch niemals n
- 24:59Arzt anvertrauen würdest oder selbst nicht deiner besten
- 25:02Freundin und deshalb. Ist natürlich dieses Thema da ne
- 25:06weiterhin Gardrailing von Eingaben Riesenthema und ob du
- 25:10das quasi auf dem schon auf der Modellinstanz machst ne oder
- 25:17schon vorher, das sind dann die unterschiedlichen
- 25:19Lehrarchitekturen, aber auch die Modellanbieter haben immer mehr,
- 25:23auch durch Regulatorik, die ist natürlich unterschiedlich in
- 25:26Europa, zu Asien, zu USA. Ist es trotzdem kein Free Flow,
- 25:30kein kein Zustand, dass man sagt, ja, ist völlig ne, ist uns
- 25:33völlig egal. Also spätestens nachdem wir ja
- 25:35auch solche Themen haben wie Selbstmorde, ne durch Love AI,
- 25:38also ne Systeme die irgendwann sich so menschlich anfühlen,
- 25:42dass man ne Beziehung aufbaut, das sind schon auch Themen der
- 25:46Haftung. Ja und auch da ist es nicht so,
- 25:49dass Europa da die einzigen sind, die versucht sowas
- 25:51irgendwie zu klären, ne und und auch in eine gewisse Regulatorik
- 25:54zu stecken, sondern. Das ist ein Riesenthema für
- 25:57alle, für die ganze Welt momentan, für alle, für alle
- 26:00Länder, wie man dem her wird, sozusagen, und wie man diese Art
- 26:05von auch neuen Anforderungen irgendwie verarbeitet und
- 26:08beherrscht. Und da muss man auch sagen, auch
- 26:11da hat Europa durchaus. Durchaus Vorteile, wenn man sich
- 26:15möglichst früh mit der Technologie und auch der
- 26:18Forschung in Richtung dieses Gard railings.
- 26:20Ja und auch zu zu sagen, wofür sollten solche Systeme
- 26:23eigentlich gar nicht genutzt werden, also was schneide ich
- 26:26wirklich dann auch raus? Ja, was durchaus gesund ist,
- 26:29dann auch wirklich rauszuschneiden, wenn ich mich
- 26:32damit frühzeitig auseinandersetze, habe ich
- 26:34vielleicht in Richtung jetzt der nächsten Jahre dann gute Leute
- 26:39viel Talent aufgebaut. Dass ein ohnehin notwendiges
- 26:43Skillset ja in der Weiterentwicklung der Systeme
- 26:46beinhaltet und an Rahmens dann eben nicht, weil sie gesagt
- 26:49haben, NÖ, bei uns ist ne wilder Westen, du kannst eigentlich
- 26:52alles machen, ich glaube, das führt auf der einen Seite
- 26:54vielleicht zu kurzfristig schneller, besseren Modellen ja
- 26:58und mehr Kreativität da drin, auf der anderen Seite aber nicht
- 27:01zu Business. Use Cases, die ja beherrschbar
- 27:05und auch irgendwo lible sein müssen.
- 27:07Ja, das große. Thema ist ja trust.
- 27:08Ja, wenn das tatsächlich ich mein der Ganze das ganze
- 27:11Datenschutzthema, das war ja vor vielen Jahren auch in war Europa
- 27:14in der Kritik massiv, aktuell immer noch ein Exportschlager,
- 27:18das Ganze, wie gehen wir mit KI um, ist auch ein vor allen
- 27:21Dingen auch ein europäisches Thema, Ja, AAI, Act und Co läuft
- 27:25Gefahr irgendwann auch ein Exportschlager zu werden, du
- 27:27sprichst es an im Grunde sehr genau dieses wilder Westen, ja
- 27:30das. Mach aus einer Dystopie eine
- 27:33Utopie, weil sonst habe ich natürlich ein sehr intimes
- 27:38Profil im Netz, was im Grunde auch komplett gegen mich
- 27:40verwendet werden kann, mit all meinen Schwächen, mit all.
- 27:43Also ich kann ja komplett ausgespielt werden jetzt rein
- 27:46hypothetisch von einer etwaigen AGI, sofern sie dann irgendwann
- 27:49da ist. Und auch wenn das jetzt erst mal
- 27:52ein bisschen wild klingt, aber das ist natürlich eine spannende
- 27:54Richtung, gerade wenn man jetzt auch Trust als Firma, als ich
- 27:57als Unternehmer möchte, meinen Mitarbeitern eine.
- 28:00Compliante Lösung, weil ich in gewissen Industrien unterwegs
- 28:02sind und da auch entsprechend Nachweispflicht hab zur
- 28:05Verfügung stellen, dass die auch wirklich dann nichts leaken aus
- 28:09versehen, da brauche ich ja natürlich auch diesen Trust.
- 28:13Absolut. Und deswegen ist, glaube ich,
- 28:16auch immer noch ist es so, dass die die spielerische Nutzung vom
- 28:21Endkonsumenten ne damit ist auch JGPT ehrlicherweise groß
- 28:24geworden, aber es gab ja vor der 3,5 Variante, die JGPTH hieß.
- 28:28Auch die 3 Punkt Nuller und die 2 Punkt nuller und so weiter die
- 28:32die nicht so einen Erfolg hatte und diese 3 Punkt Fünfer
- 28:36Variante war sehr b 2 C ausgerichtet.
- 28:39Ne der Konsument sollte damit rumspielen viel auch Usage Daten
- 28:42erzeugen, viel Learning ermöglichen und wenn es jetzt
- 28:46mehr in Richtung B 2 B geht wenn es mehr darum geht, dass ein
- 28:49Unternehmen das wirklich als gutes Werkzeug schafft,
- 28:52vielleicht sogar bestimmte Stellenprofile damit in Zukunft
- 28:55ersetzen kann. Sollte man sich genau überlegen,
- 28:58wieviel Prozessdaten ne nicht nur an sich Daten, sondern auch
- 29:02wieviel Prozesse ich eigentlich auch teilweise durch Reverse
- 29:06Engineering preisgebe? Ne, denn dieser digitale
- 29:09Fingerabdruck, über den wir gerade gesprochen haben, der an
- 29:11deiner eigenen Person hängt, ja deine, deine Vorlieben, deine
- 29:14deine Patientenakte und so weiter ist ja immer die Sicht ne
- 29:17für eine Person. Eine Organisation hat ja genauso
- 29:20einen Foodprint und je mehr dann Leute aus der Organisation,
- 29:23immer mehr prozesswissen damit implizit freigeben, desto mehr
- 29:28könnte jemand, der sozusagen die die Hoheit hat, auf solche
- 29:32Prozesse zu schauen und die Revers zu engineeren könnte den
- 29:35USP einer Firma sich sozusagen erschleichen.
- 29:40Ja, spannend. Ja, spannende Diskussion heute
- 29:43wieder. Ich glaube, das können wir noch
- 29:44beliebig vertiefen, das machen wir dann irgendein anderes mal.
- 29:47Ich würde sagen, heute sind wir erstmal durch, insofern freuen
- 29:50wir uns, dass ihr zugeschaltet habt.
- 29:52Wir hoffen euch hat es gefallen bei uns, wie immer, ja, empfehlt
- 29:56uns gerne weiter, erzählt euren Kollegen von uns und erzählt,
- 30:01kommentiert gerne, wie ihr so die ganzen Möglichkeiten nutzt
- 30:04und wie ihr das so seht. Wir sind bald wieder für euch
- 30:07da. Tschüss.
- 30:10Vielen Dank. Ciao.