Latest / AU-TecPod – Innovationen, News und Hypes aus der Welt der Daten / #68 TecPod: „AI Step by Step – Vom ersten Use Case zur eigenen AI Factory“

Transcript

#68 TecPod: „AI Step by Step – Vom ersten Use Case zur eigenen AI Factory“ · AU-TecPod – Innovationen, News und Hypes aus der Welt der Daten

• 0:02
  Speaker 1: Herzlich willkommen zum TechPod, dem Technologie-Podcast der Advanced Unibyte.
• 0:08
  Speaker 1: Innovationen?
• 0:10
  Speaker 1: News und Hypes aus der Welt der Daten – direkt auf deine Ohren!
• 0:16
  Speaker 1: Das ist der
• 0:17
  Speaker 0: AU-TechPod.
• 0:23
  Speaker 2: Kaum ein Thema bewegt Unternehmen derzeit so stark wie AI.
• 0:27
  Speaker 2: Doch wie wird aus einer Idee tatsächlich eine produktive Lösung?
• 0:32
  Speaker 2: Genau darüber sprechen Michael Linke und Daniel Heigel von der Advanced Unibide in dieser Tagportfolge.
• 0:38
  Speaker 2: Sie zeigen, welche Schritte auf dem Weg zur erfolgreichen AI-Einführung entscheidend sind, welche technischen und organisatorischen Voraussetzungen geschaffen werden müssen und wie sich Lösungen später sinnvoll skalieren lassen.
• 0:52
  Speaker 2: Viel Spaß beim Zuhören!
• 0:54
  Speaker 0: Mein
• 1:00
  Speaker 1: Name ist Daniel Heigel, Senior System Engineer bei Advanced Unibyte.
• 1:04
  Speaker 0: Und zusammen hatten wir auf der AU Hausmesse, die Freude den Tag Talk zu begleiten, AI-Indikation step by step ein bisschen über die Praxiserfahrungen und die Fahrung bei AI Projekten zu sprechen mit unseren Teilnehmern.
• 1:21
  Speaker 0: Aus genau diesem TagTalk entstand dieser TagPod.
• 1:25
  Speaker 0: Wir haben uns... überlegt, als Advanced Unibild wie könnte man AI-Projekt ja im einfachsten in verschiedene Phasen einteilen?
• 1:33
  Speaker 0: Das sind da auf Endeffekt drei Phasend gekommen.
• 1:36
  Speaker 0: Die Phase eins ist Exploration, die Phase zwei ist Enablement und dann in der dritten Phase das eigentlich Operation.
• 1:44
  Speaker 0: Und gerade in Phase Eins geht es im Endeffekte erst mal um die Use Case Discovery.
• 1:50
  Speaker 0: Deine was kann man sehen da so bei use case discovery vorstellen?
• 1:54
  Speaker 1: Bei Use Guests geht es im Grunde erstmal darum, was kann ich denn überhaupt in meinem Unternehmen umsetzen?
• 1:59
  Speaker 1: Welche Ideen habe ich wo ich AI einsetzen kann und wo bringen die mir möglicherweise auch ein Mehrwert.
• 2:05
  Speaker 1: Das ist bei vielen Kunden halt so bisschen die Schwierigkeit.
• 2:08
  Speaker 1: Man wird da ja wenn man ein bisschen im Internet schaut auch gerne schlagen, man kann gefühlt alles mit AI machen.
• 2:14
  Speaker 1: Wo fange ich denn jetzt überhaupt an?
• 2:16
  Speaker 1: Was wir bei vielen Kunden sehen ist zum Beispiel einfach so ein klassischer Chatbot, das glaube ich relativ greifbar.
• 2:21
  Speaker 1: Was man häufig auch sieht ist so einen Coding Assistant.
• 2:23
  Speaker 1: Das sind glaube ich zwei relativ basic Use-Cases wo man einfach mal loslegen und starten kann.
• 2:30
  Speaker 0: Ja aber das ist ja pro Kunde immer unterschiedlich.
• 2:34
  Speaker 0: Also dadurch habe ich gerade schon gesagt, Chatbot Coding Assistants sind die Einstiegsuse cases oder das was die meistens am greifbaren haben und auch umeinfachsten umzusetzen.
• 2:44
  Speaker 0: Und von dieser Use Case Discovery kommen wir eigentlich gleich schon in die nächste Phase ins Enablement.
• 2:49
  Speaker 0: Im Enablements ist es wie das Name schon sagt erstmal zu schauen, habe ich zum Beispiel in einer Bestandsaufnahme IT Infrastruktur?
• 2:57
  Speaker 0: Habe ich die Möglichkeit in der Cloud oder on-prem AI kleine large Language Modelle zu betreiben?
• 3:04
  Speaker 0: Hab' ich Daten die verfügbar sind, die ich zur Verfügung stellen kann?
• 3:08
  Speaker 0: Oder muss ich mit synthetischen Informationen
• 3:10
  Speaker 0: arbeiten?".
• 3:12
  Speaker 0: habe ich in meiner Organisation einfach schon den gewissen Reifegrad.
• 3:15
  Speaker 0: Habe ich Pummen oder Abläufe, Prozesse die ich relativ einfach mit AI anreichern kann?
• 3:24
  Speaker 0: Hab' ich gegebenenfalls von der Governance Seite irgendwelche Richtlinien?
• 3:28
  Speaker 0: hab' ich da Compliance-Vorgaben, die mir verbieten Cloud-Dienste zu nutzen?
• 3:34
  Speaker 0: das heißt Ich muss mit meinen Daten komplett on-prem bleiben und kann nichts in irgendwelchen POC's in der Cloud betreiben.
• 3:41
  Speaker 0: Und genau diese Anfangspunkte, diese Bestandsaufnahme ist erstmal wichtig um zu schauen wie ich dann in meinem POC eigentlich weiter machen kann.
• 3:50
  Speaker 0: Daniel du hattest ja vorhin gesagt ein Use Case wäre zum Beispiel Coding Assisted nicht hier.
• 3:55
  Speaker 0: das Frontier Modell ist absolut für Coding geeignet.
• 3:59
  Speaker 0: Frontiermodellen habe ich meistens ein Mixture of Expert, das heißt ich hab viele unterschiedliche Spezialisierungen in diesem Large Language Modell für zum Beispiel Text-Generierung.
• 4:10
  Speaker 0: Für Bildgenerierung, für Bildanalyse, für gegebenenfalls auch Spracherkennung oder Bilderkennung um dann einfach mehrere Use Cases über ein großes Large Language Model zu betreiben.
• 4:23
  Speaker 0: aber der Trend geht eigentlich eher schon wieder die Verwendung von Small Language Modellen.
• 4:30
  Speaker 0: Das heißt ein Lerch-Language-Modell oder ein Sprachmodell, das für einen bestimmten Use Case spezialisiert ist.
• 4:37
  Speaker 0: Ich habe dann einen Sprachmodell, das zum Beispiel für Coding spezializiert ist und genau dieses verwende ich als Coding Assistant für den Use Case.
• 4:48
  Speaker 0: Ich hab gegebenenfalls ein kleineres Modell, dass für Bildgenerierung oder für Bilderkennung spezialisiert ist und dieses verwende ich dann in einem anderen kleineren use case.
• 4:59
  Speaker 0: Der Vorteil ist, wenn ich jetzt kein Frontiermodell mit mehreren hundert Milliarden Parameter verwende habe ich die Möglichkeit kleinere hardware zu verwenden.
• 5:08
  Speaker 0: von dem modellauswahl kleinere Hardware technisches Setup hab ich denn schon etwas?
• 5:14
  Speaker 0: kann nicht gegebenfalls mit dem kleinen Modell irgendwo bei mir lokal schon auf einer Hardware arbeiten?
• 5:22
  Speaker 0: habe ich die Möglichkeit auf Daten zuzugreifen mit vorgefertigten AP-Schnittstellen, die ich dazu mitvernennen kann.
• 5:29
  Speaker 0: Was hab' ich für Daten?
• 5:30
  Speaker 0: Hab' ich strukturierte Daten?
• 5:32
  Speaker 0: Habe ich unstrukturierte Data?
• 5:36
  Speaker 0: Die Herausforderung, dass ich Daten erst mal aufbereiten muss für meinen POC.
• 5:41
  Speaker 0: Dass ich sage, ich nehme jetzt nicht leicht die Terabytes an Daten, die mein ganzes Firmenwissen ausmachen sondern nur einen kleinen Teil davon und nutze es für einen Chatbot oder für entsprechende andere Use-Cases.
• 5:54
  Speaker 0: Und dann von der Systemlogie im POC halt auch zu sagen Ich muss definieren wer arbeitet an diesem POC mit?
• 6:01
  Speaker 0: In den meisten Fällen lässt man die Useranzahl so bei vier fünf User um einfach dann auch mit kleinerer Infrastruktur arbeiten zu können.
• 6:11
  Speaker 0: Und Infrastruktur, POC-Infrastruktur sind wir auch schon beim Thema... Da muss ich jetzt mir schränkeweise GPU Power holen, um den PoC zu betreiben!
• 6:22
  Speaker 1: Nein, also für den Proof-of-Concept würde ich sagen da kann man durchaus klein starten.
• 6:25
  Speaker 1: Ich meine wie du schon gesagt hast, man testet ja meistens mit einer eher begrenzten Anzahl an User.
• 6:30
  Speaker 1: Das heißt hier ist durch das der klassische Fall was wir häufig sehen bei Kunden dass die halt einfach mit einer begrenzen Hardware starten entweder etwas was man schon hat oder halt dass sich mit dedizierter Hardware zum Beispiel so eine DGX Park von Nvidia.
• 6:41
  Speaker 1: Das ist einfach ne kleine Box die ich mir auf ein Schreibtisch stellen kann und die Flüster leise ist.
• 6:46
  Speaker 1: Also dann muss jetzt beim besten Willen nicht mit Tierschränkeweise Hardware anstarten.
• 6:50
  Speaker 1: Die Frage ist dann natürlich eher, wenn der Proof-of-Concept erfolgreich war hoffentlich.
• 6:54
  Speaker 1: Dann habe ich mein Use Case ja identifiziert und habe wirklich bestätigt dass das was sich als Idee hatte auch möglichen Mehrwert bietet.
• 7:02
  Speaker 1: Und dann will ich das Ganze vielleicht nicht mehr nur mit vier fünf User betreiben sondern will ich es nach oben skalieren und will das vielleicht für mein ganzes Unternehmen ausrollen und hab dann auf einmal nicht mehr vier fünf Users sondern vielleicht Vierhundert.
• 7:13
  Speaker 1: und dann sind wir halt an dem Punkt wo man halt das ganze schon skalieren muss.
• 7:18
  Speaker 1: Natürlich kommt es natürlich auch wieder ein bisschen auf die Details an.
• 7:20
  Speaker 1: Du hast ja gerade schon den Punkt gebracht, dass man nicht immer die größten Modelle braucht.
• 7:23
  Speaker 1: Das heißt wenn ich jetzt hier mit meinem Coding starte und mit dem Coding Assistant und habe dafür ein kleineres Modell dann muss sich das ja auch, wenn ich das mit mehreren Userbetreibern zehnmal größeres Modell skalieren, sondern kann ja durchaus bei dem Modell bleiben.
• 7:36
  Speaker 1: Da steigt der Ressourcen oder Infrastruktur bedarf halt nur weil ich das Ganze mit Mehr-Use und parallelisieren betreiben will.
• 7:42
  Speaker 1: aber je nachdem wo ich da hinwachsen will, kann ich dann natürlich auch auf größere Hardware skalieren.
• 7:47
  Speaker 1: wir haben da die Möglichkeit.
• 7:49
  Speaker 1: wenn ich jetzt mit so einer Spark starte, dann kann ich davon.
• 7:51
  Speaker 1: einen.
• 7:51
  Speaker 1: nächsten Schritt wäre wahrscheinlich ein Zwei HE Cisco Server mit zwei RTX Pro, sechstausend Grafikkarten drin.
• 7:58
  Speaker 1: oder wenn dann auch die Zwei High Systemen erreichen vier HAE-Systeme auf acht HAE Systeme, wo ich dann zum Beispiel im Bereich NVIDIA DGX oder auch HGX also EM-Variante davon bin.
• 8:11
  Speaker 1: Wo ich dann halt acht mal die Blackwell Ultra B-Hundert GPUs reinbringe und dann entsprechend mehr Leistung habe.
• 8:17
  Speaker 1: Und dann je nachdem wie groß sich wachsen müssen auch mehrfach diese Systeme.
• 8:21
  Speaker 1: Also das sind mit dem Limit nur noch ... Wie viel Strom hab' ich zur Verfügung in meinem Rechenzentrum?
• 8:26
  Speaker 1: Aber da kann man natürlich beliebig nach oben skalieren und dann können wir auch über die ganze Bandbreite an Produkten unterstützen.
• 8:33
  Speaker 1: als Auge.
• 8:34
  Speaker 0: Gibt es da irgendwie eine Richtwürde, dass ich sage von der SPARG ist immer der nächste Schritt ein C-C, also zwei HE Software mit zwei GPUs oder gibt's auch die Sprünge das man von der Sparg gleich auf den acht GPU Systemen gibt?
• 8:48
  Speaker 1: Die Sprünge gibt es durchaus.
• 8:49
  Speaker 1: wirklich.
• 8:49
  Speaker 1: mal behaupten, ich sage mir das ist glaube ich sehr individuell und von der jeweiligen Kundensituation abhängig was da Sinn macht.
• 8:56
  Speaker 1: Also ich würde mal behalten nicht jeder Kunde wird direkt vom Spark auf eine DGX gehen, nicht jeder kunde wird das brauchen dass er überhaupt auf einer DGx landet sondern es wird doch also auch Kunden geben oder Umgebungen geben wo der UseCast halt mit zwei RTX pro sechstausend erschlagen ist und das vollkommen ausreicht.
• 9:12
  Speaker 1: dann muss man Aber natürlich sind wir, wenn mein Proof Concept feststellt ja ich lande halt irgendwo weil ich halt weltweit tausend User habe die ich da drauf lassen will.
• 9:23
  Speaker 1: Dann kann es durchaus auch sein dass sich da direkt von der Spark zu einer HGX oder DGX landen.
• 9:27
  Speaker 1: in meinen Augen
• 9:28
  Speaker 0: Ich glaube, da ist es dann auch ganz wichtig einfach USK-spezifisch und vor allem kundenspezifisch einen individuellen Sizing reinzugehen.
• 9:36
  Speaker 0: Also das wichtigste Punkt in dem wir halt auch immer sehen ist dass EI nicht von der Stange kommt.
• 9:41
  Speaker 0: Das ist so individuell und so abhängig davon wie viel User habe ich was für ein Use Case hab' ich?
• 9:46
  Speaker 0: Was verwende ich für Sprachmodelle?
• 9:49
  Speaker 0: Dass man nicht einfach sagen kann dem das T-Shirt AB oder C sondern dass es halt wirklich individuell zugestitten sein muss.
• 9:55
  Speaker 0: Und das ist auch das was uns natürlich ein bisschen unterscheidet dass wir wirklich auf den jeweiligen Use Case bzw.
• 10:02
  Speaker 0: auf die jeweilige Kunden das Ganze immer zuschneiden wollen durch unsere Expertise, die wir natürlich in dem bereit haben.
• 10:11
  Speaker 0: Vorteil Scaling kleine Spark Systeme ja auch vom Tisch ins Rechenzentrum.
• 10:17
  Speaker 0: wenn ich mal bei diesem AI Stack bin oder bei diesem Nvidia AI Enterprise Stack bin, da sie sich dann wirklich sagt okay Diese Plattform, für mich diese AI-Ready-Plattform ausgemacht und verwende diese.
• 10:31
  Speaker 0: Ist es dann relativ schwierig von der Spark das Ganze zu portieren auf den Freiheisauber?
• 10:36
  Speaker 0: Auf mehrere GPUs?
• 10:38
  Speaker 0: oder ist es dann einfach dass ich immer alles neu machen muss?
• 10:42
  Speaker 1: Also das ist sehr einfach.
• 10:44
  Speaker 1: Das sehen wir auch als einen der großen Vorteile von dieses Park, dass ich halt dieselbe Plattform drunter habe.
• 10:49
  Speaker 1: Ich hab schon eine Nvidia GPU und die ganzen Nvidia-Treiber, die ganzen Pakete.
• 10:54
  Speaker 1: D.h.,
• 10:55
  Speaker 1: ich baue eigentlich auf derselben Hardware auf und kann dann nach oben skalieren soweit ich es halt brauche in meinem Use Case.
• 11:02
  Speaker 1: aber ich habe dieselbe plattform darunter, auf der ich aufbauen muss.
• 11:05
  Speaker 1: jetzt nicht wieder schauen.
• 11:06
  Speaker 1: Ich habe jetzt auf einer anderen Hardware irgendwas entwickelt, übertrag das jetzt auf eine DGX und schau dann wieder.
• 11:12
  Speaker 1: Jetzt fehlen wir aber in Videotreiber oder fehlt mir ein cooler Paket oder was es da alles gibt.
• 11:17
  Speaker 1: Da haben wir sehr viele Abhängigkeiten.
• 11:20
  Speaker 1: Da sind wir natürlich wenn wir schon in diesem Ecosystem sind sehr gut aufgestellt.
• 11:26
  Speaker 0: Das heißt dadurch dass wir im Software-Stack wirklich linear ohne Anpassungen dann auch die Hardware unten drunter skalieren können, haben wir gerade in dieser Phase drei im Operations natürlich schon eine sehr gute Grundlage.
• 11:39
  Speaker 0: Die Herausforderung ist immer... man hört ja in den Medien immer von diesen riesen AI Factories das heißt Rechenzentren schränkeweise GPU Power die benötigt wird um diese große AI Factory zu bewerkstelligen.
• 11:55
  Speaker 0: Heißt brauche ich denn wirklich Schränke Weise?
• 11:58
  Speaker 0: Die Hardware eigentlich eher nicht!
• 12:00
  Speaker 1: Auch da würde ich sagen, nicht zwingend die Hardware.
• 12:03
  Speaker 1: Also nicht die schränkevolle Hardware sondern die AFI Factory machen ja andere Dinge aus.
• 12:08
  Speaker 0: Genau das heißt dadurch dass es Scaling für die GPUs eigentlich so simpel ist.
• 12:14
  Speaker 0: durch diesen einheitlichen Software-Stack habe ich dann noch andere Herausforderungen die berücksichtigen muss wenn ich dann in diesem Production diese Phase drei des Operations eigentlich hineingehe
• 12:25
  Speaker 1: Auf jeden Fall.
• 12:26
  Speaker 1: Also ich glaube die Hardware sind nur der eine Punkt, den man betrachten muss.
• 12:30
  Speaker 1: es geht aber auch noch so Themen wie Security.
• 12:33
  Speaker 1: also wie sichere ich das ganze ab?
• 12:35
  Speaker 1: einmal natürlich sagen wir Klassische Security Firewall dass das Ding halt nur nach außen läuft aber auch so Compliance-Themen.
• 12:42
  Speaker 1: Wie stelle ich sicher dass da jetzt mein Chatbot nur den Leuten mit Informationen antwortet?
• 12:48
  Speaker 1: die sie auch haben dürfen beispielsweise, also dass jetzt nicht der Mitarbeiter was weiß ich im Engineering bei uns fragen kann.
• 12:55
  Speaker 1: Was der Kollege an Gehalt verdient und da kriegt er eine Antwort drauf oder auch so Themen wie Observability?
• 13:01
  Speaker 1: Also ich muss das Ganze auch irgendwie monitoren.
• 13:03
  Speaker 1: Ich will das ja auch überwachen, wie mein System läuft.
• 13:06
  Speaker 0: Das heißt die ganze AI Factory, wie es eigentlich immer heißt besteht ein Haken aus diesem Hardware-Teil sondern sind verschiedenste Komponenten, die da reinspielen.
• 13:16
  Speaker 0: Deswegen haben wir uns bei der AU überlegt, wie könnten wir diese AI Factory einfach mal darstellen?
• 13:23
  Speaker 0: Wie haben wir da die Möglichkeit es einheitlich als Konzept, als Blueprint zu verpacken um das dann auch unsere Kunden bereitstellen zu können.
• 13:31
  Speaker 0: Da sind wir auf die ARU AI Factory gekommen.
• 13:34
  Speaker 0: Wie du vorhin schon sagst ist AI Stack Hardware unten drunter.
• 13:37
  Speaker 0: Der Software Stack Observability Security Was für Use-Cases kann ich betreiben?
• 13:45
  Speaker 0: Welche Branches habe ich, die ich entsprechend mit use cases befeuern möchte.
• 13:50
  Speaker 0: Und genau diese Punkte fassen wir bei uns in der AU AI Factory zusammen.
• 13:54
  Speaker 0: Die Advertise Dunebyte ist ja schon seit Jahrzehnten im Data Center Bereich etabliert und hat dort seine Kompetenzen.
• 14:01
  Speaker 0: Die Herausforderungen sind natürlich dass AI Projekte aus so vielen unterschiedlichsten Komponenten bestehen.
• 14:08
  Speaker 0: Auswahl des richtigen Sprachmodells, use case Definierung Rollout von zum Beispiel Kubernetes-Clustern und Betreiben von entsprechenden Kühleinrichtungen wird in Zukunft auch immer interessanter werden mit Flüssigkeitskühlung.
• 14:24
  Speaker 0: Dass wir natürlich geschaut haben, wie können wir genau diese ganzen Bereiche für unsere Kunden am besten bereitstellen?
• 14:32
  Speaker 0: Genau deswegen haben wir als AU uns ein größeres Partnerekosystem zusammengesucht.
• 14:38
  Speaker 0: das heißt wir haben entsprechende Partner für Use-Case-Analyse.
• 14:42
  Speaker 0: Wir haben Partner für Infrastruktur in Form von Strom und Kühlung, wir haben Partner fürs Betrieb und den Rollout von größeren Kubernetes-Systemen.
• 14:53
  Speaker 0: Und natürlich stellen wir als AU auch die Möglichkeit was das Thema Security, Observability, AI-Stack angeht, entsprechende Kompetenzen zur Verfügung.
• 15:03
  Speaker 0: Ich glaube das Ganze beschreibt einfach mal so ein bisschen so einen Step vom ersten Gedanken, die Use Case Identifizierung bis zum Scale Out, bis hin zur Ready AI Factory.
• 15:18
  Speaker 0: Die man on-prime dann für seinen eigenen Use Case betreiben kann.
• 15:22
  Speaker 0: Daniel vielen Dank für deine Zeit!
• 15:24
  Speaker 1: Danke Micha
• 15:25
  Speaker 0: und bis zum nächsten Take-Port.
• 15:29
  Speaker 2: Vielen Dank, dass Sie dabei waren.
• 15:31
  Speaker 2: Wir hoffen die Folge hat Ihnen gezeigt wie Unternehmen den Weg von der ersten AI-ID bis zur produktiven Anwendung erfolgreich gestalten können und warum kleine klare Schritte oft der Schlüssel zum Erfolg sind!
• 15:43
  Speaker 2: Wenn Sie Fragen zufolge haben oder sich zu Ihren eigenen AI-Projekten austauschen möchten schreiben sie uns gerne an podcastatau.de.
• 15:52
  Speaker 2: Bis zur nächsten Folge
• 15:53
  Speaker 1: des Tech Pots Innovationen, News und Hypes aus der Welt der Daten.
• 16:03
  Speaker 1: Direkt auf deine Ohren!
• 16:06
  Speaker 1: Wir hören uns im nächsten
• 16:08
  Speaker 0: AU-Tekport.