Latest / MY DATA IS BETTER THAN YOURS / Redshift raus, Snowflake rein – So migriert sevDesk sein Warehouse, mit Michel E. (2/3)

Transcript

Redshift raus, Snowflake rein – So migriert sevDesk sein Warehouse, mit Michel E. (2/3) · MY DATA IS BETTER THAN YOURS

• 0:00
  Speaker 1: Wie laufen eigentlich Migrationsprojekte im Data Warehouse ab?
• 0:03
  Speaker 1: Wie und wo entwickeln wir uns mit dem Thema Modern Data Stack hin?
• 0:07
  Speaker 1: Was ist das neue Buzzword, was kommt?
• 0:09
  Speaker 1: Das sind alles Fragen, die ich mit dem lieben Michelle von ZEVDESK in der heutigen Folge, die etwas technischer geworden ist, als sonst besprechen.
• 0:20
  Speaker 1: Neue Folgen jeden Freitag.
• 0:22
  Speaker 0: In dieser digitalen Welt gibt es
• 0:24
  Speaker 1: einen speziellen Faktor, der über Erfolg und Misserfolg entscheidet.
• 0:28
  Speaker 1: Daten.
• 0:29
  Speaker 1: Doch nur die wenigsten
• 0:30
  Speaker 0: wissen sie für sich
• 0:31
  Speaker 1: zu nutzen.
• 0:32
  Speaker 1: Wer seine Kunden verstehen will,
• 0:34
  Speaker 0: um ihnen das bieten zu
• 0:35
  Speaker 1: können, was sie brauchen, kommt um ein professionelles Datenmanagement nicht herum.
• 0:39
  Speaker 1: Jonas Rascheli interviewt andere
• 0:41
  Speaker 0: Experten aus den Data Bereichen
• 0:43
  Speaker 1: und zeigt Schritt für Schritt, wie genau das funktioniert.
• 0:52
  Speaker 1: Herzlich willkommen zu.
• 0:52
  Speaker 1: My Data is Better Than Yours, der Data Podcast.
• 0:55
  Speaker 1: Schön, dass ihr eingeschalten habt.
• 0:57
  Speaker 1: Die zweite Folge mit Seth Desk, mir gegenüber sitzt der liebe Michelle.
• 1:02
  Speaker 1: Es geht ums Thema Data Engineering.
• 1:06
  Speaker 1: Stelle dich noch mal kurz vor, wer du bist, was du machst, warum du vielleicht auch drei Sterne auf der Brust trägst und dann steigen wir ins tolle Thema ein.
• 1:14
  Speaker 0: Ja, ich bin Michel.
• 1:17
  Speaker 0: Also erstmal vielen, vielen Dank für die Einladung.
• 1:19
  Speaker 0: Ich
• 1:19
  Speaker 1: bin gerne sehr
• 1:19
  Speaker 0: happy zu sein und gespannt auf das Gespräch.
• 1:23
  Speaker 0: Wie gesagt, ich bin Michel.
• 1:25
  Speaker 0: Ich bin Team Lead Data Engineering seit sechs Monaten fast.
• 1:29
  Speaker 0: Und die drei Sterne stehen für die Anzahl der Jahre, die ich bei SF des Spin.
• 1:33
  Speaker 0: Eigentlich sollten es bald fünf sein.
• 1:35
  Speaker 0: Man muss die Jacke aber immer wegbringen.
• 1:37
  Speaker 0: Und ich geb die nicht so gerne her.
• 1:39
  Speaker 0: Gerne her, ich hab die oftmals zu Hause an.
• 1:43
  Speaker 1: Also pro Jahr ein Stern?
• 1:45
  Speaker 1: Genau,
• 1:45
  Speaker 0: gut.
• 1:46
  Speaker 1: Gibt's Leute, die haben den gesamten Kreis voll?
• 1:50
  Speaker 0: Das Maximum ist jetzt elf, fast.
• 1:55
  Speaker 0: Also ich glaub nicht, dass elf komplett den Kreis zu machen.
• 1:58
  Speaker 0: Ja,
• 1:58
  Speaker 1: drei, sechs, ja.
• 2:00
  Speaker 0: Man kommt
• 2:01
  Speaker 1: so drei Viertel vielleicht.
• 2:05
  Speaker 0: Schöne, ich find's cool, damit die Leute sehen, wer da ist, wie lang man da ist.
• 2:12
  Speaker 0: Viele haben sie auch nicht an, muss man sagen.
• 2:15
  Speaker 0: Man sieht sie sehr oft, wenn alle zusammenkommen während der Self-Week.
• 2:19
  Speaker 0: Das macht dann auch Spaß.
• 2:21
  Speaker 0: Ja, cool.
• 2:23
  Speaker 1: Jetzt hab ich dich unterbrochen, als ich vorstellen wollte.
• 2:26
  Speaker 0: Ja, was ich mach, ich sag immer... Ja, Data Engineering sorgen dafür, dass die Daten alle an einer Stelle sind, damit die Analysten und Data Scientists ihre Arbeit machen können.
• 2:39
  Speaker 0: Dazu gehören nicht nur Daten, sondern die ganze Infrastruktur.
• 2:43
  Speaker 0: Sonst zu mir, ich lebe in Frankreich, in Straßburg, also gehe auch täglich über die Grenze.
• 2:50
  Speaker 1: Weil du nach Offenburg sozusagen pendelst?
• 2:52
  Speaker 0: Ja, nicht nur bei der Arbeit.
• 2:57
  Speaker 0: Ansonsten privat.
• 3:00
  Speaker 0: Einiges an Sport und sehr spiel.
• 3:01
  Speaker 0: Ist ja gern Petal, Volleyball.
• 3:02
  Speaker 0: Ja.
• 3:03
  Speaker 1: Cool, Petal habe ich auch angefangen.
• 3:04
  Speaker 0: Das ist super, super addiktive Sport.
• 3:07
  Speaker 1: Ich kann dir nur unsere Petal, also ich bin ja bei Falke.
• 3:10
  Speaker 1: Wir haben Petal des Socken entwickelt.
• 3:13
  Speaker 1: Kann ich nur empfehlen.
• 3:14
  Speaker 1: Es geht um diese schnelle Stoppen und Laufen.
• 3:20
  Speaker 1: Start und Stopps sozusagen und da sind spannende... Vielleicht kann ich dir im Nachgang auch mal welche zuschicken, musst du mir deine Größe fragen.
• 3:27
  Speaker 0: Das wäre sehr schön.
• 3:27
  Speaker 0: Ich würde dich sehr gern testen.
• 3:30
  Speaker 1: Okay, wieder unterbrochen.
• 3:32
  Speaker 1: Ich zügele mich.
• 3:34
  Speaker 0: Alles gut?
• 3:35
  Speaker 0: Nee, aber das war's auch so ziemlich zu mir.
• 3:39
  Speaker 0: Meine Abteilung, wir sind zu dritt.
• 3:42
  Speaker 0: Ich bin nicht nur Lead, ich bin auch aktiv, Lead und Hands-on unterwegs.
• 3:48
  Speaker 0: Dann habe ich eine Mitarbeiterin, die Data Engineering macht und einen Mitarbeiter, der AI Automation macht für CS.
• 3:57
  Speaker 0: Das ist ne Neustelle, die wir... gemacht haben, eröffnet haben, weil wir auch den Need von CSC immer mehr Sachen automatisieren zu wollen und es gibt immer mehr Möglichkeiten, mehr Tools, um das sehr schnell zu machen.
• 4:09
  Speaker 1: So jetzt, ähm, Sprecher mit dem Techie.
• 4:14
  Speaker 1: Was begeistert dich in der Technik?
• 4:17
  Speaker 0: Die Flexibilität, was man alles mit machen kann, Grenzen sind wenig gesetzt, wendigere Regeln.
• 4:26
  Speaker 0: Also wenn Grenzen gesetzt sind, dann meistens von Regeln, die irgendwo anders herkommen.
• 4:31
  Speaker 0: Und ich liebe es einfach, die Probleme zu haben.
• 4:33
  Speaker 0: Also wenn man ein aktives Problem hat, jemand kommt, der vielleicht nicht so technisch affin ist oder so und hat ein Problem, man kann das dann mit der Technik lösen und die Begeisterung der Person, das zu sehen und auch das Problem zu knacken, finde ich ultra spannend.
• 4:48
  Speaker 1: Jetzt bist du drei Jahre bei Saftesk oder bald fünf hast du gesagt, so um drei Sterne, fünf Jahre, so um, habe ich mich fast fehlleiten lassen.
• 4:56
  Speaker 1: Was hast du denn vorgefunden, als du gestartet bist?
• 4:59
  Speaker 1: Wie alt ist Saftesk, elf Jahre?
• 5:01
  Speaker 0: Saftesk ist jetzt October, dreizehn, ja.
• 5:05
  Speaker 0: Wir sind fünfundzwanzig, das sind zwölf Jahre.
• 5:09
  Speaker 0: Ich habe eine Architektur vorgefunden, die eigentlich schon gut war für den Stand, wo Saftesk war.
• 5:15
  Speaker 0: Ja.
• 5:15
  Speaker 0: Ich bin eingestiegen, da waren es knapp über hundert Mitarbeiter.
• 5:20
  Speaker 0: Es waren zwei Analytics Engineers und das war das Data Team.
• 5:25
  Speaker 0: Ich bin dann dazu gekommen als Data Engineer.
• 5:27
  Speaker 0: Dann waren wir zu dritt, direkt unter meinem CFO.
• 5:31
  Speaker 0: Dann gab es noch Analysten in verschiedener Abteilungen, also besonders ein Product, wir hatten ein, zwei Analysten, einen Marketing vielleicht noch, aber das war es dann mit dem großen Data Team.
• 5:42
  Speaker 0: Von der Größe von dem Unternehmen oder vom... von der Anzahl der Mitarbeiter, war das natürlich so in Ordnung.
• 5:49
  Speaker 0: Und der Textstand war dementsprechend gut.
• 5:53
  Speaker 0: Ich muss sagen, es war kein irgendwie Prozess, der irgendwie an einem Grundjob läuft oder irgendwie Spark Streams, also so sehr rudimentäre Sachen.
• 6:07
  Speaker 0: Es waren schon einige Tools da.
• 6:09
  Speaker 0: Es war auch eine Redshift da, ein Warehouse, von den ursprünglichen Tools, die ich aufgefunden habe.
• 6:16
  Speaker 0: lebt heute noch eins.
• 6:18
  Speaker 1: Das heißt, das ist immer aufgeräumt?
• 6:21
  Speaker 1: Aufgeräumt?
• 6:24
  Speaker 0: Ja, es ist normal, das Unternehmen wurde größer, die Anforderungen wurden komplizierter und irgendwann konnten die Tools es nicht mehr lösen.
• 6:32
  Speaker 0: oder an bestimmten Stellen mussten wir einfach auch neue Tools einführen, weil es das Problem vorhin nicht gab.
• 6:37
  Speaker 1: Gut, jetzt mal ehrlich, zwölf Jahre hast du gerade gesagt, innerhalb von zwölf Jahren ändert sich die Technik schon sehr massiv.
• 6:45
  Speaker 1: da hättet ihr schon sehr viele Glücksgriffe machen müssen, um bei den gleichen Tools weiter zu bleiben, oder?
• 6:50
  Speaker 0: Ja, auch in meinen fünf Jahren würde ich jetzt schon, also nächstes Jahr würde ich schon anfangen, wieder eine Rotation reinzubringen und die Tools, die ich damals reingebracht habe, wieder analysieren.
• 7:01
  Speaker 0: Zumindest analysieren, um zu gucken, ob sie noch aktuell sind, ob sie den Newscase, ob sie die Bedürfnisse von den Stakeholders noch decken oder ob wir etwas Neues brauchen.
• 7:12
  Speaker 0: Nehmen
• 7:13
  Speaker 1: wir uns mal ein bisschen mit auf die Reise.
• 7:16
  Speaker 1: Wie sieht das technische Set-up aus?
• 7:19
  Speaker 1: Also im Sinne von, ja, ich kann mir das gar nicht vorstellen, die Hörer und Hörer vielleicht auch nicht so, was ist da überhaupt vorhanden?
• 7:26
  Speaker 1: Im Sinne, wie wird das Produkt überhaupt versorgt mit Daten und Co?
• 7:33
  Speaker 1: Also das ist ein Real-Time-Case, zwangsweise, oder das ist ein Real-Time-Case?
• 7:36
  Speaker 0: Wir haben auch, also da ist ein Mischung drin, das kann ich sehr gerne erklären.
• 7:40
  Speaker 0: Als zentraler Baustein von... Und jedem Data Team ist natürlich das Data Warehouse.
• 7:44
  Speaker 0: Zentral, wo die Daten liegen, wo man die Analysen drauf ausführt und so weiter.
• 7:51
  Speaker 0: Wir haben uns dazu entschieden, kein Lake zu haben.
• 7:54
  Speaker 0: Also wir haben so ein Art Data Lake.
• 7:56
  Speaker 0: Man kann Lake davor noch nutzen oder nicht.
• 7:59
  Speaker 0: Ein Lake, ein Data Lake ist etwas, wo man Daten in einer sehr rohen Form hinterlegt.
• 8:04
  Speaker 0: Das heißt, alle mögliche Daten, wenn man jetzt eine CSV-Datei hat, eine Excel-Datei, eine Word-Datei oder Daten, schon strukturierte Daten vorfindet, dann legt man das alles in ein Data Lake.
• 8:16
  Speaker 0: Und das bringt man dann langsam in ein Data Warehouse, wo die ganzen Daten nur strukturiert vorgefunden werden.
• 8:23
  Speaker 0: Als Data Warehouse haben wir aktuell die Snowflake.
• 8:26
  Speaker 0: Da sind wir vor kurzem komplett negiert.
• 8:29
  Speaker 0: Wir haben vor zwei Monaten, glaube ich, die Redshift abgeschaltet komplett.
• 8:34
  Speaker 0: Das waren Riesenmeilenstein.
• 8:36
  Speaker 0: Und natürlich gibt es noch darum, die ersten Tools um Daten einzubringen.
• 8:41
  Speaker 0: Dann hat man EL-Tools, also Extract and Load.
• 8:44
  Speaker 0: Das Prozess heißt Extract, Load, Transform.
• 8:47
  Speaker 0: EL-Tools, und da haben wir zwei im Einsatz.
• 8:51
  Speaker 0: Wir haben Meltano und Stitch.
• 8:54
  Speaker 0: Stitch ist ein Paid Software.
• 8:56
  Speaker 0: Die bieten vorgefertigte Konnektoren an, um Daten aus System, Drittsystem auszuholen, CRM-System, Ads-System, also Marketing, HR-System, was auch immer.
• 9:09
  Speaker 0: Und Meltano ist etwas Ähnliches, aber von der Community getrieben, wo sehr viele Community-Konnektoren da sind und man auch selber Konnektoren bauen kann, weil wenn es noch nichts gibt für bestimmte Nischen-Software, wenn man, wir nutzen zum Beispiel Billwerk, das Software für unser Billing, dafür gab es keine Konnektoren, dann haben wir eingeschrieben mit Meltano.
• 9:36
  Speaker 0: Das ist ein Weg, das nenne ich den EL-Pull-Weg, weil wir holen die Daten irgendwo her.
• 9:45
  Speaker 0: Es gibt immer noch einen zweiten Weg, wo Daten zu uns geschickt werden, aktiv.
• 9:50
  Speaker 0: Aus dem Produkt, zum Beispiel das ganze Event Tracking, da kommen ja die Daten vom Produkt zu uns.
• 9:56
  Speaker 0: Da müssen wir nur etwas liefern, wo wir die Daten annehmen können.
• 10:03
  Speaker 0: Da hatten wir sehr lange Segment.
• 10:05
  Speaker 0: für.
• 10:06
  Speaker 1: Ja.
• 10:07
  Speaker 0: Da sind wir jetzt auch letztes Jahr umgestiegen.
• 10:09
  Speaker 0: Da kann ich nachher noch was genauer drauf eingehen auf Snowplow.
• 10:13
  Speaker 0: Das ist auch self-hosted, hat viele Vorteile.
• 10:15
  Speaker 0: Größter Vorteil ist für uns natürlich die Datenhoheit und für den Kunden genauso.
• 10:20
  Speaker 0: Die Daten gehen nirgendwo aus.
• 10:23
  Speaker 1: Bleiben im eigenen Universum, ja.
• 10:24
  Speaker 0: Ja, genau.
• 10:26
  Speaker 0: Und dann auch sowas wie HDTP Request, wo wir annehmen, also Webhooks, Webhook Endpunkte, wo jemand uns Daten in irgendeiner Form schickt, die wir auch annehmen können.
• 10:39
  Speaker 0: Das sind die zwei Wege, wie die Daten ins Warehouse kommen.
• 10:42
  Speaker 0: Wir nehmen die und schmeißen die direkt RO in das Warehouse.
• 10:47
  Speaker 0: Warum RO?
• 10:48
  Speaker 0: Weil Datenspeicherung kostet heute fast nichts mehr.
• 10:52
  Speaker 0: Also es ist relativ billig gegenüber von vor fünfzig Jahren.
• 10:56
  Speaker 0: Deshalb hat sich auch das ELT geändert.
• 10:59
  Speaker 0: Vorher war es ja ETL und jetzt ist ELT.
• 11:02
  Speaker 0: Weil das Transformieren damals auf den RO-Daten direkt gemacht wurde und nur die essenziellen Daten gespeichert wurden.
• 11:10
  Speaker 0: Wie gesagt, da haben wir die Rohdaten und wir nutzen dann auf den Rohdaten DBT.
• 11:18
  Speaker 0: Mit DBT transformieren die Analysten bzw.
• 11:22
  Speaker 0: die Analytics Engineers die Daten.
• 11:24
  Speaker 0: Das ist auch ein großer Punkt.
• 11:27
  Speaker 0: Data Engineering wird in vielen Unternehmen betrachtet als komplett ETL oder ELT.
• 11:36
  Speaker 0: Nicht nur das Laden von den Daten, sondern auch das Transformieren.
• 11:39
  Speaker 0: Bei uns ist es getrennt.
• 11:41
  Speaker 0: Und zwar komplett getrennt.
• 11:42
  Speaker 0: Wir machen keine Transformation, wir wollen die Daten im Data Engineering wirklich nur roh reinbringen.
• 11:50
  Speaker 0: Darüber hinaus... Was sind Vorteile
• 11:51
  Speaker 1: hat es?
• 11:52
  Speaker 0: Der Vorteil ist, dass wir uns auch konzentrieren können, die Daten reinzubringen, die Prozesse drum herum, die Architektur, das Monitoring und die, wo die Daten dann transformieren.
• 12:05
  Speaker 0: sich dann schon näher am Business orientieren, weil die brauchen auch das Wissen vom Business, wie die Daten transformiert werden sollen.
• 12:12
  Speaker 0: Wenn jemand das komplette ELT abdecken soll, dann muss er sowohl sehr tiefes technisches Wissen haben und aber auch das Business Wissen, was bei einer bestimmten Größe von einem Unternehmen einfach nicht mehr möglich ist und wo dann die Qualität drunter leidet, meiner Meinung nach.
• 12:28
  Speaker 1: Das heißt, ihr hattet ein anderes Modell und habt dann umgestellt auf dieses, also sozusagen, Methodik kann man es ja vielleicht eher bezahlen.
• 12:35
  Speaker 0: Ja, wie gesagt, wo ich ja angefangen habe, da war quasi die Umstellung.
• 12:40
  Speaker 0: Der ehemalige Kollege, der hatte das damals alles gemacht, der hatte das Data Engineering und das Analytics Engineering gemacht, aber dann haben sie halt auch gemerkt, Technik fehlt es, aber er will den Business-Seitig schon tief drin bleiben und er kann nicht alles abdecken.
• 12:57
  Speaker 0: Und ich muss sagen, es war eine, wie sie es heute zeigt, eine sehr gute Entscheidung.
• 13:03
  Speaker 0: Ich glaube, wir haben eine sehr gute Zusammenarbeit über die drei Stellen, die wir haben im Data Circle.
• 13:10
  Speaker 0: Also wir haben Data Engineering mit den Analytics Engineers, im Data Platform, wie wir das nennen.
• 13:18
  Speaker 0: Und die dritte Stelle sind dann unsere Stakeholder, entweder die Analysten oder Data Science.
• 13:24
  Speaker 0: Und das funktioniert sehr gut.
• 13:26
  Speaker 0: Was haben wir noch am Tools drum herum?
• 13:29
  Speaker 0: Wir haben noch Orchestration, ein sehr wichtiger Bestandteil, weil man muss ja, wenn man verschiedene Tools hat, wenn man verschiedene Prozesse hat, nicht jeder Job, also wir nennen das Jobs, wenn wir die Daten irgendwo abholen, das passiert zu einem bestimmten Zeitpunkt und dann muss natürlich danach direkt etwas gemacht werden.
• 13:49
  Speaker 0: Man kann das alles zeitlich steuern oder man nutzt ein Orchestrator, da nutzen wir Dexter, ein sehr großer Anderer wäre da Airflow.
• 13:58
  Speaker 0: Wir haben uns aber bewusst dagegen entschieden, Airflow zu nutzen, weil das einfach zu groß ist.
• 14:04
  Speaker 0: Und das ist sehr, sehr hilfreich, um die Zeit zu verkürzen, um die Daten so schnell wie möglich zu haben.
• 14:12
  Speaker 0: Anstatt dann zeitlich eins nach dem anderen auszuführen, weiß der Orchestrator, der erste Job ist fertig, der erste Prozess ist fertig.
• 14:20
  Speaker 0: Ich starte direkt den nächsten und den darauf und so weiter.
• 14:23
  Speaker 0: Und er weiß, was die Abhängigkeiten sind.
• 14:24
  Speaker 0: Das heißt, Wir verhindern damit auch, dass, wenn irgendwas schiefläuft in der Pipeline, die Daten kamen nicht richtig rein oder das war ein Fehler, dann liefern wir keine falschen Daten, weil der Prozess hört auf.
• 14:41
  Speaker 1: Wenn man das so ein bisschen, ich versuch gerade zu überlegen, wenn du, und lass uns das mal erst mal noch ein bisschen abstrakt beschreiben, wenn du vor fünf Jahren das vorgefunden hast, hattet ihr weniger Tools würde ich fast behaupten und du korrigierst mich, ob es nicht so war.
• 14:58
  Speaker 1: Jetzt habt ihr mehr Tools, weil ihr für gewisses Beispiel und dann verstehst, glaube ich, wo ich hin will.
• 15:06
  Speaker 1: ELT oder ETL, wie auch immer man sozusagen das sagen
• 15:09
  Speaker 0: will,
• 15:10
  Speaker 1: kannst du am Anfang selber machen.
• 15:13
  Speaker 1: Du schreibst gegen die Quellen Coach, stellst dann fest, sobald du zehn Quellen hast Richtung Meter und Google, die ändern sich mal ein bisschen.
• 15:21
  Speaker 1: Das heißt, du musst auch Betrieb machen.
• 15:22
  Speaker 1: Dann führst du ein Tool ein, das die Arbeit abnimmt.
• 15:26
  Speaker 1: Ihr habt zwei.
• 15:28
  Speaker 1: Dann hast du ja sozusagen den Transform-Part, wo du vielleicht vorher das auch manuell gemacht hast, dann holst du dir den Tool rein.
• 15:35
  Speaker 1: Nimm uns mal auf die Reise mit, warum man das macht.
• 15:37
  Speaker 1: Also warum?
• 15:39
  Speaker 1: Du könntest ja als auch vier weitere Mitarbeiter eingestellt haben.
• 15:41
  Speaker 1: Oder Mitarbeiterin.
• 15:43
  Speaker 1: Also welcher Vorteil hat es, sein Stack eigentlich zu erweitern, sein technisches Stack?
• 15:49
  Speaker 0: Ich würde dir die Frage aus zwei Perspektiven beantworten.
• 15:52
  Speaker 0: Erstens mehrere Tools.
• 15:53
  Speaker 0: Man kann ja auch sich nur einen Tool einkaufen, was alles macht.
• 15:57
  Speaker 1: Fair, ja.
• 15:58
  Speaker 0: Da gibt es auch welche da draußen.
• 16:01
  Speaker 0: Da arbeite ich oder da ist meine persönliche Perfrenz stark dagegen, weil jedes Tool, jede Person hat eine Spezialität.
• 16:14
  Speaker 0: Wenn ein Tool in etwas sehr gut ist und versucht aber alles abzudecken, dann werden die anderen Sachen nicht so gut sein.
• 16:21
  Speaker 0: Ich komme aus dem SAP-Bereich, ich war SAP Entwickler.
• 16:24
  Speaker 0: SAP ist da das beste Beispiel.
• 16:26
  Speaker 0: SAP kam aus dem Finance-Bereich, liefert, ich glaube, weiß ich jetzt nicht mehr, ich bin seit Jahren nicht mehr drin, aber war sehr gut im Finance-ERP-Bereich und in den anderen gab es bessere, z.B.
• 16:39
  Speaker 0: Salesforce für den CRM-Bereich.
• 16:41
  Speaker 0: Und ich glaube im Data-Bereich ist es genauso, wenn nicht noch stärker, dass es für jeden Prozess, weil das so schnell wächst, weil das so neu ist, für jeden Prozess einen Spezialisten gibt.
• 16:51
  Speaker 0: Und das will ich auch ausnutzen.
• 16:53
  Speaker 0: Deshalb will ich für jeden Prozess den besten nehmen, der für uns passt.
• 16:58
  Speaker 0: Nicht den besten unbedingt auf dem Markt, aber der für, wo für unsere Use-Cases passt.
• 17:03
  Speaker 0: Dann zur Frage mehr Personen.
• 17:06
  Speaker 0: Klar, man kann auch alles selber entwickeln.
• 17:09
  Speaker 0: Da ist man... Vielleicht am Anfang auch sehr schnell.
• 17:13
  Speaker 0: Ich bin davon aber auch überzeugt, dass die Maintenance ein irgendwo einholt und dass man dann sehr schnell gebunden ist.
• 17:20
  Speaker 0: Man ist gebunden zu den Leuten, man ist gebunden zu der Technologie.
• 17:23
  Speaker 0: Wenn man irgendwas ändern will, wenn man heute Tools nutzt, kann man das, ich sag nicht leicht, das ist immer sehr viel, ein sehr großes Projekt und sehr schwierig, aber leicht her von einem Tool zum anderen wechseln als von einer Technologie, die man komplett eingebaut hat, zu einer anderen.
• 17:41
  Speaker 1: Da sind wir der gleichen Meinung.
• 17:42
  Speaker 1: Ich beschreibt es immer so, du holst dir einen, wenn wir ganz einfach sprechen in der technischen Welt und ich bin schon wahr, glaube ich, nie tief genug drin, leider, technisch, aber mir jetzt noch weniger.
• 17:55
  Speaker 1: Wenn du es so einfach beschreibst, hast du einen Tool, was die Daten zieht, du hast einen Tool, was die Daten transformiert, speichert und dann natürlich auch perspektivisch hinten visualisiert.
• 18:05
  Speaker 1: Und ich bin ein großer Freund davon, verrat ich es für die Anbieter.
• 18:10
  Speaker 1: für jedes ein anderes tool zu nehmen weil du die möglichkeit hast mit der visualisierung mit der dem anbieter zu sprechen willst du nicht was mehr in der kette haben und damit einzusteigen und es mit dem extract tool genauso wirst du es alles bei einem haben hast du die situation der kommt um die ecke und sagt er will dreißig prozent mehr saß und das thema ist durch weil die die die kosten des toolstack zu wechseln sind so riesig dass du eigentlich mitgehst.
• 18:37
  Speaker 1: Und so hast du eigentlich einen gesunden Wettbewerb, würde ich es bezeichnen, den man nutzen kann, um auch weiterhin faire Breitpreise zu haben.
• 18:46
  Speaker 0: Ja, ganz genau.
• 18:47
  Speaker 0: Also da muss ich gestehen, da bin ich von SAP gebrannt.
• 18:51
  Speaker 0: Jeder, der einmal SAP hat, kommt das ja schwierig raus.
• 18:54
  Speaker 0: und genau so, also das will ich nicht, das ist im Data Bereich besonders bei uns nicht passiert.
• 19:00
  Speaker 1: Okay, das heißt wir zusammengefasst Michel, so ein bisschen vorher war kleineres Toolstack, jetzt ist es ein größeres Toolstack, weil er auch glaube ich mit der Komplexität, mit der Datenmenge sozusagen euch verändert hat.
• 19:14
  Speaker 1: Nehmen wir uns aber nochmal ein bisschen auf die Reise mit.
• 19:16
  Speaker 1: also warum habt ihr von Redshift auf Snowflake gewechselt und dann nicht nur das warum, sondern auch diese Richtung im Sinne von wie ich finde so eine Migration statt.
• 19:28
  Speaker 0: Also als erstes für jede Migration, jede Migration beginnt ja nicht mit, wir wollen was ändern.
• 19:36
  Speaker 0: Also wenn ich sage, wir meine ich nicht Data oder Data Engineering, sondern meistens beginnt es mit, wir haben irgendwo ein Problem.
• 19:44
  Speaker 0: Und das Problem hatten wir bei den Daten, dass wir die Daten sehr spät hatten.
• 19:49
  Speaker 0: Nächlich liefen unsere Data Jobs und darunter auch DBT.
• 19:55
  Speaker 0: Und DBT hatte eine... durchschnittliche Ausführzeit von fünf Stunden.
• 20:01
  Speaker 0: Wenn ich die Daten aber irgendwie erst um drei Uhr nachts habe, dann sind die Daten erst um acht Uhr verfügbar.
• 20:08
  Speaker 0: Acht Uhr kann schon zu spät sein für einige Mitarbeiter.
• 20:10
  Speaker 0: Und es wurde immer länger, wir waren schon über acht Uhr, wir waren eher bei neun Uhr, mussten da schon Jobs zerschneiden, damit wir da reinkamen.
• 20:20
  Speaker 0: Und das war schon ein großer Punkt, wo wir dann gewerkt haben, wir müssen etwas ändern.
• 20:26
  Speaker 0: Und da hilft halt nur das, wo die Computation abläuft, also da, wo die Rechnung gemacht werden und das ist ein Data Warehouse.
• 20:33
  Speaker 0: Dann haben wir vieles versucht auf der Redshift.
• 20:36
  Speaker 0: Das erste was wir machen wollen ist natürlich skalieren.
• 20:39
  Speaker 0: Das haben wir gemacht, wir haben mit Redshift versucht zu skalieren, wir haben größere Notes gekauft, wir haben mehr Notes gekauft, noch mehr Notes gekauft und irgendwann haben wir gesagt, es lohnt sich nicht, die Skalierung ist einfach nicht, es soll sich nicht irgendwie exponentiell skalieren.
• 20:56
  Speaker 0: Also dass wir vor tausend neue Kunden irgendwie einen neuen Node von AWS dazubuchen, sondern wir wollen, dass die Skalierung natürlich linear ist.
• 21:06
  Speaker 0: Also wenn wir x Kunden haben, x Nodes dazu oder x Rechenpower mehr.
• 21:12
  Speaker 0: Und das war auch so ein Punkt, wo dann von den Stake Holdern kam, also von unseren, nicht mal Analysten, sondern von den Nutzern, dass die Daten schneller da sein müssen.
• 21:25
  Speaker 0: Bei uns intern war auch noch ein großer Mehrwert drin, weil wir haben auch gemerkt, wir kommen mit Redshift ans Limit.
• 21:34
  Speaker 1: Das sind nicht von was?
• 21:37
  Speaker 0: Von den Funktionen.
• 21:38
  Speaker 0: Also Redshift hat einen Funktionslimit.
• 21:41
  Speaker 0: Redshift hat die Daten ganz anders strukturiert.
• 21:44
  Speaker 0: Redshift hat so Features nicht, die für mich jetzt heute Gang und Gebe sind wie Variants, also Felder, die nicht typisiert sind.
• 21:54
  Speaker 0: Snowflake jetzt drin und Haus aus und es ist sehr große Hilfe auch für die anderen Tools.
• 21:59
  Speaker 0: Wir haben gemerkt, dass sehr viele Tools, die wir nutzen, eine viel bessere Verbindung oder Anbindung an Snowflake haben als an die Redshift, was für uns auch natürlich ein großes Zeichen war und dann auch den Spaß damit zu arbeiten.
• 22:13
  Speaker 0: auf weg ausprobieren und es hat sehr viel mehr Spaß gemacht.
• 22:16
  Speaker 0: Man merkt, dass Diana von der UI, von den Funktionen, das war so einer der Hauptgründe.
• 22:22
  Speaker 1: Hättet ihr das Deck, was ihr jetzt aufgebaut habt, auch wieder mit Redshift machen können?
• 22:25
  Speaker 1: Also ist es der Anbieter, der entscheidend ist oder der Aufbau?
• 22:29
  Speaker 1: Also wie du den Anbieter nutzt?
• 22:33
  Speaker 0: Ich glaube, man hätte es auch mit Redshift machen können.
• 22:36
  Speaker 0: Wir haben das natürlich auch genutzt, um unsere Struktur umzubauen, die Demigration.
• 22:41
  Speaker 0: Natürlich hilft das auch.
• 22:42
  Speaker 0: Das war auch ein großer Punkt.
• 22:43
  Speaker 0: Ich glaube aber, dass die Redshift uns stärker limitieren würde.
• 22:48
  Speaker 1: In den Funktionalitäten?
• 22:49
  Speaker 0: In den Funktionalitäten und in wie schnell wir neue Sachen rausbringen.
• 22:53
  Speaker 0: Auch jetzt für Data Science, zum Beispiel, ist natürlich die Snowflake extrem interessant.
• 22:57
  Speaker 0: Da wird euch Sebastian noch viel mehr dazu sagen, wie sehr die Brennen auf die Snowflake umzusteigen oder schon drauf sind und jetzt Sachen schneller rausbringen können.
• 23:10
  Speaker 0: Ansonsten, ja, ich glaube, Auch die Tools, die wir umdrunden nutzen können, hätten wir mehr Probleme mit Redshift.
• 23:19
  Speaker 0: Das haben wir gemerkt bei der Snowblow zum Beispiel.
• 23:22
  Speaker 0: Mit dem Tool für das Event Tracking hatten wir viel mehr Probleme mit Redshift gegenüber mit der Snowflake.
• 23:28
  Speaker 0: Ich kann da gerne auch noch.
• 23:30
  Speaker 1: Nimm uns mal auf die Reise mit.
• 23:33
  Speaker 1: Was ich mitnehmen will und was ich verstehen will und höchstens auch die Hörerinnen und Hörer.
• 23:38
  Speaker 1: Viele Unternehmen werden ein altes Data Warehouse haben.
• 23:41
  Speaker 1: Altmeinig mit vor fünf, sieben, zehn Jahren eingeführt.
• 23:45
  Speaker 1: Wie bewertig, ob das noch das Richtige ist?
• 23:47
  Speaker 1: Was sind Indizien dafür, ob es noch das Richtige ist?
• 23:50
  Speaker 1: Und wie ist der Prozess dann von Anbieter A auf B zu kommen?
• 23:54
  Speaker 1: Und wie würde ich merken, dass jetzt B besser ist?
• 23:58
  Speaker 1: Das sind sozusagen die Fragen, die ich jetzt versuche, hinzukommen.
• 24:02
  Speaker 1: Nimm und fahr ein bisschen auf die Reise mit.
• 24:03
  Speaker 0: Bei jedem.
• 24:05
  Speaker 0: Wechsel von dem tul bei vor jeder migration habe ich angefangen mit einer nutzverdanöse.
• 24:09
  Speaker 0: ich habe der extra Dateien immer noch wo ich immer sehe.
• 24:12
  Speaker 0: Ich habe angefangen was sind die tuls die die star draußen gibt auf dem markt?
• 24:16
  Speaker 0: was sind die kriterien die das tul absolut erfüllen muss also die must haves.
• 24:22
  Speaker 0: Dann haben wir schon eine erste selektion gemacht.
• 24:24
  Speaker 0: die tuls die die must haves nicht erfüllen fliegen raus beispielsweise Verfügbarkeit bei Snowfall, also beim Warehouse, was waren da Must-Haves?
• 24:33
  Speaker 0: Security war ein großer Must-Have, dass wir da Rollen richtig einstellen können, Data Masking einstellen können.
• 24:40
  Speaker 0: Das waren so Must-Haves.
• 24:42
  Speaker 0: Und dann ist es immer am zweiten Schritt, haben wir die Nice-To-Haves, also die Kriterien, nach denen wir schlussendlich bewerten wollen, aufgelistet.
• 24:51
  Speaker 0: Dann haben wir diese einzelnen Kriterien bewertet.
• 24:54
  Speaker 0: Da kommt rein Performance, Community, Dokumentation.
• 24:58
  Speaker 0: ML Funktionen oder Typen, die das Warehouse supportet oder Integration, also da haben wir sehr viele Kriterien aufgestellt und die Kriterien bewertet bzw.
• 25:08
  Speaker 0: gewichtet.
• 25:08
  Speaker 0: Preis war natürlich von uns sehr wichtig.
• 25:10
  Speaker 0: Wenn das extrem teuer ist, ist es cool, dann können wir es uns nicht leisten.
• 25:15
  Speaker 0: Deshalb hatte Preis, glaube ich, eine Gewichtung von null bis zehn und neun.
• 25:20
  Speaker 0: Performance hatte aber auch eine Acht, weil uns war es sehr wichtig, dass die Performance besser wird.
• 25:25
  Speaker 1: Ein sehr gut liegendem Problem hast du ja gerade beschrieben.
• 25:28
  Speaker 1: Genau.
• 25:29
  Speaker 0: Und dann haben wir die einzelnen Tools bewertet mit Recherche.
• 25:33
  Speaker 0: Da geht man in Reddit-Forumrunden.
• 25:36
  Speaker 0: Da geht man über... Ja, da geht man wirklich nicht nur Stack Overflow, sondern Reddit, spezielle Data-Forum, auch Podcasts, wo man andere Sachen hört und sieht.
• 25:49
  Speaker 0: Und dann nimmt man alles zusammen, setzt sich mit dem Team zusammen, bewertet die einzelnen Tools.
• 25:54
  Speaker 0: Wie lange
• 25:55
  Speaker 1: geht es so eine Phase?
• 25:56
  Speaker 0: Wir haben das über drei Monate gemacht.
• 25:59
  Speaker 0: Das bewertet, aber wir haben uns nicht eingeschlossen in den Raum, sondern wir haben das nebenbei gemacht.
• 26:05
  Speaker 0: Das war ja die erste Phase.
• 26:06
  Speaker 0: Dann kam Redshift als Siegerhaus.
• 26:09
  Speaker 0: Es waren noch andere, Bacree natürlich, zum Beispiel dabei.
• 26:12
  Speaker 0: Und dann haben wir den Gewinner genommen und haben gesagt, wir gehen nach POC.
• 26:19
  Speaker 0: POC, Proof of Concept.
• 26:21
  Speaker 0: Unser Konzept war ja, ist er für diese Kriterien.
• 26:25
  Speaker 0: Dann wollten wir das prüfen.
• 26:27
  Speaker 0: Wenn das nicht der Fall wäre, wären wir mit dem zweiten ins Rennen gegangen und hätten da auch ein POC gemacht.
• 26:33
  Speaker 0: POC haben wir dann angesetzt von insgesamt nochmal drei Monaten.
• 26:37
  Speaker 0: Nicht komplett nur POC von drei Monaten, sondern da gehört auch noch eine Planungsphase rein.
• 26:41
  Speaker 0: Was wollen wir überhaupt testen?
• 26:43
  Speaker 0: Wie genau wollen wir es testen?
• 26:45
  Speaker 0: Dann haben wir halt... verschiedene Tools angebunden, die wir haben, verschiedene Integration, getestet, wie viel das kostet, wie schnell das geht.
• 26:53
  Speaker 0: Und Business Beispiel ist Snowblow.
• 26:56
  Speaker 0: Ich habe das angeschlossen.
• 26:57
  Speaker 0: Erstens ging es sehr einfach.
• 27:00
  Speaker 0: Wir haben es mit Terraform deployed Snowblow und in den Ahalb von fünfzehn Minuten war das angebunden.
• 27:06
  Speaker 0: Und anstatt zehn Minuten Turnover von neuer Daten kommen ins Warehouse rein, sind wir jetzt subsekunde.
• 27:14
  Speaker 0: Also wir sehen jetzt unter einer Sekunde, um neue Eventdaten im Warehouse zu haben.
• 27:19
  Speaker 1: Bin ich kurz irritiert, weil du vorhin gesagt hast, als Insider kam Redshift raus.
• 27:22
  Speaker 1: Du meinst, als Sieger kam Snowflake
• 27:24
  Speaker 0: raus?
• 27:24
  Speaker 0: Ja, sorry.
• 27:25
  Speaker 0: Als Sieger kam Snowflake raus.
• 27:28
  Speaker 0: Redshift war aber auch im Rennen natürlich.
• 27:29
  Speaker 0: Wir haben in jeder Bewertung, war das ursprüngliche Tool natürlich auch in der Bewertung drin, um zu gucken, wie steht es gegen die anderen.
• 27:38
  Speaker 0: Snowflake haben wir dann getestet.
• 27:39
  Speaker 0: Ja.
• 27:40
  Speaker 1: Und hat dann sozusagen das gehalten, was es versprochen hat.
• 27:44
  Speaker 0: Ja, ich muss sagen, ich war sehr überzeugt auch nach dem POC.
• 27:48
  Speaker 0: Wir hatten in dem kompletten Projekt, das ging dann länger als erwartet, Migration.
• 27:53
  Speaker 0: Aber das lag nicht an Snowflake, das lag an uns und DBT.
• 27:58
  Speaker 0: Wir haben den DBT-Partner natürlich unterschätzt.
• 28:00
  Speaker 0: Wir hätten ihn auch anders angehen können und sollen nach hinein.
• 28:05
  Speaker 1: Nimm nochmal kurz die Hörerinnen mit, für was ihr DBT einsetzt.
• 28:10
  Speaker 1: DBT
• 28:10
  Speaker 0: ist um die Daten zu transformieren, das heißt, wir haben ja die ganzen Rohdaten.
• 28:14
  Speaker 0: Und wenn wir daraus, stellen daraus Modelle, zum Beispiel aus verschiedenen Quellen, haben wir Daten zu einem Kunden.
• 28:21
  Speaker 0: Wir haben aus unserem Produkt Daten zu einem Kunden.
• 28:23
  Speaker 0: Wir haben aber auch aus den einzelnen Events Daten zu dem Kunden.
• 28:28
  Speaker 0: oder wir haben von Google Daten zu dem Kunden.
• 28:32
  Speaker 0: Und das wollen wir alles in einem Modell vereinen.
• 28:35
  Speaker 0: Und dafür nutzt man so tools wie DBT.
• 28:43
  Speaker 0: Den Teil haben wir komplett unterschätzt.
• 28:45
  Speaker 0: Wir haben über sechshundert Modelle insgesamt im Stack.
• 28:49
  Speaker 0: Das ging dann zu lange.
• 28:51
  Speaker 0: Es ging aber auch zu lange, weil wir sehr, sehr hohen Wertaufqualität gesetzt haben.
• 28:57
  Speaker 0: Und ich muss sagen, da bin ich auch sehr stolz, weil das haben wir auch am Ende geliefert, was die Qualität angeht.
• 29:03
  Speaker 0: Weil die Endanwender, also unsere internen Kunden, Finance, HR, was auch immer, die hatten keinen Datenverlust, die haben keinen Unterschied in den Dashboards gemerkt.
• 29:15
  Speaker 1: Es war schneller.
• 29:16
  Speaker 0: Es war schneller.
• 29:17
  Speaker 0: Die Dashboards waren schneller.
• 29:19
  Speaker 0: Aber sie hatten ihre Daten noch eins zu eins.
• 29:21
  Speaker 1: Eins zu eins im Sinne von die gleiche Qualität.
• 29:24
  Speaker 0: Genau.
• 29:24
  Speaker 0: Ja.
• 29:25
  Speaker 0: Und da muss ich sagen, ich glaube, das ist ein Riesenpunkt.
• 29:28
  Speaker 0: Da hätten wir in dem Projekt sehr oft eine andere Entscheidung treffen können, wo wir auch Fehler bemerkt haben.
• 29:34
  Speaker 0: Natürlich, wenn man emigriert und so alte Sachen anfässt, dann merkt man auch, man hat da vielleicht was falsch gemacht.
• 29:40
  Speaker 0: Wir haben natürlich auch Sachen emigriert im ersten Schritt.
• 29:44
  Speaker 0: Mit dem Fehler.
• 29:45
  Speaker 0: Wissen aber jetzt, okay, da müssen wir jetzt im Nachhinein korrigieren.
• 29:48
  Speaker 0: Weil wenn man etwas korrigiert während der Migration und der Kunde plötzlich andere Daten hat, dann denkt er, es ist falsch oder es war vorher falsch.
• 29:57
  Speaker 0: Ja, war es, aber es liegt nicht an der Migration, sondern an etwas anderem.
• 30:02
  Speaker 0: Da gab es viele Beispiele.
• 30:03
  Speaker 0: Ich glaube der größte.
• 30:05
  Speaker 0: Wenn ihr
• 30:05
  Speaker 1: danach sozusagen nochmal mehr optimiert habt, weil ihr euch mit dem Kern beschäftigt habt.
• 30:09
  Speaker 1: Verstanden?
• 30:10
  Speaker 1: Was ja im Alltag untergeht.
• 30:12
  Speaker 0: Genau.
• 30:14
  Speaker 1: Das heißt, zusammengefasst war Bewertung auf unterschiedlichen Kriterien.
• 30:18
  Speaker 1: Die Bewertung oder Gewichtung der Kriterien war ja oder ist pro Unternehmen unterschiedlich.
• 30:22
  Speaker 1: Die muss man, glaube ich, auf Basis der Gespräche mit den Stake Holdern und auf Basis seiner eigenen Erfahrung festmachen.
• 30:28
  Speaker 1: Dann dazu kommt, dass man dann natürlich viel von den Anbietern versprochen bekommt, ohne jetzt böse sein zu wollen.
• 30:36
  Speaker 1: Und es wurde dann getestet.
• 30:37
  Speaker 1: Es hat sich belegt.
• 30:38
  Speaker 1: Und dann war natürlich der Schritt, die Migration selber zu vollziehen.
• 30:43
  Speaker 1: War das dann stepweise oder war es so ein Big Bang?
• 30:46
  Speaker 0: Initial, also man muss unterscheiden, für uns intern war das stepweise.
• 30:52
  Speaker 0: Für den Dashboards quasi war das Big Bang, weil wir wollten ganz am Ende die Dashboards einmal umstellen.
• 31:00
  Speaker 0: Und nicht einen Dashboard nach dem anderen, sondern quasi für die internen Kunden, für die internen Nutzer der Dashboards Big Bang.
• 31:08
  Speaker 0: bei uns intern step by step.
• 31:09
  Speaker 0: Wir haben Iterationen gemacht, also das war ein sehr, sehr positiver Aspekt im Projekt, der aber sehr lange gedauert hat.
• 31:17
  Speaker 0: Iterationen über wir verändern unseren Code, unseren DBT Code, damit das für Snowflake passt und dann testen wir die Daten.
• 31:28
  Speaker 0: Und das haben wir dreimal literiert.
• 31:30
  Speaker 0: Und jedes Mal geguckt, passen die Daten noch, stimmt es noch und funktioniert der Code.
• 31:36
  Speaker 1: Man spricht ja Michelle mir so sehr vom The Modern Data Stack.
• 31:39
  Speaker 1: Das Begriff ist aber jetzt schon für wahrscheinlich drei, vier, fünf Jahre da.
• 31:42
  Speaker 1: Was verstehst du darunter und hat sich das nochmal irgendwie geändert?
• 31:48
  Speaker 0: Also erst mal was verstehe ich darunter.
• 31:50
  Speaker 0: Für mich ist es, was wir vorhin besprochen haben, eine Ansammlung an Tools.
• 31:54
  Speaker 0: Das ist nicht ein großes Tool.
• 31:57
  Speaker 0: Es ist ein Stack von Tools, die zusammenarbeiten und die verschiedene Bereiche abdecken.
• 32:02
  Speaker 0: Data Ingestion, wie auch immer man was macht.
• 32:05
  Speaker 0: Das habe ich vorhin gesagt, das Pool Push, zwei Streams.
• 32:08
  Speaker 0: Das Data Warehouse, Transformation, BI, Reverse ELT und Orchestration.
• 32:15
  Speaker 0: Das sind für mich die Bestandteile von einem modernen Data Stack.
• 32:20
  Speaker 0: Ist es heute noch richtig?
• 32:22
  Speaker 0: Ich glaube, für viele Unternehmen ja.
• 32:24
  Speaker 0: Viele Unternehmen sind noch nicht bei dem.
• 32:27
  Speaker 0: Für uns, für Sethdesk, nicht mehr.
• 32:33
  Speaker 0: Ich will, dass wir auf den nächsten Step kommen, was für mich Data Platform ist, oder Data Platform, warum Platform?
• 32:40
  Speaker 0: Weil wir hatten bis jetzt und haben immer noch jetzt ein Stack.
• 32:44
  Speaker 0: Der Stack ist gut.
• 32:45
  Speaker 0: Man will aber immer mehr zu dem Self-Service kommen.
• 32:50
  Speaker 0: Man redet oft von Self-Service für die Analysten, für die Leute, die Dashboards nutzen, damit die ihre Dashboards selber machen können.
• 32:59
  Speaker 0: Für mich geht Self-Service aber noch weiter.
• 33:01
  Speaker 0: Und die Plattform muss halt unten auch da sein.
• 33:06
  Speaker 0: Und es fängt bei Data Engineering an.
• 33:08
  Speaker 0: Wir müssen eine Plattform für die Analytics Engineers bauen, verfügbar machen, damit die eigenständig arbeiten können, damit die uns nicht mehr brauchen.
• 33:18
  Speaker 0: Ich sage immer sehr gerne, mein Ziel ist es, dass man mich oder dass man Data Engineering nicht mehr braucht.
• 33:24
  Speaker 0: Man will es immer brauchen, aber dass man Data Engineering nicht mehr aktiv braucht.
• 33:28
  Speaker 0: Immer irgendwas fragen muss, sondern man hat diesen... Daten, man hat das, was man will, zur Verfügung und nutzt es einfach.
• 33:35
  Speaker 0: Da ist jemand im Hintergrund, der das macht, aber man braucht die Personen nicht direkt Anfragen.
• 33:42
  Speaker 0: Das zieht sich durch den ganzen Data Circle bei uns, also doch die verschiedenen Schichten in Data bis zu dem der Sport-User, deshalb Plattformen.
• 33:52
  Speaker 1: Ja, verstanden.
• 33:53
  Speaker 1: Das heißt, auch in der Technik gibt es mehr Reife, um Self-Service zu etablieren.
• 33:59
  Speaker 1: Das ist so ein bisschen der Schwenkrichtung, Low-Code, No-Code, viel mehr den Anwendern was zur Verfügung stellen.
• 34:08
  Speaker 0: Oder das so einfach bauern, dass der Anwender das nutzen kann.
• 34:11
  Speaker 0: Das
• 34:12
  Speaker 1: mitzudenken.
• 34:15
  Speaker 0: Wenn man sieht heute, wie viele Tools es da draußen gibt, es ist der Markt, das überschwemmt mit Data Tools.
• 34:23
  Speaker 0: Wenn man das verfolgt seit dem Jahr zwei Tausend Neunzehn, es gibt aber immer welche, die herausstechen, die besser sind als andere.
• 34:32
  Speaker 0: Der Auswahl ist nicht leicht und ich würde nicht sagen, dass meine Wahl heute noch richtig ist für die Tools, die ich damals genommen habe.
• 34:42
  Speaker 0: Ja,
• 34:43
  Speaker 1: fairer Punkt.
• 34:44
  Speaker 0: Ja, und mit den ganzen technischen Änderungen, also wir haben über die ganzen Tools gesprochen, mit dem Unternehmen, was wächst, von wo ich angefangen habe, knapp über hundert, zu mehr als zweihundert Mitarbeitern wächst natürlich auch die Organisation, die anderen Teams drum herum und da muss man sich auch anpassen.
• 34:59
  Speaker 0: Wir müssen auch mit denen zusammenarbeiten.
• 35:01
  Speaker 0: Wir arbeiten sehr stark mit der Cloud Crew zusammen.
• 35:04
  Speaker 0: Wir haben einen internen Cloud Crew.
• 35:07
  Speaker 0: Das ist das Plattformteam, was uns quasi AWS bereitstellt.
• 35:13
  Speaker 0: Wir arbeiten sehr eigenständig, Data Engineering auf AWS.
• 35:18
  Speaker 0: Wir haben aber trotzdem den Counterboard von Cloud Crew, die uns helfen, das aufzubauen, falls wir da Hilfe benötigen.
• 35:24
  Speaker 1: Ja, auf dem sozusagen es nur wegläuft.
• 35:27
  Speaker 0: Auf dem auch Snowflake läuft.
• 35:28
  Speaker 0: Snowflake haben wir auf der AWS, aber auch sehr viele andere Services wie Kubernetes.
• 35:33
  Speaker 0: Und die ganzen Tools haben wir, viele Tools haben wir selber gehostet, sei es Snowplow, sei es Metano oder Dexter.
• 35:41
  Speaker 0: Metabase sogar ein unserer BI-Tools haben wir selber gehostet.
• 35:45
  Speaker 0: Warum?
• 35:46
  Speaker 0: Weil Daten auch ein sehr kritisches Thema ist.
• 35:51
  Speaker 0: Man will nicht, dass Daten überall sind.
• 35:53
  Speaker 0: Wir haben das Thema schon von Anfang an sehr ernst genommen.
• 35:57
  Speaker 0: Züglich Datenhoheit und wohin die Daten fließen.
• 36:00
  Speaker 0: Viele Unternehmen im Data-Bereich sind US-Unternehmen.
• 36:04
  Speaker 0: Das muss man auch darauf achten, wohin die Daten fließen.
• 36:07
  Speaker 0: Deshalb haben wir zum Beispiel den Wechsel von Segment zu Snowblow gemacht, weil die haben auch das First Party Cookie Tracking.
• 36:14
  Speaker 0: Das heißt, wir haben den kompletten Prozess in unserer Hand.
• 36:17
  Speaker 0: Das Schwierige bei den ganzen Projekten wurde dann aber auch die Zusammenarbeit mit... Engineering oder Cloud Crew.
• 36:25
  Speaker 0: Cloud Crew war immer sehr näher, das hat immer funktioniert, weil da auch eine persönliche Connection ist.
• 36:29
  Speaker 0: Ja,
• 36:30
  Speaker 1: kann auch ein Gen sein.
• 36:31
  Speaker 1: Ja,
• 36:32
  Speaker 0: muss ich sagen, das ist heute sehr entscheidend immer noch bei vielen Themen.
• 36:36
  Speaker 0: Aber Engineering hatte halt andere Prioritäten, die hatten anderen Druck, neue Features im Tool rauszubringen, das Tool auf dem nächsten Level zu bringen, die hatten über den Jahr sehr viel Entwicklung.
• 36:49
  Speaker 0: Und da hatten wir auch unsere größte Challenge mit bei der... Migration von unserem Event-Tracking-Tool.
• 36:56
  Speaker 0: Wir sind von Segment weg zu Snowblow.
• 37:01
  Speaker 0: Und man muss sich vorstellen, so ein Event-Tracking-Tool ist wie so ein Monster, was seine Krallen überall im Produkt drin hat.
• 37:10
  Speaker 0: Weil überall kommen Events her.
• 37:13
  Speaker 0: Jeder will, und es ist auch richtig, jeder im Produkt will wissen, wird mein Button überhaupt benutzt, wird das Feature überhaupt benutzt wie oft und so weiter und so fort.
• 37:22
  Speaker 0: Also das sind sehr viele Fragen, sehr viele Events.
• 37:24
  Speaker 0: Und da kann man nicht einfach zu Engineering hingehen und sagen, wir möchten morgen unser Eventur wechseln.
• 37:30
  Speaker 0: Könnt ihr bitte einmal unseren ganzen Code umstellen?
• 37:33
  Speaker 0: Natürlich ist es auch nicht überall, sondern es gibt zentrale Module, wo das genutzt wird.
• 37:38
  Speaker 0: Aber da muss man dann flexibel sein.
• 37:43
  Speaker 0: Wir mussten uns Umwege erarbeiten, erdenken.
• 37:47
  Speaker 0: Wir haben mit dem Plattformteam, also heute ist es sehr gut, Zwischendösung, ich sag wirklich Zwischendösung, ich sag das jedes mal, weil ich will nicht, dass das eine langfristige Lösung wird.
• 37:56
  Speaker 0: In der Zwischendösung erarbeitet und zwar wir haben so ein zentrales Event Hub gebaut, weil Engineering hat die Segment Events abgefeuert in einem bestimmten Format.
• 38:10
  Speaker 0: Und mit einem bestimmten Framework, das von Segment.
• 38:16
  Speaker 0: Und wir sind hintergegangen, haben gesagt, okay, ihr nutzt das, genau wie es ist.
• 38:21
  Speaker 0: Wir wollen euch so wenig Arbeit wie möglich machen, aber ihr feuert das jetzt nicht mehr zu Segment, sondern zu einer internen URL.
• 38:30
  Speaker 0: Und die internen URL nimmt die ganzen Events an, ändert die von der Struktur, damit sie zu dem neuen Event-Tool passen und feuert die dann zu unserem neuen Event-Tool ab.
• 38:41
  Speaker 0: Es ist ein Zwischenschritt,
• 38:44
  Speaker 1: dass ihr im Hintergrund schon die Basis fürs neue Tool bauen könnt, wie die Daten entgegengenommen werden und ihr immer mehr
• 38:49
  Speaker 0: genau dem...
• 38:50
  Speaker 1: mit dem neuen Tool sozusagen ins Produkt reinwachsen könnt.
• 38:53
  Speaker 0: Genau, weil man muss da mit dem Produkt, man muss mit den anderen Bereichen der Sicht nehmen.
• 38:58
  Speaker 0: Auf beiden Seiten haben die Analysten müssen mit Produkt oder mit der ganzen Kompanie zusammenarbeiten und wir auch, man sagt immer, Data Engineering ist so an der untersten Schicht, so im Camerline, ja, aber bei so wichtigen Sachen wie Daten holen, müssen wir mit allen Teams zusammenarbeiten.
• 39:16
  Speaker 0: Und das ist ein sehr wichtiger Punkt, wo man dann auch politisch und strategisch mit den einzelnen Abteilungen zusammenarbeiten muss.
• 39:27
  Speaker 1: Und es klappt gut.
• 39:29
  Speaker 0: Es klappt sehr gut, muss ich sagen.
• 39:31
  Speaker 0: Es hilft, wie gesagt, auch, dass ich schon fünf Jahre dabei bin, dass ich die Leute kenne.
• 39:38
  Speaker 0: Ich weiß, wen ich anschreiben muss, damit ich schnell eine Antwort kriege.
• 39:42
  Speaker 0: Das hilft.
• 39:43
  Speaker 0: Aber ich glaube, das gehört einfach auch dazu.
• 39:45
  Speaker 0: Dafür kriegen die auch schneller.
• 39:48
  Speaker 1: Fetter und Wirtschaft sind ja auf dem Basis
• 39:49
  Speaker 0: gerade.
• 39:51
  Speaker 1: Jetzt haben wir viel über aktuellen Status Vergangenheit gesprochen.
• 39:55
  Speaker 1: Was glaubst du, was in zwei Jahren passiert bei euch?
• 39:58
  Speaker 0: Ich glaube, dass der Plattformgedanke, den ich meinte, schneller kommen kann.
• 40:06
  Speaker 0: Ich sage nicht muss, aber doch das ganze natürlich Hype-Thema, aber es ist nicht nur ein Hype-Thema, es ist auch wirklich das ganze AI-LLM-Thema, wird auch unsere Arbeit eventuell leichter.
• 40:20
  Speaker 0: Ich sage nicht, dass hier setzt wird und ich glaube nicht, dass die Sachen viele Stellen ersetzt werden, sondern die Arbeit wird leichter gemacht, dass man einfach schneller Sachen reinbringen kann.
• 40:30
  Speaker 0: Ich liebe Eugel schon mit Tools wie zum Beispiel DLT Hub.
• 40:34
  Speaker 0: Das ist ein Tool, um auch Daten in Gestion zu machen.
• 40:39
  Speaker 0: Die arbeiten auch mit einem LM zusammen oder da ist ein Feature mit LM, wo man dann sehr schnell so eine Datenanbindung aufbauen kann.
• 40:47
  Speaker 0: Das will ich in den nächsten Wochen, Monaten testen.
• 40:51
  Speaker 0: Und vielleicht, wer weiß, das auch umstellen, nicht direkt.
• 40:55
  Speaker 0: Umstellungsthemen, Umstellungsprojekte hatten wir jetzt genug.
• 40:59
  Speaker 0: Aber so was, glaubt ihr, das Data Warehouse wird noch zentraler, noch wichtiger Snowflake, wie es ist, weil ich es sehr, sehr gut finde.
• 41:09
  Speaker 0: Ansonsten wird nur die Datenmenge noch viel, viel größer.
• 41:13
  Speaker 0: Ja,
• 41:13
  Speaker 1: wenn ihr weiter wechselt.
• 41:15
  Speaker 0: Nicht nur weiter wechseln, auch wachsen auch von der... Die Tiefe.
• 41:18
  Speaker 0: von der Tiefhund, von der Maturity.
• 41:20
  Speaker 0: Viele Leute merken, oh, Daten sind wichtig.
• 41:22
  Speaker 0: Auch durch das AI-Thema.
• 41:25
  Speaker 0: Und merken, wie wichtig das sein kann und wie sehr das helfen kann.
• 41:29
  Speaker 0: Dadurch steigt da Datenwert auch.
• 41:33
  Speaker 1: Die zwei Fragen, die ich hier im Gast stelle.
• 41:37
  Speaker 1: Beschäftigst du dich noch in Straßburg mit Daten?
• 41:41
  Speaker 1: Und welchen Filmtitel würdest du sozusagen der Folge geben?
• 41:47
  Speaker 0: Ja, ein weniger.
• 41:48
  Speaker 0: Ich war lange Zeit bei der freiwilligen Feuerwehr.
• 41:51
  Speaker 0: Da habe ich auch einige Sachen aufgebaut, freiwillige Projekte und da hatte ich auch mehrere Versuche mit Daten, was zusammenbauen, auch vorherzusagen, wann der nächste Einsatz kommt.
• 42:02
  Speaker 0: Das ist aber schön unmöglich.
• 42:05
  Speaker 0: Und privat hatte ich auch ein Food-Unternehmen mit einem Kumpel gemacht, ist immer noch.
• 42:13
  Speaker 0: Da hatte ich auch... verschiedene Tests, um mit Daten vorherzusehen, wie viel brauchen wir für das nächste Event, wie viele Portionen und so weiter, aber das ist sehr schwierig.
• 42:24
  Speaker 0: Mittlerweile weniger, mittlerweile nutze ich Daten mehr, bei Paddle zum Beispiel, da gibt es mittlerweile Kameras, die analysieren und das ist sehr interessant, das heißt ich sehe das täglich noch in meiner Freizeit und merke es aktiv, aber weniger.
• 42:38
  Speaker 0: Zum Filmtitel, ich würde den Filmtitel nahezu dem zu stellen, was ich vorhin gesagt habe über meine eigene Rolle und wie ich mich sehe, dass ich will, dass die Leute unabhängig sind.
• 42:53
  Speaker 0: Und das merkt man, glaube ich, als Data Engineer stark, dass man immer im Hintergrund ist.
• 42:58
  Speaker 0: Deshalb würde ich dem einen Titel geben, so im Schatten der anderen.
• 43:02
  Speaker 0: Okay, cool.
• 43:04
  Speaker 1: Fast philosophisch.
• 43:07
  Speaker 0: Wir arbeiten im Schatten, aber es macht auch sehr, sehr viel Spaß.
• 43:10
  Speaker 0: Okay.
• 43:11
  Speaker 1: Vielen, vielen Dank
• 43:11
  Speaker 0: für die Folge.
• 43:12
  Speaker 0: Vielen lieben Dank dir für die Einladung.
• 43:13
  Speaker 0: Das war's.