Latest / M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch / Microsoft Fabric Data Factory einfach erklärt: Pipelines, Dataflow Gen2, Copy-Jobs und der Unterschied zu ADF (KI-Synchronfassung)

Transcript

Microsoft Fabric Data Factory einfach erklärt: Pipelines, Dataflow Gen2, Copy-Jobs und der Unterschied zu ADF (KI-Synchronfassung) · M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch

• 0:00
  Bereit für 10 Tage voller Microsoft 365 Westig, Co-Pilot, KI-Azure und die Menschen, die die Zukunft der Arbeit gestalten?
• 0:07
  Diesen Januar ist die M365-Con zurück und wir legen noch eins drauf.
• 0:12
  Seien Sie bei Live-Sessions, Praxis-Demos und Expertenwissen von MVPs und Branchenprofis weltweit dabei.
• 0:18
  Keine generischen Folien. Kein endloses Buzzword-Bingo.
• 0:21
  Wir widmen uns echten Herausforderungen.
• 0:23
  Co-Pilot Studio, KI-Agenten, Fabric, Sicherheit, Governance und Automatisierung.
• 0:28
  Egal ob IT-Profi, Entwickler oder Führungskraft, wir haben die passenden Sessions für Sie.
• 0:35
  An 10 vollen Tagen können Sie Technologien erkunden und sich mit der globalen Community vernetzen.
• 0:40
  Schauen Sie live zu und bringen Sie praxisnahe Erkenntnisse in Ihr Unternehmen ein.
• 0:45
  Januar 2027. 10 Tage. Eine Microsoft-Community. Die Registrierung ist jetzt geöffnet.
• 0:51
  Besuchen Sie m365.con.net und sichern Sie sich noch heute Ihren Platz.
• 0:55
  Das ist m365.con.net.
• 1:00
  Melden Sie sich unter m365.con.net an. Wir sehen uns. Im Januar live.
• 1:04
  Was genau ist eigentlich Microsoft Fabric Data Factory?
• 1:07
  Ist es nur Azure Data Factory mit einem neuen Namen oder etwas völlig anderes?
• 1:11
  Falls Sie den Begriff gehört haben und sich fragen, was er bedeutet, sind Sie nicht allein.
• 1:14
  Am Ende dieser Episode wissen Sie, was es ist, wie es sich vom klassischen ADF unterscheidet und welche Grundlagen Sie kennen müssen.
• 1:21
  Wenn Sie in Fabric mit Datenbewegungen arbeiten, ist dies die Engine, die alles ermöglicht.
• 1:25
  Und es ist einfacher, als Sie denken.
• 1:26
  Wir betrachten vier Hauptkomponenten und sehen, wie Sie zusammenarbeiten.
• 1:30
  Doch zuerst definieren wir, worüber wir sprechen.
• 1:32
  Ist die einfachste Definition.
• 1:34
  Fabric Data Factory ist die Engine in Microsoft Fabric, die Ihre Daten verschiebt und integriert.
• 1:38
  Betrachten Sie es als den Ersatz für Azure Data Factory und Synapse Pipelines, alles in einer einzigen SaaS-Plattform.
• 1:44
  Das ist der erste wichtige Punkt.
• 1:46
  Es ist kein separater Dienst, den Sie verwalten.
• 1:48
  Es ist direkt in Fabric integriert und mit One Lake verbunden.
• 1:50
  Ein Vergleich zu veranschaulich.
• 1:51
  Wenn Fabric ein Bürogebäude ist, dann ist Data Factory die Poststelle und das Fördersystem des Dokumentes zwischen den Etagen bewegt.
• 1:57
  Über die Poststelle denkt man nicht jeden Tag nach.
• 1:59
  Aber ohne sie kommt nichts von A nach B.
• 2:01
  Genauso hier.
• 2:03
  Data Factory erledigt den Datentransport im Hintergrund.
• 2:06
  Der große Unterschied zur alten Welt?
• 2:07
  Keine zusätzliche Speicherkonfiguration nötig.
• 2:09
  Ihre Daten landen direkt in One Lake.
• 2:11
  In Azure Data Factory mussten Sie früher Speicherkonten einrichten, Container erstellen und verknüpfte Dienste konfigurieren.
• 2:16
  In Fabric fällt das alles weg.
• 2:17
  One Lake ist bereits vorhanden.
• 2:18
  Sie verknüpfen einfach Ihre Pipeline und legen los.
• 2:20
  Das kommt Ihnen bekannt vor, oder?
• 2:22
  Wie unterscheidet es sich also von der Azure Data Factory, die Sie bereits kennen?
• 2:25
  Wie es sich von Azure Data Factory unterscheidet?
• 2:27
  Viele Leute denken, Fabric Data Factory sei nur Azure Data Factory unter neuem Namen, aber das stimmt nicht.
• 2:32
  Lassen Sie uns ein paar Mythen aus.
• 2:33
  Bei der Preisgestaltung ändert sich wirklich einiges.
• 2:35
  ADF berechnet pro Aktivitätslauf, sodass jede Kopieraktivität, gespeicherte Prozedur und Pipeline-Ausführung ihre Rechnung erhöht.
• 2:41
  Fabric Data Factory nutzt stattdessen eine kapazitätsbasierte Preisgestaltung.
• 2:44
  Sie erwerben eine Fabrik-Kapazität F2, F4, F16 oder was auch immer.
• 2:47
  Und alle Workloads teilen sich diesen Compute-Pool, Data Factory, Power BI, Lakehouse, die gesamte Plattform.
• 2:53
  Wenn Sie bereits Fabrik-Kapazität haben, kostet das Ausführen von Pipelines kaum etwas extra.
• 2:57
  Falls nicht, müssen Sie die Fabrik-Gesamtkosten gegen Ihre aktuelle ADF-Rechnung abwägen.
• 3:01
  Auch Verbindungen sind einfach.
• 3:03
  In ADF mussten Sie für jede Quelle und jedes Ziel einen verknüpften Dienst erstellen,
• 3:06
  darauf Datasets aufbauen und dann die Integration Runtime konfigurieren.
• 3:10
  In Fabric werden Verbindungen direkt definiert und One Lake ist automatisch integriert.
• 3:13
  Sie wählen Quelle und Ziel aus und die Verbindung wird sofort eingerichtet.
• 3:17
  Viel weniger Klicks erforderlich.
• 3:18
  Es gibt auch neue, integrierte Aktivitäten.
• 3:20
  Sie können E-Mails oder Teams Nachrichten direkt aus Ihrer Pipeline senden,
• 3:23
  ohne Logic-Apps oder benutzerdefinierte Webhooks.
• 3:26
  Es ist nur eine Drag-and-Drop-Aktivität, was allein schon viel Zeit spart.
• 3:28
  Und die Bereitstellung ist jetzt besser.
• 3:30
  ADF hatte zwar Bereitstellungspipelines, aber diese waren umständlich.
• 3:32
  Fabric bietet integrierte Bereitstellungspipelines mit Beförderung auf Workspace-Ebene,
• 3:36
  sodass Sie in wenigen Klicks von Entwicklung zu Test und Produktion gelangen.
• 3:38
  Keine manuellen Skripte erforderlich.
• 3:40
  Lassen Sie uns jetzt ehrlich darüber sprechen, was noch fehlt.
• 3:41
  SSS-Unterstützung und verwaltet ist vorhin nicht verfügbar.
• 3:44
  Wenn Sie stark in SQL-Server Integration Services investiert sind, müssen Sie noch warten.
• 3:48
  Für die meisten Leute ist das in Ordnung.
• 3:50
  Der Großteil der Datenintegrationsarbeit benötigt kein SSES.
• 3:54
  Dahin einfache Forstregel.
• 3:55
  Wenn Ihre ADF-Rechnung unter 1.500 Dollar pro Monat liegt und Sie Fabric nicht nutzen,
• 3:59
  bleiben Sie bei ADF, da es für geringe Workload-Volumina günstiger ist.
• 4:02
  Wenn Sie bereits in Fabric arbeiten, ist Data Factory enthalten, nutzen Sie es also.
• 4:05
  Und wenn Ihre ADF-Kosten darüber liegen, lohnt es sich, die Fabric-Kapazität einmal durchzurechnen.
• 4:10
  Baustein 1, Datenpipelines.
• 4:12
  Schauen wir uns nun den ersten Baustein an, Datenpipelines.
• 4:15
  Pipelines sind die Orchestratoren.
• 4:16
  Sie bestimmen, was wann und in welcher Reihenfolge läuft und alles andere wird dort eingebunden.
• 4:20
  Stellen Sie sich eine Pipeline wie ein Rezept vor.
• 4:22
  Sie haben Schritte, Sie können verzweigen und Sie können Schleifen bilden.
• 4:25
  Zuerst heizen Sie den Ofen vor, dann mischen Sie die Zutaten.
• 4:27
  Und wenn der Teig zu trocken aussieht, fügen Sie vor dem Backen noch etwas Märchen zu.
• 4:30
  Eine Pipeline funktioniert genauso.
• 4:32
  Kopieren Sie zuerst Daten aus einer Quelle, prüfen Sie dann, ob die Datei existiert und führen Sie bei Erfolg eine Transformation aus.
• 4:37
  Falls nicht, senden Sie eine Benachrichtigung.
• 4:38
  Die Steuern in Ablauf.
• 4:39
  Die Kernaktivitäten, die Sie am häufigsten verwenden, sind Datenkopieren, ForEach, If-Bedingungen, Metadatenabrufen und Lookup.
• 4:44
  Datenkopieren verschiebt Daten von Punkt A nach Punkt B.
• 4:46
  ForEach durchläuft eine Liste zu.
• 4:48
  B10-Dateien in einem Ordner.
• 4:50
  Die If-Bedingung prüft, ob etwas wahr oder falsch ist.
• 4:52
  Metadatenabrufen stellt Fragen zu Ihren Daten.
• 4:55
  Wie groß ist diese Datei?
• 4:56
  Wann wurde sie zuletzt geändert?
• 4:57
  Lookup liest die Konfigurationsdatei und bringt die Werte in Ihre Pipeline.
• 5:01
  Das ist das Starterkit.
• 5:01
  Das Ganze ist Low-Code.
• 5:03
  Sie ziehen Aktivitäten per Drag & Drop auf eine Arbeitsfläche, verbinden sie mit Pfeilen, legen die Eigenschaften fest und sind fertig.
• 5:08
  Für die meisten Aufgaben ist kein Programmieren erforderlich.
• 5:10
  Es sieht aus wie ein Flussdiagramm, weil es genau das ist.
• 5:12
  Hier ein echtes Beispiel.
• 5:13
  Dellen Sie sich vor, Sie rufen jeden Morgen Verkaufsdaten von IPI ab.
• 5:16
  Ihre Pipeline beginnt mit einer Datenkopier-Aktivität, die diese in ein Lake auslegt.
• 5:19
  Dann bereinigt ein Data-Flow Gen 2 Schritt die Daten, entfernt Nullwerte und korrigiert Datumsformate.
• 5:24
  Anschließend reichert ein Notebook Sie mit Kundensegmenten ab.
• 5:26
  Abschließend sendet eine Teams-Aktivität eine Nachricht an Ihr Team.
• 5:30
  Verkaufsdatisiert.
• 5:31
  Das ist ein Pipeline, der die Arbeit erledigt, für die früher mehrere Tools nötig waren.
• 5:34
  Sie können Pipelines auch wieder verwendbar machen.
• 5:36
  Angenommen, Sie haben die gleiche Logik für zehn verschiedene Datenquellen.
• 5:39
  Statt zehn Pipelines zu bauen, erstellen Sie eine und nutzen Parameter Quell, URL, Tabellenname, Zielordner, alles als Variablen.
• 5:45
  Eine Pipeline zählt verschiedene Aufgaben.
• 5:47
  Das ist Parametrisierung.
• 5:49
  Und hier ist etwas Neues.
• 5:51
  Sie können Co-Pilot bitten, Pipeline-Ausdrücke in einfacher Sprache zu schreiben.
• 5:54
  Geben Sie Add Two Days to this Date ein und er generiert den Ausdruck für Sie.
• 5:57
  Sie müssen sich keine Funktionssyntax mehr merken oder googeln, wie man einen Zeitstempel formatiert.
• 6:01
  Sagen Sie einfach, was Sie brauchen.
• 6:03
  Baustein 2.
• 6:04
  Data Flow Gen 2.
• 6:06
  Was passiert also, wenn Sie Daten bereinigen müssen, aber keinen Code schreiben möchten?
• 6:09
  Genau dieses Problem löst Data Flow Gen 2.
• 6:11
  Data Flow Gen 2 ist das Low-Code-Transformationstool innerhalb von Fabric Data Factory.
• 6:15
  Wenn Sie schon einmal Power Query in Excel oder Power BI verwendet haben, wird Ihnen das sehr vertraut vorkommen.
• 6:19
  Es bietet dieselbe Oberfläche, dieselben über 300 Transformationen und dieselbe Engine, nur dass es in der Cloud läuft.
• 6:24
  Mit einem Lake House als Ziel.
• 6:27
  Denn Sie ist so vor.
• 6:28
  Wenn Pipelines das Fließband sind, das Pakete bewegt, ist Data Flow Gen 2 die Küche, in der Sie die Zutaten tatsächlich hacken, würzen und kochen.
• 6:35
  Pipelines übernehmen die Logistik.
• 6:36
  Data Flow Gen 2 übernimmt die eigentliche Arbeit, Daten nutzbar zu machen.
• 6:39
  Dann sollten Sie darauf zurückgreifen.
• 6:40
  Wenn Sie Daten bereinigen, Typen ändern, Tabellen zusammenführen oder Zeilen filtern müssen.
• 6:45
  Ganz ohne Spark oder SQL.
• 6:47
  Wenn Ihre Transformation auf ein Whiteboard passt, passt sie wahrscheinlich auch in Data Flow Gen 2.
• 6:51
  Das ist ein kurzes Beispiel.
• 6:53
  Sie importieren eine CSV-Datei mit Kundenbestellung.
• 6:55
  Es gibt doppelte Zeilen.
• 6:56
  Einige Datumsformate sind falsch und in einigen Spalten fehlen wird.
• 6:59
  Sie öffnen Data Flow Gen 2, klicken ein paar Mal, um Duplikate zu entfernen, den Datumsspalten-Typ anzupassen und fehlende Werte zu ergänzen.
• 7:05
  Dann führen Sie dies mit einer Produkttabelle zusammen.
• 7:07
  Das Ganze dauert 10 Minuten.
• 7:08
  Kein Grund.
• 7:09
  Die Ausgabe landet in einer Lakehouse-Tabelle, bereit für die Berichterstellen.
• 7:12
  Sie können zudem alles visuell verfolgen.
• 7:14
  Es gibt eine Diagramm an sich, die jeden Schritt als Knoten darstellt.
• 7:16
  Die Quelle führt in einen Filterknoten.
• 7:18
  Der Filter führt in einen Zusammenführungsknoten.
• 7:20
  Die Zusammenführung führt zur Ausgabe.
• 7:21
  Sie können den gesamten Ablauf auf einen Blick sehen.
• 7:23
  Das ist sehr hilfreich, wenn Sie Fehler beheben oder die Logik jemand anderem erklären müssen.
• 7:27
  Die Zeitplanung ist ebenfalls flexibel.
• 7:28
  Sie können Data Flow Gen 2 eigenständig ausführen.
• 7:30
  Regen Sie fest, dass die Aktualisierung jeden Morgen um sechs aufhört.
• 7:32
  Oder rufen Sie es aus einer übergeordneten Pipeline als Schritt in einen größeren Workflow.
• 7:36
  Die meisten Produktionsumgebungen letzteres.
• 7:38
  Die Pipeline übernimmt die Orchestrierung und Data Flow Gen 2 den Transformationsschritt darin.
• 7:42
  Aber ein ehrlicher Hinweis.
• 7:44
  Für sehr umfangreiche Transformationen, etwa bei Milliarden von Zeilen, komplexen Fensterfunktionen oder benutzerdefinierter Machine Learning Logik,
• 7:49
  nutzen Sie möglicherweise weiterhin Outbooks mit Sparen.
• 7:52
  Data Flow Gen 2 ist nicht für jedes Szenario gedacht.
• 7:54
  Aber für den Großteil der Aufgaben, die die meisten Teams benötigen, bereinigen, strukturieren, zusammenführen, aggregieren,
• 7:59
  deckt es etwa 80% der Arbeit ab.
• 8:01
  Das ist eine Menge Code, den Sie nicht schreiben müssen.
• 8:03
  Baustein 3, Copyjobs.
• 8:05
  Lassen Sie uns nun über das Verschieben von Daten sprechen.
• 8:07
  Was ist, wenn Daten kontinuierlich aus einer Datenbank fließen sollen?
• 8:10
  Wir kommen Copyjobs ins Spiel.
• 8:11
  Ein Copyjob ist eine vereinfachte Möglichkeit, Daten mit integrierter Änderungsnachverfolgung von einer Quelle in Ack zu kopieren.
• 8:16
  Keine komplexe Pipeline-Konfiguration, keine benutzerdefinierten Skripte.
• 8:19
  Sie wählen eine Quelle, ein Ziel und legen fest, wie oft der Vorgang ausgeführt werden soll.
• 8:22
  Das ist alles.
• 8:24
  Das Hauptmerkmal ist Change Data Capture with CTC.
• 8:26
  Copyjobs verfolgen automatisch Einfügungen, Aktualisierungen und Löschungen der Quelle.
• 8:29
  Sie müssen keine manuelle Watermarking-Logik erstellen.
• 8:32
  Also das Speichern eines Zeitstempels, um nach neueren Datensätzen zu suchen.
• 8:35
  Copyjobs erledigen das im Hintergrund.
• 8:37
  Es funktioniert einfach ohne zusätzlichen Aufwand.
• 8:39
  Mit mehr.
• 8:40
  Kopieraufträge unterstützen ESCD Typ 2, also Slowly Changing Dimensions Typ 2.
• 8:43
  Das bedeutet, die gesamte Story bleibt erhalten.
• 8:45
  Wenn ein Kunde seine Adresse ändert, bleibt die alte Adresse mit einem Enddatum in der Tabelle.
• 8:49
  Die neue Adresse erhält ein Startdatum.
• 8:50
  Sie können genau nachverfolgen, wie sich ein Datensatz im Laufe der Zeit.
• 8:53
  Das ist enorm wichtig für Audits und historische Berichte.
• 8:55
  Wann verwendet man also Kopieraufträge im Vergleich zur Standard-Kopieraktivität?
• 8:58
  Hier ist die Regel.
• 8:59
  Kopieraufträge sind für kontinuierliche Datenaufnahmen nach dem Prinzip Einrichten und Vergessen.
• 9:03
  Sie möchten, dass Daten Tag für Tag automatisch mit minimalem Wartungsaufwand einfließen.
• 9:07
  Kopieraktivitäten sind für einmalige oder geplante Massenladungen gedacht,
• 9:10
  bei denen Sie mehr Kontrolle über Mappings und Fehlerbehandlung benötigen.
• 9:13
  Stellen Sie es sich so vor, ein Kopierauftrag ist wie ein Bibliothekar,
• 9:16
  der neue Bücher automatisch erkennt und sie ins Regal stellt.
• 9:19
  Sie müssen den Katalog nicht jedes Mal prüfen, da der Bibliothekar das erledigt.
• 9:22
  Eine Kopieraktivität ist eher so, als würden Sie selbst in die Bibliothek gehen, die Bücher auswählen und genau bestimmen, wo sie stehen sollen.
• 9:28
  Beide erledigen ihre Aufgabe, aber Kopieraufträge ersparen Ihnen die Mühe bei Routinearbeiten, die Einrichtung ist ein.
• 9:33
  Sie wählen die Quelle, zum Beispiel eine SQL-Server-Datenbank.
• 9:36
  Sie wählen das Ziel, eine Lakehouse-Tabelle.
• 9:38
  Sie ordnen die Felder zu.
• 9:39
  Sie geben an, ob Sie eine inkrementelle oder vollständige Aktualisierung wünschen.
• 9:42
  Das war's auch schon.
• 9:43
  Der Auftrag läuft nach Ihrem Zeitplan und hält Ihr Lakehouse automatisch synchron.
• 9:46
  Baustein für Mirroring.
• 9:48
  Was aber, wenn Sie eine Echtzeit-Replikation benötigen?
• 9:50
  Genau hier kommt Mirroring ins Spiel.
• 9:52
  Hier ist die einfachste Definition.
• 9:53
  Mirroring ist eine Möglichkeit, Ihre operative Datenbank kontinuierlich in One Lake zu replizieren, ohne eine einzige Zeile Code zu schreiben.
• 9:59
  Sie richten es einmal ein und es läuft im Hintergrund.
• 10:01
  Die Daten bleiben nahezu in Echtzeit aktuell.
• 10:03
  Keine Pipelines zum Erstellen, keine Datenflüsse zur Wartung.
• 10:06
  Es funktioniert einfach.
• 10:06
  Wie funktioniert das eigentlich genau?
• 10:08
  Mirroring liest das Transaktionsprotokoll Ihrer Quelldaten.
• 10:10
  Jede Änderung, jedes Einfügen, Aktualisieren und Löschen wird erfasst und erscheint innerhalb von Minuten in One Lake.
• 10:15
  Dies ist keine Stapelverarbeitung.
• 10:17
  Es ist eine kontinuierliche Replika zu.
• 10:19
  In dem Moment, in dem sich etwas in Ihrer Quelldatenbank ändert, erscheint es in Fabric.
• 10:22
  Lassen Sie Whirlen sprechen.
• 10:23
  Derzeit können Sie Azure SQL Database, Azure Cosmos DB, Snowflake und andere spiegeln.
• 10:28
  Weitere kommen hinzu, wie das private Netzwerk Mirroring für Datenbanken hinter Firewalls, das auf der Buildsmeer 2026 angekündigt wurde.
• 10:34
  Warum sollten Sie das verwenden?
• 10:35
  Weil Sie eine Live-Kopie Ihrer Datenbank in One Lake erhalten, ohne ETL-Pipelines bauen zu müssen.
• 10:38
  Sie benötigen keine Kopiertäten.
• 10:40
  Sie benötigen keine Chain-Shocking-Skripte.
• 10:41
  Sie benötigen keine Logik für Inkamente des Lads.
• 10:43
  Das System erledigt das alles für Sie.
• 10:45
  Hier ist eine Analogie, damit es besser hängen bleibt.
• 10:46
  Stellen Sie sich Mirroring wie einem Echtzeit-Klon Ihrer Datenbank innerhalb von Fabric vor.
• 10:50
  Aktualisieren Sie die Quelle einmal und der Klon wird sofort aktualisiert.
• 10:53
  Kein Code erforderlich, um Sie synchron zu halten.
• 10:54
  Das System übernimmt die ganze schwere Art.
• 10:56
  Es gibt auch einen Kostenvorteil, der erwähnenswert ist.
• 10:58
  Mirroring bietet bis zu einer gewissen Grenze kostenlose Rechenleistung und Speicher.
• 11:01
  Sie zahlen nur für die Fabrik-Kapazität, die Sie bereits besitzen.
• 11:04
  Für viele Unternehmen ist das günstiger, als eigene Replikations-Pipelines zu erstellen und zu pflegen.
• 11:08
  Und hier ist ein praktischer Anwendungsfall.
• 11:10
  Sie können Power BI-Berichte direkt auf gespiegelten Daten erstellen, ohne die Quell-Datenbank zu beeinträchtigen.
• 11:14
  Ihr Betriebssystem läuft weiterhin mit voller Geschwindigkeit.
• 11:16
  Ihre Analysten erhalten aktuelle Daten.
• 11:18
  Alle gewinnen, wie diese Teile zusammenarbeiten.
• 11:21
  Sie haben also Pipelines, Data Flows, Kopieaufträge und Mirroring.
• 11:24
  Wie passen diese zusammen?
• 11:25
  Die meisten realen Implementierungen folgen einem einfachen Muster.
• 11:28
  Erfassen, bereinigen.
• 11:30
  Anreichern.
• 11:31
  Bereitstellen.
• 11:31
  Es nennt sich Medaillon-Architektur.
• 11:33
  Bronze, Silber, Gold.
• 11:35
  Betrachten Sie es als drei Schichten.
• 11:36
  Bronze enthält Rohdaten, genauso wie sie angekommen sind.
• 11:39
  Silber ist bereinigt und dedupliziert.
• 11:40
  Gold ist angereichert und bereit für die Berichterstellung.
• 11:43
  So sieht das in der Praxis aus.
• 11:44
  Ein Mirroring- oder Kopierauftrag landet Rohdaten einer Bronze-Lakehouse-Tabelle.
• 11:48
  Das ist der Erfassungsschritt.
• 11:49
  Dann bereinigt und transformiert ein Dataflow-Genturz in die Silberschicht.
• 11:52
  Entfernt Nullwerte.
• 11:53
  Standardisiert Formate.
• 11:54
  Verknüpft zugehörige Tabellen.
• 11:56
  Schließlich orchestriert eine Pipeline das Ganze.
• 11:57
  Sie löst den Kopierauftrag aus, wartet auf dessen Abschluss, führt den Dataflow aus
• 12:01
  und sendet die Teams Benachrichtigungen, wenn alles fertig ist.
• 12:03
  Das ist der vollständige Ablauf.
• 12:04
  Die wahre Magie ist nicht ein einzelnes Tool.
• 12:06
  Es ist die Art und Weise, wie Sie alle über ein Lake miteinander kommen.
• 12:09
  Ihre gespiegelten Daten befinden sich in einem Lake.
• 12:11
  Ihre Dataflow-Ausgabe landet in einem Lake.
• 12:13
  Ihre Pipeline liest aus einem Lake.
• 12:14
  Alles teilt sich dieselbe Speicherschicht.
• 12:16
  Sie können sogar Daten über Shortcuts zwischen Arbeitsbereichen teilen.
• 12:19
  Kein Kopieren erforderlich.
• 12:20
  Es gibt eine Abhängigkeitskette, die es zu verstehen gilt.
• 12:23
  Pipelines können Dataflow-Gentur als Schritt innerhalb der Pipeline aufrufen.
• 12:25
  Sie können auch Notebooks, DBT-Jobs und sogar Azure-Data-Factory-Pipelines einbinden,
• 12:29
  wenn Sie schrittweise migrieren.
• 12:31
  Eine einzige Pipeline kann Sie alle orchestrieren.
• 12:33
  Hier ist der Punkt.
• 12:33
  Sie müssen nicht mehr fünf verschiedene Dienste miteinander verknüpfen.
• 12:36
  Eine Plattform, eine Speicherschicht, ein Satz an Berechtigungen.
• 12:39
  Es ist der Sinn von Fabric.
• 12:40
  Und es funktioniert in der Realität.
• 12:41
  Ein Distributor aus dem VRA nutzte genau dieses Muster.
• 12:44
  Kopieraufträge für SAP-Daten, Dataflow-Gentur für die Bereinigung, Pipelines für die Orchestrierung.
• 12:49
  Sie verkürzen Ihren Monatsabschluss von neun auf zwei Tage.
• 12:51
  Das ist keine Demo.
• 12:52
  Das ist produktiv.
• 12:53
  Praktische Anleitungen kosten.
• 12:54
  Wer sollte also eigentlich Fabric-Data-Factory nutzen?
• 12:57
  Wenn Sie Daten in Fabric verschieben oder transformieren müssen, ist dies das richtige Werkzeug?
• 13:00
  Das betrifft Dateningenieure beim Erstellen von Pipelines, Analytics-Ingenieure bei der Datenmodellierung
• 13:04
  und sogar Business-Analysten, die Dataflow-Gentur für Self-Service-Transformation nutzen.
• 13:08
  Wer sollte darauf verzichten?
• 13:09
  Wenn Sie nur einmalige Datei-Uploads benötigen, beginnen Sie direkt mit dem Lakehouse.
• 13:13
  Drag-and-Drop einer CSV-Datei fertig.
• 13:15
  Wenn Sie stark in SSIS investiert sind, warten Sie auf den entsprechenden Support.
• 13:18
  Und wenn Ihre ADF-Rechnung unter 1500 pro Monat liegt und Sie Fabric nicht nutzen,
• 13:21
  macht es aktuell Sinn, alles so zu belassen.
• 13:22
  Lassen Sie über Kosten sprechen.