Latest / M365.FM – Microsoft 365, Copilot & AI podcast in het Nederlands / Microsoft Fabric Data Factory uitgelegd: pipelines, Dataflow Gen2, Copy jobs en het verschil met ADF (AI-nasynchronisatie)

Transcript

Microsoft Fabric Data Factory uitgelegd: pipelines, Dataflow Gen2, Copy jobs en het verschil met ADF (AI-nasynchronisatie) · M365.FM – Microsoft 365, Copilot & AI podcast in het Nederlands

• 0:00
  Speaker 2: Klaar voor 10 dagen Microsoft 365, Copilot, AI, Azure en
• 0:05
  Speaker 2: de mensen die de toekomst van werk vormgeven? Deze januari
• 0:09
  Speaker 2: is M365 komt terug en we pakken groter uit. Doe
• 0:12
  Speaker 2: mee voor live sessies, praktijkdemo's en praktische kennis van MVP's
• 0:16
  Speaker 2: en experts van over de hele wereld. Geen algemene presentaties,
• 0:20
  Speaker 2: geen eindeloos jargon. We pakken de echte uitdagingen aan Copilot Studio,
• 0:25
  Speaker 2: AI Agents, Fabric, Beveiliging, Governance en Automatisering. Of je nu IT-professional,
• 0:31
  Speaker 2: ontwikkelaar of zakelijk leider bent, er zijn sessies speciaal voor jou.
• 0:35
  Speaker 2: Met 10 volledige dagen kun je verschillende technologieën verkennen en
• 0:38
  Speaker 2: in contact komen met een wereldwijde community. Kijk live mee
• 0:41
  Speaker 2: en neem praktische inzichten mee terug naar je organisatie. Januari 2027,
• 0:46
  Speaker 2: 10 dagen, een Microsoft Community. Registratie is nu geopend. Ga
• 0:52
  Speaker 2: naar m365com.net en verzeker je vandaag nog van een plek.
• 0:56
  Speaker 2: Dat is m365com.net. Meld je nu aan op m365con.net en
• 1:03
  Speaker 2: we zien je live in januari. Wat is Microsoft Fabric
• 1:06
  Speaker 2: Data Factory precies? Is het gewoon Azure Data Factory met
• 1:09
  Speaker 2: een nieuwe naam of iets heel anders? Als je de
• 1:11
  Speaker 2: term hebt gehoord en je afvroeg wat het eigenlijk betekent,
• 1:14
  Speaker 2: ben je niet alleen. Aan het eind van deze aflevering
• 1:16
  Speaker 2: weet je wat het is, hoe het verschilt van de
• 1:17
  Speaker 2: klassieke ADF en wat de kernpunten zijn die je echt
• 1:20
  Speaker 2: moet begrijpen. Als je bezig bent met databewegingen in Fabric,
• 1:23
  Speaker 2: is dit de motor die het mogelijk maakt en het
• 1:25
  Speaker 2: is eenvoudiger dan je denkt. We bekijken vier belangrijke bouwstenen
• 1:28
  Speaker 2: en zien hoe deze op elkaar aansluiten. Maar eerst, laten
• 1:31
  Speaker 2: we definiëren waar we het over hebben. Hier is de
• 1:33
  Speaker 2: simpelste definitie. Fabric Data Factory is de engine binnen Microsoft
• 1:36
  Speaker 2: Fabric die je data verplaatst en integreert. Zie het als
• 1:39
  Speaker 2: de vervanging voor Azure Data Factory en Synapse Pipelines. Alles
• 1:42
  Speaker 2: in één SaaS-platform. Dat is het eerste wat je moet begrijpen.
• 1:45
  Speaker 2: Het is geen aparte service die je moet beheren. Het
• 1:48
  Speaker 2: zit ingebouwd in Fabric en is verbonden met OneLake. Laten
• 1:51
  Speaker 2: we een vergelijking gebruiken. Als Fabric een kantoorgebouw is, dan
• 1:54
  Speaker 2: is Data Factory de postkamer en de transportbanden die documenten
• 1:56
  Speaker 2: tussen verdiepingen verplaatsen. Je denkt niet elke dag aan de postkamer,
• 1:59
  Speaker 2: maar zonder die kamer komt niets van punt A naar
• 2:01
  Speaker 2: punt B. Hetzelfde geldt hier. Data Factory regelt het verplaatsen
• 2:05
  Speaker 2: achter de schermen. Het grote verschil met de oude wereld,
• 2:07
  Speaker 2: geen extra opslagconfiguratie nodig. Je data komt direct in OneLake terecht.
• 2:11
  Speaker 2: In Azure Data Factory moest je een opslagaccount opzetten, containers
• 2:14
  Speaker 2: aanmaken en gekoppelde services configureren. In Fabric is dat allemaal
• 2:17
  Speaker 2: verleden tijd. One Lake is er al, dus je koppelt
• 2:19
  Speaker 2: je pipeline eraan en je bent klaar. Dat klinkt bekend, toch?
• 2:22
  Speaker 2: Dus hoe verschilt dit van de Azure Data Factory die
• 2:24
  Speaker 2: je al kent? Hoe het verschilt van Azure Data Factory?
• 2:27
  Speaker 2: Veel mensen denken dat Fabric Data Factory gewoon Azure Data
• 2:29
  Speaker 2: Factory met een nieuw label is, maar dat is niet zo.
• 2:31
  Speaker 2: Laten we een paar mythen uit de wereld helpen. Bij
• 2:33
  Speaker 2: de prijsstelling verandert er echt iets. ADF rekent per activiteitsrun,
• 2:37
  Speaker 2: dus elke kopieeractiviteit, stoort procedure en pipeline uitvoering verhoogt je rekening.
• 2:41
  Speaker 2: Fabric Data Factory gebruikt in plaats daarvan prijzen op basis
• 2:43
  Speaker 2: van capaciteit. Je koopt een Fabric capaciteit, F2, F4, F16,
• 2:48
  Speaker 2: wat dan ook, en al je workloads delen die rekenkracht.
• 2:50
  Speaker 2: Data Factory, Power BI, Lakehouse, het hele platform. Als je
• 2:54
  Speaker 2: al fabric capaciteit hebt, kost het draaien van pipelines heel
• 2:56
  Speaker 2: weinig extra. Zo niet, dan moet je de totale fabric
• 2:59
  Speaker 2: kosten afwegen tegen je huidige ADF-rekening. Verbindingen zijn ook eenvoudiger.
• 3:03
  Speaker 2: In ADF moest je voor elke bron en bestemming een
• 3:05
  Speaker 2: gekoppelde service maken, daar datasets bovenop plaatsen en dan de
• 3:08
  Speaker 2: integration runtime configureren. Bij Fabric worden verbindingen inline gedefinieerd en
• 3:12
  Speaker 2: is OneLake automatisch. Je kiest je bron, kiest je bestemming
• 3:15
  Speaker 2: en de verbinding wordt ter plekke opgezet. Veel minder klikken.
• 3:18
  Speaker 2: Er zijn ook nieuwe ingebouwde activiteiten. Je kunt direct vanuit
• 3:21
  Speaker 2: je pipeline e-mails of Teams berichten versturen zonder Logic Apps
• 3:24
  Speaker 2: of aangepaste webhoeks nodig te hebben. Het is gewoon een
• 3:26
  Speaker 2: drag-and-drop activiteit en dat alleen al bespaart veel tijd. En
• 3:28
  Speaker 2: de implementatie is nu ook beter. ADF had implementatie pipelines,
• 3:32
  Speaker 2: maar die waren onhandig. Fabric heeft ingebouwde implementatie pipelines met
• 3:35
  Speaker 2: promotie op workspace niveau, dus je kunt in een paar
• 3:37
  Speaker 2: klikken van dev naar test naar productie gaan. Geen handmatige
• 3:39
  Speaker 2: scripts nodig. Laten we nu eerlijk zijn over wat er ontbreekt.
• 3:42
  Speaker 2: SSIS ondersteuning en managed VNet zijn er nog niet. Als
• 3:44
  Speaker 2: je zwaar hebt geïnvesteerd in SQL Server Integration Services, zul
• 3:48
  Speaker 2: je moeten wachten. Voor de meeste mensen is dat prima.
• 3:50
  Speaker 2: Het overgrote deel van het data-integratiewerk heeft geen SSIS nodig. Dus,
• 3:54
  Speaker 2: hier is een eenvoudige vuistregel. Als je ADF-rekening minder dan
• 3:57
  Speaker 2: 1500 dollar per maand is en je gebruikt geen Fabric,
• 3:59
  Speaker 2: blijf dan bij ADF want dat is goedkoper voor kleine workloads.
• 4:02
  Speaker 2: Als je al in Fabric zit, is Data Factory inbegrepen.
• 4:04
  Speaker 2: Dus gebruik het. En als je ADF-kosten hoger zijn dan dat,
• 4:07
  Speaker 2: is het de moeite waard om de berekening voor een
• 4:09
  Speaker 2: fabric capaciteit te maken. Bouwsteen 1, Data Pipelines. Laten we
• 4:12
  Speaker 2: nu kijken naar de eerste bouwsteen, Data Pipelines. Pipelines zijn
• 4:16
  Speaker 2: de orchestrators. Zij bepalen wat wanneer en in welke volgorde draait,
• 4:19
  Speaker 2: en al het andere sluit daarop aan. Zie een pipeline
• 4:21
  Speaker 2: als een recept. Je hebt stappen, je kunt vertakken en
• 4:24
  Speaker 2: je kunt teruglopen. Eerst verwarm je de oven voor, dan
• 4:26
  Speaker 2: meng je de ingrediënten. En als het beslag te droog lijkt,
• 4:28
  Speaker 2: voeg je meer melk toe voordat je gaat bakken. Een
• 4:30
  Speaker 2: pipeline werkt op precies dezelfde manier. Kopieer eerst gegevens van
• 4:33
  Speaker 2: een bron, controleer vervolgens of het bestand bestaat en voorbij
• 4:35
  Speaker 2: bestaan een transformatie uit. Als dat niet zo is, stuur
• 4:38
  Speaker 2: dan een waarschuwing. Jij bepaalt de stroom. De kernactiviteiten die
• 4:41
  Speaker 2: je het meest zult gebruiken zijn copy data, foreach, EF condition,
• 4:44
  Speaker 2: get metadata en lookup. Copy data verplaatst gegevens van punt
• 4:46
  Speaker 2: A naar punt B foreach, doorloopt een lijst... Bijvoorbeeld 10
• 4:49
  Speaker 2: bestanden in een map. IF Condition controleert of iets waarof
• 4:51
  Speaker 2: onwaar is. Get Metadata stelt vragen over je gegevens. Hoe
• 4:55
  Speaker 2: groot is dit bestand? Wanneer is het voor het laatst gewijzigd?
• 4:57
  Speaker 2: Lookup leest het configuratiebestand en brengt de waarde naar je pipeline.
• 5:01
  Speaker 2: Dat is de starterskit. Het geheel is low-code. Je sleept
• 5:04
  Speaker 2: activiteiten naar een canvas, verbindt ze met pijlen, stelt de
• 5:06
  Speaker 2: eigenschappen in en je bent klaar. Voor de meeste taken
• 5:08
  Speaker 2: is geen code nodig. Het ziet eruit als een stroomdiagraam,
• 5:11
  Speaker 2: want dat is precies wat het is. Hier is een
• 5:12
  Speaker 2: echt voorbeeld. Stel je voor dat je elke ochtend verkoopgegevens
• 5:15
  Speaker 2: ophaalt uit een API. Je pipeline begint met een copy
• 5:17
  Speaker 2: data activiteit die het in een lakehouse plaatst. Vervolgens schone
• 5:20
  Speaker 2: een data flow gen toe, stap de gegevens op, verwijdert
• 5:22
  Speaker 2: nullen en corrigeert datanotaties. Daarna verrijkt de notebook het met klantsegmenten.
• 5:26
  Speaker 2: Ten slotte stuurt een teamsactiviteit een bericht naar je team.
• 5:29
  Speaker 2: Verkoopgegevens bijgewerkt. Dat is één pipeline die het werk doet
• 5:32
  Speaker 2: waarvoor voorheen meerdere tools nodig waren. Je kunt pipelines ook
• 5:35
  Speaker 2: herbruikbaar maken. Stel dat je dezelfde logica hebt voor tien
• 5:38
  Speaker 2: verschillende gegevensbronnen. In plaats van tien pipelines te bouwen, bouw
• 5:41
  Speaker 2: je er één en gebruik je parameters, bron URL, tabelnaam, doelmap,
• 5:44
  Speaker 2: allemaal als variabelen. Eén pipeline, tien verschillende taken. Dat is parametrisering.
• 5:49
  Speaker 2: En hier is iets nieuws. Je kunt Copilot vragen om
• 5:52
  Speaker 2: pipeline expressies te schrijven in begrijpelijke taal. Typ, voeg twee
• 5:55
  Speaker 2: dagen toe aan deze datum en het genereert de expressie
• 5:57
  Speaker 2: voor je. Nooit meer functiesyntaxes uit het hoofd leren of
• 6:00
  Speaker 2: googelen hoe je een tijdstempel formateert. Zeg gewoon wat je
• 6:02
  Speaker 2: nodig hebt. Bouwsteen 2, Dataflow Gen 2. Dus, wat gebeurt
• 6:06
  Speaker 2: er als je gegevens wilt opschonen maar geen code wilt schrijven?
• 6:09
  Speaker 2: Dat is precies het probleem dat Dataflow Gen 2 oplost.
• 6:12
  Speaker 2: Dataflogen 2 is de low-code transformatietool binnen Fabric Data Factory.
• 6:15
  Speaker 2: Als je eerder Power Query in Excel of Power BI
• 6:18
  Speaker 2: hebt gebruikt, zal dit heel vertrouwd aanvoelen. Het heeft dezelfde interface,
• 6:22
  Speaker 2: dezelfde 300 plus transformaties en dezelfde engine, alleen draaiend in
• 6:25
  Speaker 2: de cloud met een lakehouse als bestemming. Zie het zo,
• 6:28
  Speaker 2: als pipelines de lopende band zijn die dozen verplaatst. is
• 6:31
  Speaker 2: Dataflow Gen 2 de keuken waar je de ingrediënten snijdt,
• 6:33
  Speaker 2: kruidt en bereidt. Pipelines regelen de logistiek. Dataflow Gen 2
• 6:37
  Speaker 2: neemt het eigenlijke werk voor zijn rekening om data nuttig
• 6:39
  Speaker 2: te maken. Wanneer moet je het gebruiken? Als je data
• 6:41
  Speaker 2: moet opschonen, types moet wijzigen, tabellen moet samenvoegen of rijen
• 6:44
  Speaker 2: moet filteren, zonder Spark of SQL aan te raken. Als
• 6:47
  Speaker 2: je transformatie op een whiteboard past, past het waarschijnlijk ook
• 6:50
  Speaker 2: in Dataflogen 2. Hier is een kort voorbeeld. Je importeert
• 6:53
  Speaker 2: een CSV-bestand vol klantbestellingen. Er zijn dubbele rijen, sommige datums
• 6:57
  Speaker 2: hebben het verkeerde formaat en een paar kolommen bevatten alwaarden.
• 6:59
  Speaker 2: Je opent Dataflogen 2, klikt op een paar knoppen om
• 7:02
  Speaker 2: duplicaten te verwijderen, wijzigt het datumattiepe en vult ontbrekende waarden in.
• 7:05
  Speaker 2: Daarna voeg je het samen met een producttabel uit een
• 7:07
  Speaker 2: andere bron. Het geheel duurt 10 minuten. Geen code. De
• 7:10
  Speaker 2: output komt terecht in een lakehouse tabel, klaar voor rapportage.
• 7:12
  Speaker 2: Je kunt ook alles visueel zien. Er is een diagramweergave
• 7:15
  Speaker 2: die elke stap als een knooppunt toont. De bron gaat
• 7:17
  Speaker 2: naar een filter knooppunt. Filter voedt een samenvoeg knooppunt. Samenvoegen
• 7:20
  Speaker 2: voedt de output. Je kunt de hele stroom in één
• 7:22
  Speaker 2: oogopslag zien. En dat is erg handig bij het debuggen
• 7:25
  Speaker 2: of wanneer je de logica aan iemand anders moet uitleggen.
• 7:27
  Speaker 2: Planning is ook flexibel. Je kunt Dataflow Gen 2 zelfstandig uitvoeren.
• 7:31
  Speaker 2: Stel in dat het elke ochtend om 6 uur ververst.
• 7:33
  Speaker 2: Of je roept het aan vanuit een bovenliggende pipeline als
• 7:35
  Speaker 2: één stap in een grotere workflow. De meeste productieopstellingen doen
• 7:38
  Speaker 2: dat laatste. De pipeline regelt de orchestratie en Dataflow Gen
• 7:41
  Speaker 2: 2 regelt de transformatiestap daarbinnen. Maar even eerlijk, voor echt
• 7:44
  Speaker 2: zware transformaties, denk aan miljarden rijen, complexe vensterfuncties of aangepaste
• 7:48
  Speaker 2: machine learning logica... gebruik je wellicht nog notebooks met Spark.
• 7:51
  Speaker 2: Dataflow Gen 2 is niet gebouwd voor elk scenario, maar
• 7:54
  Speaker 2: voor het overgrote deel van wat de meeste teams nodig hebben,
• 7:56
  Speaker 2: zoals opschonen, vormgeven, samenvoegen en aggregeren, dekt het ongeveer 80%
• 8:00
  Speaker 2: van het werk. Dat is een hoop code die je
• 8:02
  Speaker 2: niet hoeft te schrijven. Bouwsteen 3, kopieertaken. Laten we het
• 8:05
  Speaker 2: nu hebben over het verplaatsen van data. Wat als je
• 8:07
  Speaker 2: continu data vanuit een database wilt laten binnenstromen? Dat is
• 8:10
  Speaker 2: waar kopieertaken van pas komen. Een kopieertaak is een vereenvoudigde
• 8:13
  Speaker 2: manier om data van een bron naar een leek te
• 8:15
  Speaker 2: kopiëren met ingebouwde wijzigingsvolging. Geen complexe pipeline configuratie, geen aangepaste script.
• 8:20
  Speaker 2: Je kiest een bron, een doel en geeft aan hoe
• 8:21
  Speaker 2: vaak het moet draaien. Dat is het echt. De belangrijkste
• 8:24
  Speaker 2: functie is Change Data Capture, of CDC. Kopieertaken volgen automatisch toevoegingen,
• 8:28
  Speaker 2: updates en verwijderingen bij de bron. Je hoeft geen handmatige
• 8:31
  Speaker 2: watermarking logica te bouwen, dat proces waarbij je een tijdstempel
• 8:34
  Speaker 2: opslaat en zoekt naar nieuwere records. Kopieertaken regelen dat op
• 8:36
  Speaker 2: de achtergrond. Het werkt gewoon, zonder extra inspanning. Er is meer.
• 8:40
  Speaker 2: Kopieertaken ondersteunen SCD type 2, Slowly Changing Dimensions type 2.
• 8:43
  Speaker 2: Dat betekent dat de volledige historie behouden blijft. Wanneer een
• 8:46
  Speaker 2: klant zijn adres wijzigt, blijft het oude adres in de
• 8:47
  Speaker 2: tabel staan met een einddatum. Het nieuwe adres krijgt een begindatum.
• 8:50
  Speaker 2: Je kunt precies zien hoe een record in de loop
• 8:52
  Speaker 2: der tijd is veranderd. Dat is enorm waardevol voor editing
• 8:54
  Speaker 2: en historische rapportages. Dus, wanneer gebruik je kopieertaken in plaats
• 8:57
  Speaker 2: van de standaard kopieeractiviteit? Dit is de regel. Kopieertaken zijn
• 9:00
  Speaker 2: voor instellen en vergeten, continu data ingestie. Je wilt dat
• 9:03
  Speaker 2: data dag na dag automatisch binnenstroomt met minimaal onderhoud. Kopieeractiviteiten
• 9:08
  Speaker 2: zijn voor eenmalige of geplande bulk loads waarbij je meer
• 9:10
  Speaker 2: controle nodig hebt over mappings en foutafhandeling. Zie het zo,
• 9:14
  Speaker 2: een kopieertaak is als een bibliothecaris die automatisch ziet wanneer
• 9:17
  Speaker 2: nieuwe boeken worden toegevoegd en ze in de kast zet.
• 9:19
  Speaker 2: Je hoeft niet telkens de catalogus te controleren, want de
• 9:21
  Speaker 2: bibliothecaris regelt het. Een kopieeractiviteit is meer alsof je zelf
• 9:25
  Speaker 2: de bibliotheek binnenloopt, de boeken kiest en precies bepaalt waar
• 9:27
  Speaker 2: ze komen te staan. Beide krijgen het werk gedaan, maar
• 9:30
  Speaker 2: kopieertaken besparen je de moeite bij routine klussen. De installatie
• 9:33
  Speaker 2: is eenvoudig. Je kiest de bron, bijvoorbeeld een SQL server database.
• 9:36
  Speaker 2: Je kiest de bestemming, een lakehouse tabel. Je koppelt de velden,
• 9:39
  Speaker 2: je geeft aan of je incrementele of volledige vernieuwing wilt,
• 9:42
  Speaker 2: en dat is alles. De taak draait volgens jouw planning
• 9:45
  Speaker 2: en houdt je lakehouse automatisch gesynchroniseerd. Bouwsteen voor mirroring. Wat
• 9:48
  Speaker 2: als je real-time replicatie nodig hebt? Dat is waar mirroring
• 9:51
  Speaker 2: om de hoek komt kijken. Hier is de simpelste definitie.
• 9:53
  Speaker 2: Mirroring is een manier om je operationele database continu te
• 9:56
  Speaker 2: repliceren naar OneLake zonder één regelcode te schrijven. Je stelt
• 9:59
  Speaker 2: het één keer in en het draait op de achtergrond.
• 10:01
  Speaker 2: De data blijft bijna real-time actueel. Geen pipelines om te bouwen,
• 10:04
  Speaker 2: geen dataflows om te onderhouden. Het werkt gewoon. Hoe werkt
• 10:07
  Speaker 2: het eigenlijk? Mirroring leest het transactielogboek van je bron-database. Elke wijziging,
• 10:12
  Speaker 2: elke insert, update en delete wordt opgepikt en verschijnt binnen
• 10:15
  Speaker 2: minuten in OneLake. Dit is geen batchverwerking. Het is continu replicatie.
• 10:19
  Speaker 2: Het moment dat er iets verandert in je bron-database, verschijnt
• 10:21
  Speaker 2: het in Fabric. Laten we het over bronnen hebben. Op
• 10:24
  Speaker 2: dit moment kun je Azure SQL Database, Azure Cosmos DB,
• 10:27
  Speaker 2: Snowflake en andere mirroren. Er komt meer aan, zoals Private
• 10:29
  Speaker 2: Network Mirroring voor databases achter firewalls, aangekondigd op BILD 2026.
• 10:34
  Speaker 2: Waarom zou je dit gebruiken? Omdat je een live kopie
• 10:36
  Speaker 2: van je database in One Lake krijgt zonder ETL pipelines
• 10:38
  Speaker 2: te bouwen. Je hebt geen kopieeractiviteiten nodig. Je hebt geen
• 10:40
  Speaker 2: change tracking scripts nodig. Je hebt geen incrementele laadlogica nodig.
• 10:43
  Speaker 2: Het systeem regelt dat allemaal voor je. Hier is een
• 10:45
  Speaker 2: vergelijking om het te onthouden. Zie Mirroring als een real-time
• 10:48
  Speaker 2: clone van je database binnen Fabric. Werk de bron bij
• 10:51
  Speaker 2: en de clone wordt direct bijgewerkt. Geen code nodig om
• 10:53
  Speaker 2: ze synchroon te houden. Het systeem doet het zware werk.
• 10:56
  Speaker 2: Er is ook een kostenvoordeel dat het vermelden waard is.
• 10:58
  Speaker 2: Mirroring biedt gratis rekenkracht en opslag tot een bepaalde limiet.
• 11:01
  Speaker 2: Je betaalt alleen voor de fabric capaciteit die je al hebt.
• 11:04
  Speaker 2: Voor veel organisaties is dit goedkoper dan eigen replicatiepijplijnen bouwen
• 11:07
  Speaker 2: en onderhouden. En hier is een praktische use case. Je
• 11:10
  Speaker 2: kunt Power BI rapporten bouwen op gespiegelde data zonder de
• 11:13
  Speaker 2: bron database te belasten. Je operationele systeem blijft op volle
• 11:16
  Speaker 2: snelheid draaien. Je analisten krijgen verse data. Iedereen wint. Hoe
• 11:19
  Speaker 2: deze onderdelen samenwerken. Dus, je hebt pijplijnen, data flows, kopieertaken
• 11:24
  Speaker 2: en mirroring. Hoe passen ze bij elkaar? De meeste implementaties
• 11:27
  Speaker 2: in de praktijk volgen een eenvoudig patroon. Ingestie, opschonen, verrijken, serveren.
• 11:31
  Speaker 2: Dit heet de medaillonarchitectuur. Brons, zilver, goud. Zie het als
• 11:35
  Speaker 2: drie lagen. Brons bevat ruwe data precies zoals deze binnenkwam.
• 11:39
  Speaker 2: Zilver is opgeschoond en ontdaan van dubbele gegevens. Goud is
• 11:41
  Speaker 2: verrijkt en klaar voor rapportage. Dit is hoe dat er
• 11:43
  Speaker 2: in de praktijk uitziet. Een mirroring of kopieertaak plaatst ruwe
• 11:46
  Speaker 2: data in een bronzen lakehouse tabel. Dat is de stap
• 11:48
  Speaker 2: voor ingestzie. Vervolgens schoont een dataflow gen 2 het op
• 11:51
  Speaker 2: en transformeert het naar zilver. Verwijderd nalwaarden, standaardiseert formaten en
• 11:54
  Speaker 2: koppelt gerelateerde tabellen. Ten slotte orchestreert een pijplijn het hele proces.
• 11:58
  Speaker 2: Deze activeert de kopieertaak, wacht tot deze klaar is, draait
• 12:01
  Speaker 2: de dataflow en verstuurt een teamsmelding bij voltooiing. Dat is
• 12:03
  Speaker 2: de volledige flow. De echte magie zit niet in één
• 12:06
  Speaker 2: enkele tool. Het is de manier waarop ze communiceren via
• 12:08
  Speaker 2: één leek. Je gespiegelde data leeft in één leek. Je
• 12:11
  Speaker 2: data flow output belandt in één leek. Je pijplijn leest
• 12:14
  Speaker 2: vanuit één leek. Alles deelt dezelfde opslaglaag. Je kunt zelfs
• 12:17
  Speaker 2: data delen tussen werkruimtes met snelkoppelingen. Kopiëren is niet nodig.
• 12:20
  Speaker 2: Er is een afhankelijkheidsketen die de moeite waard is om
• 12:22
  Speaker 2: te begrijpen. Pijplijnen kunnen data flow gen 2 aanroepen als
• 12:25
  Speaker 2: een stap in de pijplijn. Ze kunnen ook notebooks, dbt-taken
• 12:28
  Speaker 2: en zelfs Azure Data Factory pijplijnen bevatten als je geleidelijk migreert.
• 12:31
  Speaker 2: Eén pijplijn kan ze allemaal orkestreren. Dit is het punt.
• 12:33
  Speaker 2: Je hoeft geen vijf verschillende services meer aan elkaar te knopen.
• 12:36
  Speaker 2: Eén platform, één opslaglaag, één set rechten. Dat is het
• 12:39
  Speaker 2: nut van Fabric. En het werkt in de praktijk. Een
• 12:41
  Speaker 2: distributeur uit de VAE gebruikte precies dit patroon. Kopieertaken voor
• 12:45
  Speaker 2: SAP Data, Data Flow Gent 2 voor opschonen, pijplijnen voor orkestratie.
• 12:49
  Speaker 2: Ze verkortten hun maandijnde afsluiting van 9 naar 2 dagen.
• 12:51
  Speaker 2: Dat is geen demo, dat is productie, praktisch advies en kosten.
• 12:55
  Speaker 2: Dus wie moet Fabric Data Factory eigenlijk gebruiken? Als je
• 12:57
  Speaker 2: data binnen Fabric moet verplaatsen of transformeren, is dit je tool.
• 13:00
  Speaker 2: Dat geldt voor data engineers die pipelines bouwen, analytics engineers
• 13:03
  Speaker 2: die data modelleren... en zelfs business analisten die Data Flow
• 13:06
  Speaker 2: Gen 2 gebruiken voor self-service transformaties. Wie kan het overslaan?
• 13:09
  Speaker 2: Als je alleen eenmalig bestanden hoeft te uploaden... Begin dan
• 13:12
  Speaker 2: direct met Lakehouse. Sliep een CSV-bestand erin? Klaar. Als je
• 13:15
  Speaker 2: zwaar investeert in SSIS, wacht dan op die ondersteuning. En
• 13:18
  Speaker 2: als je ADF-rekening onder de 1500 per maand is en
• 13:20
  Speaker 2: je gebruikt Fabric niet, dan is blijven waar je bent
• 13:22
  Speaker 2: voorlopig logisch. Laten we praten over kosten.