Latest / M365.FM – Microsoft 365, Copilot & AI podcast in het Nederlands / Microsoft Fabric-notebooks voor AI-training: modellen direct op Lakehouse-data trainen, zonder CSV-chaos (AI-nasynchronisatie)

Transcript

Microsoft Fabric-notebooks voor AI-training: modellen direct op Lakehouse-data trainen, zonder CSV-chaos (AI-nasynchronisatie) · M365.FM – Microsoft 365, Copilot & AI podcast in het Nederlands

• 0:00
  Speaker 2: Klaar voor 10 dagen Microsoft 365, Copilot, AI, Azure en
• 0:05
  Speaker 2: de mensen die de toekomst van werk vormgeven? Deze januari
• 0:09
  Speaker 2: is M365 komt terug en we pakken het groter aan.
• 0:12
  Speaker 2: Doe mee voor livesessies, praktijkdemo's en praktische kennis van MVP's
• 0:16
  Speaker 2: en experts van over de hele wereld. Geen algemene dia's,
• 0:20
  Speaker 2: geen eindeloze buzzwords. We pakken de echte uitdagingen aan Copilot Studio,
• 0:25
  Speaker 2: AI Agents, Fabric, Beveiliging, Governance en Automatisering. Of je nu
• 0:30
  Speaker 2: een IT-professional, ontwikkelaar of zakelijk leider bent, er zijn sessies
• 0:34
  Speaker 2: speciaal voor jou. Met tien volle dagen kun je meerdere
• 0:37
  Speaker 2: technologieën verkennen en contact leggen met een wereldwijde community. Kijk
• 0:41
  Speaker 2: live mee en neem praktische inzichten mee terug naar jouw organisatie.
• 0:44
  Speaker 2: 20 tot 27 januari, tien dagen, één Microsoft Community. Registratie
• 0:50
  Speaker 2: is nu geopend. Ga naar m365com.net en verzeker je vandaag
• 0:55
  Speaker 2: nog van een plek. Dat is m365com.net. Meld je nu
• 1:00
  Speaker 2: aan op m365con.net, dan zien we je live in januari.
• 1:05
  Speaker 2: Ooit geprobeerd een AI-model te trainen op je laptop, om
• 1:08
  Speaker 2: vervolgens urenlang te wachten of een volledige crash te zien.
• 1:11
  Speaker 2: Je bent niet alleen. De meeste zakelijke datasets zijn onze
• 1:14
  Speaker 2: lokale hardware ontgroeid. Maar wat als je hele dataset van
• 1:17
  Speaker 2: meerdere terabytes direct toegankelijk was in je trainingsnotebook? Geen extracties,
• 1:21
  Speaker 2: geen CSV-chaos. Vandaag duiken we in de ingebouwde notebooks van
• 1:25
  Speaker 2: Microsoft Fabric, waar je modeltraining direct naast je Lakehouse Data plaatsvindt.
• 1:30
  Speaker 2: We leggen precies uit hoe deze opzet dagen aan verwerkingstijd
• 1:34
  Speaker 2: kan besparen, terwijl je zonder compromissen in Python of R werkt.
• 1:39
  Speaker 2: Wanneer Big Data je laptop ontgroeit, stel je voor dat
• 1:42
  Speaker 2: je laptopventilator zo hard loeit dat je meeting wordt overstemd
• 1:45
  Speaker 2: terwijl je in een spreadsheet werkt. Vervang die spreadsheet nu
• 1:48
  Speaker 2: door 12 terabyte aan ruwe klanttransacties, verspreid over jaren aan
• 1:52
  Speaker 2: activiteit met tientallen velden per record. Nog voordat je op
• 1:55
  Speaker 2: uitvoeren klikt, weet je al dat dit problemen gaat geven.
• 1:58
  Speaker 2: Dat is precies waar veel marketing teams zich bevinden. Ze
• 2:01
  Speaker 2: hebben een transactionele database die gemakkelijk de basis zou kunnen
• 2:04
  Speaker 2: zijn voor een geavanceerd AI-project. Verloop voorspellen, doelgroepen segmenteren, campagnes
• 2:10
  Speaker 2: personaliseren in bijna real-time, maar hun tools zitten nog vast
• 2:14
  Speaker 2: op hun desktop. Ze openen bestanden in Excel of een
• 2:19
  Speaker 2: lokale Jupyter notebook, versnipperen en filteren in kleine stukjes om
• 2:23
  Speaker 2: te voorkomen dat de machine bevriest en hopen dat alles
• 2:26
  Speaker 2: heel blijft totdat ze bruikbare resultaten hebben. Wanneer teams dit
• 2:30
  Speaker 2: lokaal proberen, worden de problemen snel zichtbaar. De verwerking vertraagt
• 2:33
  Speaker 2: tot een slakkegang. UI-elementen lopen seconden achter op klikken en
• 2:36
  Speaker 2: exportscripts die voorheen minuten duurden, draaien nu uren. Erger nog,
• 2:39
  Speaker 2: grotere workloads vertragen niet alleen, ze stoppen ermee. Geheugenfouten, overbelaste
• 2:44
  Speaker 2: harde schijven of kern- en restarts betekenen dat trainingen niet
• 2:46
  Speaker 2: alleen langer duren, ze worden vaak nooit voltooid. En als
• 2:49
  Speaker 2: we het hebben over het trainen van een AI-model, is
• 2:51
  Speaker 2: dat verspeelde rekenkracht, verspeelde tijd en een gemiste kans. Een
• 2:56
  Speaker 2: poging tot churn voorspelling die ik zag, werd gepland als
• 2:58
  Speaker 2: een nachtelijke run in een lokale Python-omgeving. Twintig uur later
• 3:02
  Speaker 2: mislukte het proces eindelijk omdat het laatste deel van de
• 3:05
  Speaker 2: dataset het RAM-geheugen overbelaste. Het team was een hele dag
• 3:09
  Speaker 2: kwijt zonder ook maar één trainingsmetriek terug te krijgen. Als
• 3:12
  Speaker 2: dat extreem klinkt, het komt steeds vaker voor. Enterprise marketing
• 3:16
  Speaker 2: datasets groeien elk jaar, gedreven door betere tracking, omnichannel ervaringen
• 3:22
  Speaker 2: en de opkomst van event-based logging. Zelfs bij een standaard
• 3:25
  Speaker 2: opzet kunnen campagne-lags, web-analyses en CRM-data makkelijk uitgroeien tot honderden gigabytes.
• 3:31
  Speaker 2: Grote accounts met meerdere productlijnen zitten vaak in de multi-terabyte range.
• 3:35
  Speaker 2: Het probleem is niet alleen de opslagcapaciteit. Grote modeltrainingen belasten
• 3:39
  Speaker 2: elke beperking van een lokale machine. CPU's zitten langdurig op
• 3:44
  Speaker 2: 100% en zelfs high-end GPU's staan stil omdat data te
• 3:48
  Speaker 2: traag binnenkomt. Disk.io wordt een constant knelpunt, zeker als de
• 3:53
  Speaker 2: dataset op een externe schijf of netwerklocatie staat. En dan
• 3:57
  Speaker 2: is er nog de softwarelaag. Zodra bestanden groot genoeg worden,
• 4:01
  Speaker 2: bereikt zelfs een veelzijdige tool als een Jupyter notebook zijn limieten.
• 4:04
  Speaker 2: Je kunt niet zomaar een CSV-bestand in het geheugen laden
• 4:07
  Speaker 2: als het bestand groter is dan je SSD. Daarom proberen
• 4:10
  Speaker 2: veel teams bestanden te splitsen, data te samplen of lichtgewichtvervangers
• 4:14
  Speaker 2: te bouwen voor echte productiedata. Het is een compromis dat
• 4:17
  Speaker 2: je laptop redt, maar ten koste gaat van inzichten. Sampling
• 4:20
  Speaker 2: kan subtiele patronen missen die de modelprestaties juist hadden kunnen verbeteren.
• 4:25
  Speaker 2: Het splitsen van bestanden zorgt voor allerlei inconsistenties en maakt
• 4:28
  Speaker 2: HUR training onnodig pijnlijk. Er is een slimmere manier om
• 4:32
  Speaker 2: die hele download- en importcyclus over te slaan. Microsoft Fabric
• 4:35
  Speaker 2: verplaatst het zware werk volledig van je lokale omgeving naar
• 4:38
  Speaker 2: de cloud. Training verhuist naar de cloud, waar rekenkracht direct
• 4:42
  Speaker 2: naast de opgeslagen data in het lakehouse staat. Je hoeft
• 4:45
  Speaker 2: geen terabytes heen en weer te sturen, je brengt je
• 4:48
  Speaker 2: code naar waar de data al staat. In plaats van
• 4:51
  Speaker 2: je zorgen te maken over welk deel van je klantgeschiedenis
• 4:54
  Speaker 2: in het ramp past, focus je op de structuur en
• 4:56
  Speaker 2: logica van je training. En dit is het onderdeel dat
• 4:59
  Speaker 2: de meeste teams over het hoofd zien. Het echte voordeel
• 5:02
  Speaker 2: is niet alleen de extra rekenkracht van de cloud. Het
• 5:05
  Speaker 2: is het feit dat je de data helemaal niet meer
• 5:07
  Speaker 2: hoeft te verplaatsen. Directe lakehouse toegang, geen CSV-chaos meer. Wat
• 5:12
  Speaker 2: als je notebook direct terabytes aan data kon inlezen zonder
• 5:16
  Speaker 2: ooit een downloadbalk te zien? Niet exporteren naar CSV, niet
• 5:20
  Speaker 2: langer wachten op een laadicoontje dat over het scherm kruipt.
• 5:23
  Speaker 2: Typ de query, voer deze uit en begin direct met
• 5:25
  Speaker 2: de resultaten te werken. Dat is het verschil wanneer de
• 5:28
  Speaker 2: datalaag geen externe stap is, maar ingebouwd in de omgeving
• 5:32
  Speaker 2: waarin je al codeert. In Fabric is de Lakehouse niet
• 5:35
  Speaker 2: zomaar een aparte opslagbak waarmee je af en toe verbinding maakt.
• 5:40
  Speaker 2: Het is de eigenlijke datalaag voor notebooks. Dat betekent dat
• 5:43
  Speaker 2: je code draait in dezelfde omgeving waar de data zich
• 5:46
  Speaker 2: fysiek bevindt. Je verplaatst geen miljoenen rijen via het netwerk
• 5:50
  Speaker 2: naar je sessie. Je stuurt instructies naar de data op
• 5:52
  Speaker 2: de locatie waar deze staat. De input pipeline voor modellen
• 5:56
  Speaker 2: is geen jong liract van exports en imports. Het is
• 5:58
  Speaker 2: een directe lijn van opslag naar Spark, naar welke Python
• 6:01
  Speaker 2: of R-logica je ook schrijft. Als je in een traditionele
• 6:03
  Speaker 2: workflow hebt gewerkt, ken je de gebruikelijke pijnpunten al. Iemand
• 6:07
  Speaker 2: maakt een extract uit de data warehouse, schrijft dit naar
• 6:09
  Speaker 2: een CSV en geeft dit aan het data science team.
• 6:12
  Speaker 2: Nu is het schema bevroren in de tijd. De volgende
• 6:15
  Speaker 2: week verandert de brondata en is het extract al verouderd.
• 6:18
  Speaker 2: In sommige gevallen krijg je zelfs twee verschillende teams die
• 6:20
  Speaker 2: elk hun eigen, licht afwijkende exports maken. En nu heb
• 6:23
  Speaker 2: je dubbele opslag met tegenstrijdige definities. In het beste geval
• 6:27
  Speaker 2: is dat gewoon inefficiënt. In het slechtste geval is dit
• 6:29
  Speaker 2: de reden dat twee modellen getraind op dezelfde data tegenstrijdige
• 6:32
  Speaker 2: voorspellingen geven. Een team waar ik mee werkte had een
• 6:35
  Speaker 2: gefilterde set klantactiviteitsgegevens nodig voor een nieuw churn model. Ze
• 6:39
  Speaker 2: haalden alles uit het warehouse naar een lokale SQL database,
• 6:42
  Speaker 2: filterden het en exporteerden het resultaat naar een CSV voor
• 6:45
  Speaker 2: de trainingsomgeving. Dat alleen al kostte bijna een volledige dag
• 6:48
  Speaker 2: op hun netwerk. Toen de volgende week nieuwe activiteitsrecords werden geladen...
• 6:52
  Speaker 2: moesten ze het hele proces vanaf nul opnieuw doen. Tegen
• 6:54
  Speaker 2: de tijd dat ze konden beginnen met trainen, hadden ze
• 6:56
  Speaker 2: meer tijd besteed aan bestanden beheren dan aan coderen. Het
• 6:59
  Speaker 2: prestatieverlies gaat niet alleen over de tijd voor bestandsoverdrachten. Onderzoek
• 7:03
  Speaker 2: bij meerdere ondernemingen toont consistente winst wanneer transformaties worden uitgevoerd
• 7:08
  Speaker 2: waar de data is opgeslagen. Wanneer je joins, filters en
• 7:11
  Speaker 2: aggregaties ter plekke kunt uitvoeren in plaats van achteraf, bespaar
• 7:14
  Speaker 2: je overhead, netwerkhops en overbodige leesacties. Fabric Notebooks maken gebruik
• 7:19
  Speaker 2: van Spark om dit mogelijk te maken. Dus in plaats
• 7:22
  Speaker 2: van 400 miljoen rijen naar je notebook sessie te halen,
• 7:25
  Speaker 2: voert Spark die aggregatie uit binnen de lakehouse omgeving en
• 7:28
  Speaker 2: geeft alleen de resultaten terug die je model nodig heeft.
• 7:32
  Speaker 2: Als je in Python of R werkt, begin je ook
• 7:34
  Speaker 2: niet vanaf een lege shell. Fabric wordt geleverd met een
• 7:38
  Speaker 2: reeks geïntegreerde bibliotheken voor grootschalig werk, PySpark, Pandas on Spark,
• 7:43
  Speaker 2: Sparklear en meer. Gedistribueerde verwerking is dus een optie vanaf
• 7:47
  Speaker 2: het moment dat je een nieuw notebook opent. Dat is
• 7:50
  Speaker 2: van belang wanneer je fact- en dimensietabellen van honderden gigabytes
• 7:53
  Speaker 2: koppelt of wanneer je voortschrijdende vensters over meerdere jaren aan
• 7:57
  Speaker 2: klantgeschiedenis moet berekenen. Zodra de query is voltooid, is de schone,
• 8:02
  Speaker 2: geaggregeerde dataset direct klaar voor je feature engineering proces. Er
• 8:06
  Speaker 2: is geen tussenfase nodig van opslaan op schijf, schema's controleren
• 8:09
  Speaker 2: en opnieuw importeren in een lokale trainingnootboek. Je hebt een
• 8:12
  Speaker 2: volledige voorbereidingsfase overgeslagen. Teams waren voorheen dagen kwijt aan het
• 8:16
  Speaker 2: uitlijnen van kolommen en het opnieuw draaien van filters wanneer
• 8:18
  Speaker 2: brongegevens wijzigden. Met deze opzet kunnen ze binnen hetzelfde uur
• 8:21
  Speaker 2: dat de brondata werd bijgewerkt al feature combinaties voor het
• 8:25
  Speaker 2: model verkennen. En dat is waar het interessant wordt, want
• 8:28
  Speaker 2: zodra je schone, enorme datasets direct in je notebook sessie
• 8:31
  Speaker 2: hebt stromen, verandert de manier waarop je naar het bouwen
• 8:34
  Speaker 2: van features kijkt. Feature engineering en model selectie op schaal.
• 8:39
  Speaker 2: Je dataset is misschien groot genoeg om bijna alles te voorspellen,
• 8:42
  Speaker 2: maar dat betekent niet dat elke kolom daarin in je
• 8:44
  Speaker 2: model thuis hoort. Het verschil tussen een model dat zinvolle
• 8:48
  Speaker 2: voorspellingen doet en een model dat ruis produceert, hangt vaak
• 8:51
  Speaker 2: af van hoe je je features selecteert en vormgeeft. Schaal
• 8:54
  Speaker 2: biedt mogelijkheden, maar vergroot ook fouten. Bij enorme datasets is
• 8:58
  Speaker 2: het simpelweg toevoegen van alle ruwe velden aan je algoritme
• 9:02
  Speaker 2: niet alleen rommelig, het kan de prestaties actief verslechteren. Meer
• 9:06
  Speaker 2: kolommen betekenen meer parameters om te schatten en meer kansen
• 9:09
  Speaker 2: voor je model om zich aan te passen aan eigenaardigheden
• 9:12
  Speaker 2: in de trainingsdata die niet generaliseren. Overfitting wordt makkelijker, niet moeilijker,
• 9:17
  Speaker 2: wanneer de feature set opgeblazen is. Daarbovenop betekent elke extra
• 9:21
  Speaker 2: variabele meer rekenkracht. Zelfs in een goed uitgeruste cloud-omgeving zullen
• 9:25
  Speaker 2: 500 ruwe features de training vertragen, het geheugengebruik verhogen en
• 9:29
  Speaker 2: elke volgende stap bemoeilijker vergeleken met een slanke set van
• 9:33
  Speaker 2: 50 goed ontworpen features. De verborgen kosten zijn niet altijd
• 9:35
  Speaker 2: direct zichtbaar aan de klok. DRUN met 500 features kan
• 9:39
  Speaker 2: zonder fouten voltooien, maar het kan resulteren in een model
• 9:42
  Speaker 2: dat marginaal nauwkeuriger is op de trainingsdata en merkbaar slechter
• 9:45
  Speaker 2: presteert op nieuwe data. Wanneer je die features verkleint en verfijnt,
• 9:50
  Speaker 2: gerelateerde variabelen samenvoegt, categorieën efficiënter codeert of aggregaten bouwt die
• 9:56
  Speaker 2: patronen in plaats van ruwe waarden vastleggen, verkort je de rekentijd.
• 9:59
  Speaker 2: terwijl je de voorspellende waarden voor de toekomst verbetert. Bepaalde
• 10:04
  Speaker 2: datastructuren maken dit lastiger. Features met een hoge kardinaliteit, zoals
• 10:09
  Speaker 2: unieke product SKU's of klant-ID's, kunnen bij ondoordachte afhandelingen exploderen
• 10:14
  Speaker 2: tot duizenden gecodeerde kolommen. Sparse data, waarbij de meeste velden
• 10:18
  Speaker 2: voor de meeste records leeg zijn, kunnen nuttige signalen verbergen
• 10:21
  Speaker 2: maar wel middelen verspillen aan het opslaan en verwerken van
• 10:24
  Speaker 2: grotendeels ontbrekende waarden. Bij zaken als het voorspellen van klantverloop
• 10:28
  Speaker 2: heb je wellicht ook te maken met tijdelijke patronen, aankoopcyclie,
• 10:32
  Speaker 2: seizoensgebonden activiteit en onboardingfase die niet zichtbaar zijn in gewone
• 10:36
  Speaker 2: statische velden. Feature engineering op deze schaal betekent transformaties ontwerpen
• 10:41
  Speaker 2: die patronen verdichten en blootleggen zonder de dataset met ruis
• 10:44
  Speaker 2: te overspoelen. Dat is waar automatisering en tools voor gedistribueerde
• 10:48
  Speaker 2: verwerking hun vruchten beginnen af te werpen. Bibliotheken zoals feature
• 10:51
  Speaker 2: tools kunnen het genereren van aggregaten en voortschrijdende kenmerken in
• 10:54
  Speaker 2: grote relationele datasets automatiseren. In Fabric kunnen die transformaties op
• 10:58
  Speaker 2: Spark draaien, zodat je de creatie van honderden kandidaat kenmerken
• 11:01
  Speaker 2: kunt opschalen zonder alles in het geheugen van één machine
• 11:04
  Speaker 2: te laden. Op tijd gebaseerde groeperingen, klantniveau aggregaten, ratio's tussen
• 11:09
  Speaker 2: gerelateerde statistieken, dit alles kan iteratief worden gebouwd en getest
• 11:13
  Speaker 2: zonder je workflow te onderbreken. Zodra je je feature set
• 11:16
  Speaker 2: hebt samengesteld, wordt model selectie een eigen evenwichtsoefening. Verschillende algoritme
• 11:21
  Speaker 2: gaan op verschillende manieren om met grootschalige data. Radiant boosting
• 11:24
  Speaker 2: frameworks zoals XGBoost of LightGBM kunnen grote tabelaire datasets efficiënt verwerken,
• 11:29
  Speaker 2: maar ze betalen nog steeds de prijs per feature in
• 11:31
  Speaker 2: zowel geheugen als iteratietijd. Logistische regressie schaalt goed en traint snel,
• 11:36
  Speaker 2: maar zou complexe niet-lineaire verbanden niet vangen, tenzij je die
• 11:40
  Speaker 2: zelf in de features inbouwt. Deep learning modellen kunnen in
• 11:43
  Speaker 2: theorie rijkere patronen ontdekken, maar ze vereisen ook meer afstelling
• 11:47
  Speaker 2: en meer rekenkracht. In de Fabric omgeving kun je dat provisioneren,
• 11:50
  Speaker 2: maar je zult moeten afwegen of de winst de trainingskosten rechtvaardigt.
• 11:54
  Speaker 2: Het goede nieuws is dat je met Fabric notebooks die
• 11:56
  Speaker 2: direct gekoppeld zijn aan je lakehouse, deze strategieën kunt testen
• 11:59
  Speaker 2: zonder de traditionele knelpunten. Je kunt meerdere trainingsruns opstarten met
• 12:03
  Speaker 2: verschillende featuresets en algoritme met dezelfde onderliggende data, zonder deze
• 12:07
  Speaker 2: voor elke poging opnieuw te hoeven laden of vervormen. Dat
• 12:10
  Speaker 2: vermogen om snel te itereren betekent dat je niet vastzit
• 12:13
  Speaker 2: aan een gok over welke aanpak het beste werkt. Je
• 12:16
  Speaker 2: kunt meten en beslissen. Goed ontworpen features die passen bij
• 12:19
  Speaker 2: de juiste modelarchitectuur kunnen de uitvoeringstijden aanzienlijk verkorten, het geheugengebruik
• 12:23
  Speaker 2: verlagen en toch de nauwkeurigheid op ongeziene data verhogen. Je
• 12:27
  Speaker 2: krijgt snellere experimenteercycli en betrouwbaardere resultaten en je besteedt je
• 12:31
  Speaker 2: rekenbudget aan training die er echt toe doet in plaats
• 12:34
  Speaker 2: van aan het verwerken van overtollige ballast. De volgende stap
• 12:37
  Speaker 2: die deze grootschalige runs productief houdt, is het in real-time
• 12:41
  Speaker 2: monitoren en evalueren ervan, zodat je precies weet wat er
• 12:44
  Speaker 2: gebeurt terwijl het model in de cloud traint. Trainen, monitoren
• 12:48
  Speaker 2: en evalueren op cloud-schaal. Trainen op gigabytes aan data klinkt
• 12:52
  Speaker 2: als een droom, totdat je daar zit af te vragen
• 12:54
  Speaker 2: of de taak nog draait of dat deze een uur
• 12:56
  Speaker 2: geleden stilletjes is gestopt. Wanneer alles in de cloud gebeurt,
• 12:59
  Speaker 2: verlies je de directe feedback die je krijgt door Lux
• 13:01
  Speaker 2: voorbij te zien vliegen in een lokale terminal. Dat is
• 13:04
  Speaker 2: prima als de taak binnen enkele minuten klaar is. Het
• 13:06
  Speaker 2: is een probleem wanneer de klok uren wegdikt en je
• 13:09
  Speaker 2: geen idee hebt of je vooruitgang boekt. Training uitvoeren in
• 13:12
  Speaker 2: een externe omgeving verandert hoe je naar zichtbaarheid kijkt. In
• 13:16
  Speaker 2: een lokale sessie zie je problemen onmiddellijk, ontbrekende waarden in
• 13:19
  Speaker 2: een veld, een datatype fout of een import die blijft hangen.
• 13:23
  Speaker 2: In een cloudcluster kan diezelfde fout begraven zitten in een
• 13:27
  Speaker 2: logbestand dat je pas veel later bekijkt. En omdat de
• 13:30
  Speaker 2: resources worden klaargezet en opgebouwd terwijl het proces draait, kost
• 13:35
  Speaker 2: elke minuut van een mislukte run geld. De kosten van
• 13:38
  Speaker 2: een probleem dat te laat wordt ontdekt, lopen snel op.
• 13:40
  Speaker 2: Ik heb een churn voorspellingsklus gezien die op vrijdagavond werd
• 13:43
  Speaker 2: gestart met een schatting van 8 uur. Op maandagochtend ontdekte
• 13:47
  Speaker 2: het team dat het al voor het eerste tijdperk was mislukt,
• 13:50
  Speaker 2: omdat één kolom die nummeriek had moeten zijn, als tekst
• 13:52
  Speaker 2: was ingeladen. De werkelijke draaitijd, 10 minuten verspeeld aan het begin,
• 13:56
  Speaker 2: 8 gefactureerde uren op de teller. Dat is het soort
• 13:59
  Speaker 2: fout dat het vertrouwen in het proces ondermijnt en iteratiecycli
• 14:02
  Speaker 2: tot een slakkengang vertraagt. Fabric pakt dit aan met real-time
• 14:06
  Speaker 2: job monitoring die je naast je notebook kunt openen. Je
• 14:10
  Speaker 2: krijgt live statistieken over geheugengebruik, CPU-belasting en de voortgang van
• 14:15
  Speaker 2: de trainingscycli. Lags stromen binnen terwijl de job draait, zodat
• 14:20
  Speaker 2: je waarschuwingen of fouten kunt spotten voordat ze uitgroeien tot
• 14:23
  Speaker 2: echte crashes. Als er iets niet klopt, kun je de
• 14:26
  Speaker 2: run direct stoppen in plaats van er later op de
• 14:28
  Speaker 2: harde manier achter te komen. Het gaat echter niet alleen
• 14:30
  Speaker 2: om toekijken. Je kunt tijdens de training checkpoints instellen, zodat
• 14:33
  Speaker 2: de status van het model periodiek wordt opgeslagen. Als de
• 14:36
  Speaker 2: job stopt of het nu door een fout, resourcelimiet of
• 14:39
  Speaker 2: bewuste onderbreking komt, kun je herstarten vanaf het laatste checkpoint
• 14:42
  Speaker 2: in plaats van vanaf nul te beginnen. Versiebeheer speelt hier
• 14:45
  Speaker 2: ook een rol. Door getrainde modelversies op te slaan met
• 14:48
  Speaker 2: hun parameters en bijbehorende datasegmenten, kun je een eerdere configuratie
• 14:53
  Speaker 2: opnieuw bekijken zonder de hele omgeving opnieuw te hoeven maken.
• 14:57
  Speaker 2: Tussentijdse opslag is niet alleen een handige backup, Het is
• 15:00
  Speaker 2: wat grootschalige experimenten haalbaar maakt. Je kunt een vertakking maken
• 15:03
  Speaker 2: vanaf een veelbelovend checkpoint en verschillende hyperparameters proberen zonder de
• 15:07
  Speaker 2: tijd te verliezen aan het herladen en hertrainen van het basismodel.
• 15:10
  Speaker 2: Bij datasets van meerdere gigabytes kan dat het verschil betekenen
• 15:14
  Speaker 2: tussen drie experimenten per dag of slechts één. Zodra het
• 15:16
  Speaker 2: model klaar is, brengt evaluatie op deze schaal zijn eigen
• 15:20
  Speaker 2: uitdagingen met zich mee. Je kunt niet altijd in één
• 15:22
  Speaker 2: keer tegen de volledige testset scoren zonder dat alles extreem
• 15:25
  Speaker 2: traag wordt. Gebalanceerde sampling helpt hierbij, waarbij de verhoudingen van
• 15:29
  Speaker 2: klassen behouden blijven terwijl de dataset wordt verkleind tot een
• 15:31
  Speaker 2: sneller te evalueren formaat. Voor een hogere nauwkeurigheid kun je
• 15:34
  Speaker 2: met gedistribueerde evaluatie de scoortaak splitsen over het cluster, waarbij
• 15:38
  Speaker 2: de resultaten automatisch worden samengevoegd. Fabric ondersteunt Python-bibliotheken zoals ML,
• 15:43
  Speaker 2: LIB en gedistribueerde SCI-Kit Learn workflows om dat mogelijk te maken.
• 15:47
  Speaker 2: In plaats van te wachten tot één machine statistieken berekent
• 15:50
  Speaker 2: voor honderden miljoenen records, kun je de taak spreiden en
• 15:52
  Speaker 2: de geconsolideerde accuracy, precision, recall of F1-scores in een fractie
• 15:57
  Speaker 2: van de tijd ophalen. De data verlaat het lakehouse nooit,
• 16:00
  Speaker 2: dus je hebt geen gedoe met export van testsets of
• 16:02
  Speaker 2: handmatige samenvoegingen.