Latest / M365.FM – Microsoft 365, Copilot & AI podcast in het Nederlands / Azure Open Datasets uitgelegd: gratis, opgeschoonde open data voor machine learning, Power BI en Python (AI-nasynchronisatie)

Transcript

Azure Open Datasets uitgelegd: gratis, opgeschoonde open data voor machine learning, Power BI en Python (AI-nasynchronisatie) · M365.FM – Microsoft 365, Copilot & AI podcast in het Nederlands

• 0:00
  Speaker 2: Klaar voor 10 dagen Microsoft 365, Copilot, AI, Azure en
• 0:05
  Speaker 2: de mensen die de toekomst van werk vormgeven? Deze januari
• 0:08
  Speaker 2: is M365 komt terug en we pakken groter uit. Doe
• 0:12
  Speaker 2: mee voor live sessies, praktijkdemo's en praktische kennis van MVP's
• 0:17
  Speaker 2: en experts uit de hele wereld. Geen algemene sliedes, geen
• 0:20
  Speaker 2: eindeloze modewoorden. We pakken de echte uitdagingen aan Copilot Studio,
• 0:25
  Speaker 2: AI Agents, Fabric, Beveiliging, Governance en Automatisering. Of je nu IT-professional,
• 0:31
  Speaker 2: ontwikkelaar of bedrijfsleider bent, er zijn sessies speciaal voor jou ontworpen.
• 0:35
  Speaker 2: Met 10 volledige dagen kun je diverse technologieën verkennen en
• 0:38
  Speaker 2: in contact komen met een wereldwijde community. Kijk live mee
• 0:41
  Speaker 2: en neem praktische inzichten mee terug naar je organisatie. Januari 2027,
• 0:46
  Speaker 2: 10 dagen, 1 Microsoft Community. De registratie is nu geopend.
• 0:53
  Speaker 2: Claim vandaag nog je plek. Meld je nu aan op m365con.net
• 1:03
  Speaker 2: en we zien je live in januari. Welkom bij een
• 1:05
  Speaker 2: nieuwe aflevering van Microsoft Knowledge Nuggets. Ik ben Mirko Peters.
• 1:09
  Speaker 2: Het onderwerp van vandaag is iets waar bijna iedereen die
• 1:10
  Speaker 2: data science of machine learning leert tegenaan loopt. Je hebt
• 1:13
  Speaker 2: een paar tutorials bekeken, je beheerst de basis, maar er
• 1:16
  Speaker 2: is één ding dat je steeds weer blokkeert. Je hebt
• 1:18
  Speaker 2: geen interessante data om mee te oefenen. Je begint te
• 1:20
  Speaker 2: zoeken naar publieke datasets en dan begint de ellende. Je
• 1:23
  Speaker 2: vindt een overheidswebsite met weer data, wat geweldig is, maar
• 1:26
  Speaker 2: de bestanden hebben een vreemd formaat dat je nog nooit
• 1:28
  Speaker 2: hebt gezien. De kolomnamen slaan nergens op en de helft
• 1:30
  Speaker 2: van de waarden ontbreekt. Je bent uren kwijt aan alleen
• 1:33
  Speaker 2: al het openen van het bestand en tegen de tijd
• 1:34
  Speaker 2: dat je het genoeg hebt opgeschoond om te gebruiken, is
• 1:36
  Speaker 2: de lol eraf. Ik ken dat gevoel en het is frustrerend.
• 1:39
  Speaker 2: De aflevering van vandaag neemt die barrière volledig weg. Aan
• 1:42
  Speaker 2: het einde van deze aflevering weet je wat Azure Open
• 1:44
  Speaker 2: Datasets is en hoe je binnen enkele minuten gratis gebruiksklare
• 1:47
  Speaker 2: data pakt zonder scraping, opschonen of gedoe. Laten we beginnen.
• 1:51
  Speaker 2: Wat Azure Open Datasets eigenlijk is. Dus, wat is Azure
• 1:54
  Speaker 2: Open Datasets precies? Hier is de simpelste definitie. Het is
• 1:57
  Speaker 2: een gratis bibliotheek van publieke datasets die Microsoft al heeft
• 2:00
  Speaker 2: opgeschoond en gehost op Azure. Zie het als een bibliotheek
• 2:03
  Speaker 2: waar iemand anders elk boek al heeft gecontroleerd op gescheurde pagina's,
• 2:06
  Speaker 2: spelfouten heeft hersteld en alles alfabetisch heeft gezet, zodat je
• 2:09
  Speaker 2: alleen nog naar binnen hoeft te lopen en te pakken
• 2:10
  Speaker 2: wat je nodig hebt. Nu is dit belangrijk. Het is
• 2:12
  Speaker 2: geen aparte betaalde service waarvoor je je moet aanmelden of
• 2:15
  Speaker 2: een premium add-on. Het is gewoon data in Azure-opslag die
• 2:18
  Speaker 2: je kunt benaderen. Dat is alles. Microsoft heeft openbare datasets
• 2:21
  Speaker 2: van instanties zoals de NOAA, het Amerikaanse Census Bureau en
• 2:24
  Speaker 2: lokale overheden genomen en al het zware werk verricht om
• 2:27
  Speaker 2: de schema's te normaliseren, inconsistenties op te lossen en verversingsschema's
• 2:31
  Speaker 2: in te stellen zodat de data actueel blijft. Vergelijk dat
• 2:33
  Speaker 2: eens met de oude manier van werken. Je vond een
• 2:35
  Speaker 2: dataset op een overheidswebsite, downloadde een zip bestand vol CSV-bestanden
• 2:39
  Speaker 2: met elk een ander formaat, opende ze en trof ontbrekende waarden,
• 2:42
  Speaker 2: vreemde datumnotaties en kolommen die niet overeen kwamen tussen bestanden aan.
• 2:46
  Speaker 2: Vervolgens was je uren, soms dagen, bezig met het schrijven
• 2:48
  Speaker 2: van code om de boel op te schonen. En tegen
• 2:50
  Speaker 2: de tijd dat je klaar was, wist je niet eens
• 2:52
  Speaker 2: zeker of je het wel goed had gedaan. Microsoft regelt
• 2:54
  Speaker 2: dat allemaal voor je. Ze normaliseren de data naar consistente schema's,
• 2:58
  Speaker 2: dichten de hiaten en slaan het op in parquetformaat, een
• 3:00
  Speaker 2: kolomgericht opslagformaat dat queries razendsnel maakt. Als je ooit geprobeerd
• 3:03
  Speaker 2: hebt een gigantisch CSV-bestand te bevragen en eeuwen hebt moeten
• 3:06
  Speaker 2: wachten tot het geladen was, dan zul je waarderen wat
• 3:07
  Speaker 2: parquet doet. Het is geoptimaliseerd voor analytics, dus je queries
• 3:10
  Speaker 2: draaien veel sneller dan bij gewone tekstbestanden. Dit is het
• 3:13
  Speaker 2: belangrijkste punt. De data zelf is gratis en Microsoft betaalt
• 3:16
  Speaker 2: altijd voor de opslag. Je betaalt alleen voor de rekenkracht
• 3:18
  Speaker 2: als je het verwerkt. En daar hebben we het later over.
• 3:20
  Speaker 2: Maar de data die in Azure Opslag staat kost je
• 3:22
  Speaker 2: helemaal niets. Ik zal je een analogie geven om dit
• 3:24
  Speaker 2: concreet te maken. Stel je voor dat je naar een
• 3:26
  Speaker 2: nieuw kantoorpand verhuist. Op de oude manier zou je een
• 3:29
  Speaker 2: stapel hout, gipsplaten, bedrading en sanitair krijgen en zou je
• 3:32
  Speaker 2: elke kamer zelf vanaf nul moeten opbouwen. Dat is hoe
• 3:35
  Speaker 2: werken met onbewerkte openbare data voelt. Azure Open Datasets is
• 3:38
  Speaker 2: precies het tegenovergestelde. Dit zijn kant-en-klare ruimtes vol data waar
• 3:42
  Speaker 2: je zo naar binnen stapt. De Weerkamer is al ingericht,
• 3:44
  Speaker 2: de Censuskamer heeft alles gelabeld en georganiseerd. Je hoeft zelf
• 3:47
  Speaker 2: niets in elkaar te zetten. Je stapt gewoon naar binnen
• 3:49
  Speaker 2: en kunt direct aan de slag. Het probleem dat open
• 3:51
  Speaker 2: datasets oplost. Dus, waarom heeft Microsoft dit gebouwd? Welk probleem
• 3:54
  Speaker 2: probeerden ze hiermee op te lossen? Laten we dat eens uitsplitsen.
• 3:57
  Speaker 2: Vindbaarheid is het eerste probleem. Je hebt betrouwbare openbare data nodig,
• 4:00
  Speaker 2: maar het vinden ervan kost tijd. Er zijn honderden overheidswebsites,
• 4:03
  Speaker 2: academische archieven en dataportaalsites. Sommige worden goed onderhouden, andere zijn verwaarloosd.
• 4:07
  Speaker 2: en bij sommige moet je formulieren invullen of akkoord gaan
• 4:09
  Speaker 2: met licenties voordat je iets kunt downloaden. Alleen al het
• 4:11
  Speaker 2: vinden van een schone, bruikbare dataset kan dagen aan zoekwerk kosten.
• 4:14
  Speaker 2: Dan is er nog het voorbereidingsprobleem. Onbewerkte data van overheidsbronnen
• 4:18
  Speaker 2: is rommelig, inconsistent en vol hiaten. Neem de weerdata van
• 4:21
  Speaker 2: de NOAA. Het is afkomstig van duizenden weerstations over de
• 4:24
  Speaker 2: hele wereld die elk in iets andere formats rapporteren. Sommige
• 4:27
  Speaker 2: stations rapporteren de temperatuur in Celsius, andere in Fahrenheit, sommige
• 4:30
  Speaker 2: registreren neerslag, andere niet, en sommige hebben jaren aan schone gegevens,
• 4:34
  Speaker 2: terwijl andere enorme gaten hebben waar de sensor kapot was.
• 4:36
  Speaker 2: Dat met de hand opschonen is ellendig werk. Schaal is
• 4:38
  Speaker 2: een ander probleem. Sommige van deze datasets zijn enorm. De
• 4:41
  Speaker 2: weergegevens beslaan tientallen jaren. De NYC-taxiegegevens bevatten honderden miljoenen ritten.
• 4:45
  Speaker 2: De satellietbeelden beslaan petabytes. Zoveel data naar je rekenomgeving verplaatsen
• 4:50
  Speaker 2: is traag en kostbaar. Als je een machine learning model
• 4:52
  Speaker 2: op een cloud VM draait, wil je geen uren besteden
• 4:54
  Speaker 2: aan het downloaden van gegevens voordat je überhaupt kunt beginnen
• 4:56
  Speaker 2: met trainen. En tot slot, reproduceerbaarheid is belangrijk. Wanneer je
• 4:59
  Speaker 2: experimenten uitvoert, moeten je gegevens consistent zijn. Als jij vandaag
• 5:03
  Speaker 2: een dataset downloadt en je collega downloadt deze volgende week,
• 5:06
  Speaker 2: heb je hetzelfde nodig. Gecureerde, gedocumenteerde datasets maken experimenten herhaalbaar.
• 5:10
  Speaker 2: Je kunt je resultaten publiceren en iemand anders kan ze
• 5:12
  Speaker 2: verifiëren met exact dezelfde gegevens. Laten we nu een mythe
• 5:15
  Speaker 2: uit de wereld helpen. De meeste mensen denken dat machine
• 5:17
  Speaker 2: learning alleen over het algoritme gaat, maar het echte inzicht
• 5:19
  Speaker 2: van Microsoft is dat de meeste machine learning problemen worden
• 5:21
  Speaker 2: beïnvloed door factoren uit de echte wereld, weer, feestdagen, demografie,
• 5:25
  Speaker 2: economische omstandigheden. Als je probeert de verkoop te voorspellen, maakt
• 5:28
  Speaker 2: het een enorm verschil of het een feestdag is of
• 5:29
  Speaker 2: een regenachtige dinsdag. Als je het energieverbruik voorspelt, zijn de
• 5:32
  Speaker 2: temperatuur en het tijdstip van de dag van belang. Als
• 5:34
  Speaker 2: je verzekeringsrisico's modeleert, zijn demografische gegevens van de buurt cruciaal.
• 5:38
  Speaker 2: Zonder deze externe signalen mist je modelcontext. Het is alsof
• 5:41
  Speaker 2: je verkeerspatronen probeert te voorspellen zonder te weten hoe laat
• 5:43
  Speaker 2: het is. Je krijgt misschien wat patronengoed, maar je mist
• 5:46
  Speaker 2: het grote geheel. En dat is de kern van het time-to-data-probleem.
• 5:49
  Speaker 2: Het kan weken werk kosten om alleen al bruikbare data
• 5:51
  Speaker 2: te krijgen. Weken van zoeken, downloaden, opschonen en valideren. Tegen
• 5:54
  Speaker 2: de tijd dat de data klaar is, is de zakelijke
• 5:56
  Speaker 2: vraag misschien veranderd. Azure Open Datasets verkort die tijdlijn van
• 6:00
  Speaker 2: weken naar minuten. Wat zit er in de catalogus? Weer-
• 6:02
  Speaker 2: en feestdagen. Laten we induiken wat er daadwerkelijk in deze
• 6:05
  Speaker 2: catalogus zit. De eerste dataset die bijna iedereen nuttig vindt
• 6:08
  Speaker 2: zijn weergegevens. Microsoft hostt de NOAA Weerdataset. Deze geeft je
• 6:12
  Speaker 2: historische en bijna real-time metingen van weerstations over de hele wereld.
• 6:15
  Speaker 2: We hebben het over temperatuur, neerslag, windsnelheid, barometrische druk. Het
• 6:19
  Speaker 2: soort gegevens dat alles beïnvloedt, van wat mensen kopen tot
• 6:21
  Speaker 2: hoeveel energie ze verbruiken. En het beslaat tientallen jaren aan
• 6:24
  Speaker 2: gegevens die regelmatig worden bijgewerkt. Dus als je weerpatronen uit
• 6:27
  Speaker 2: de jaren negentig wilt bekijken of de gegevens van vorige
• 6:29
  Speaker 2: week wilt ophalen, het staat er allemaal in. Nu is
• 6:31
  Speaker 2: Weerdata natuurlijk geweldig, maar hier komt het. Er is nog
• 6:34
  Speaker 2: een dataset die er perfect bij aansluit. Feestdagen. Microsoft heeft
• 6:37
  Speaker 2: een dataset met feestdagen voor 38 landen, van 1970 tot
• 6:40
  Speaker 2: en met 2099. Je kunt dus terugkijken voor historische analyses
• 6:43
  Speaker 2: of vooruitkijken voor je planning. Het geeft je landspecifieke feestdagmarkeringen
• 6:47
  Speaker 2: voor elk datumbereik. Wil je weten of een bepaalde dinsdag
• 6:50
  Speaker 2: een feestdag is in Japan? Dat staat erin. Wil je
• 6:52
  Speaker 2: controleren of die maandag in augustus een vrije dag is
• 6:54
  Speaker 2: in het VK? Eén zoekopdracht en je hebt het. Waarom
• 6:57
  Speaker 2: zijn deze twee datasets samen zo krachtig? Weer- en feestdagen
• 7:00
  Speaker 2: verbeteren tijdreeksvoorspellingen aanzienlijk. Denk aan het voorspellen van de detailhandelsverkoop.
• 7:04
  Speaker 2: Als je probeert te voorspellen hoeveel stuks van een product
• 7:06
  Speaker 2: je volgende week verkoopt, kan weten dat het een feestdag
• 7:09
  Speaker 2: is en dat het gaat regenen je voorspellingsfout met dubbele
• 7:11
  Speaker 2: cijfers verkleinen. Dat is geen kleine verbetering. Dat is het
• 7:14
  Speaker 2: verschil tussen te veel voorraad in een magazijn hebben en
• 7:16
  Speaker 2: een tekort aan je best verkochte product. En dit is
• 7:19
  Speaker 2: het punt. De meeste bedrijven hebben deze data niet intern beschikbaar.
• 7:23
  Speaker 2: Ze hebben hun verkoopgegevens, natuurlijk, maar ze hebben geen schone,
• 7:26
  Speaker 2: betrouwbare bron voor weerhistorie of vakantiekalenders. Dus ofwel bouwen ze
• 7:29
  Speaker 2: het zelf, wat tijd kost, of ze doen het zonder,
• 7:32
  Speaker 2: wat hun voorspellingen schaadt. Azure Open Datasets geeft hen dat
• 7:35
  Speaker 2: ontbrekende stukje direct. Maar weer- en feestdagen zijn nog maar
• 7:38
  Speaker 2: het begin. Wat zit er nog meer in de catalogus? Volkstellingen,
• 7:41
  Speaker 2: demografische en sociaal-economische gegevens. De volgende categorie is belangrijk als
• 7:45
  Speaker 2: je modellen bouwt die iets over mensen voorspellen. Het gaat
• 7:47
  Speaker 2: om census en demografische gegevens. Microsoft hoost Amerikaanse censusgegevens over bevolking, inkomen,
• 7:53
  Speaker 2: opleidingsniveaus en leeftijdsverdeling. En het is beschikbaar op verschillende geografische niveaus,
• 7:57
  Speaker 2: van staat en provincie tot aan censusdistrict. Je kunt dus
• 8:00
  Speaker 2: het mediane huishoudinkomen voor een specifieke buurt opvragen of de
• 8:03
  Speaker 2: bevolkingsverdeling per leeftijdsgroep voor een hele staat. En er is
• 8:06
  Speaker 2: ook de dataset met Amerikaanse arbeidsmarktstatistieken die je werkgelegenheidscijfers, deelname
• 8:10
  Speaker 2: aan de beroepsbevolking en uitsplitsingen per sector geeft. Je kunt
• 8:13
  Speaker 2: zien hoeveel mensen in de productie werken ten opzichte van
• 8:15
  Speaker 2: de dienstensector in een regio of hoe de werkloosheid in
• 8:17
  Speaker 2: de loop van de tijd is veranderd. Waarom is dit
• 8:19
  Speaker 2: belangrijk voor beginners? Omdat als je een model wilt bouwen
• 8:22
  Speaker 2: dat iets over mensen voorspelt, dit de perfecte plek is
• 8:24
  Speaker 2: om te beginnen. Hier is een echt voorbeeld. Stel je
• 8:27
  Speaker 2: voor dat je een model bouwt voor een verzekeringsmaatschappij. Je
• 8:30
  Speaker 2: hebt claimgegevens, leeftijden en bedragen, maar je model is niet
• 8:33
  Speaker 2: nauwkeurig omdat je context mist over waar deze mensen wonen. Dus,
• 8:36
  Speaker 2: je verrijkt die data met inkomens- en onderwijsstatistieken uit de volkstelling.
• 8:39
  Speaker 2: Plotseling ziet het model patronen die het voorheen misten. Mensen
• 8:42
  Speaker 2: in gebieden met een lager inkomen dienen andere claims in
• 8:45
  Speaker 2: en een hoger opleidingsniveau verandert risicoprofielen. Het model wordt beter
• 8:48
  Speaker 2: omdat het meer informatie heeft over de echte wereld. Dat
• 8:50
  Speaker 2: is wat Azure Open Data Sets waardevol maakt voor beginners.
• 8:53
  Speaker 2: Je hoeft geen data engineer te zijn om censusdata in
• 8:55
  Speaker 2: je project te importeren. Het is al opgeschoond en klaar
• 8:57
  Speaker 2: voor gebruik. Koppel het aan je eigen data en je
• 9:00
  Speaker 2: analyse krijgt een diepgang die het daarvoor niet had. Wat
• 9:02
  Speaker 2: staat er in de catalogus? Mobiliteit, openbare veiligheid en gezondheidszorg.
• 9:06
  Speaker 2: De klassieke favoriet voor beginners is de NYC Taxi Rit Dataset.
• 9:09
  Speaker 2: Het is een van de bekendste openbare datasets die er zijn,
• 9:12
  Speaker 2: miljoenen ritgegevens met ophaal- en afzetmomenten, locaties en tarieven. Elke
• 9:15
  Speaker 2: rit met een gele taxi in New York genereert een record.
• 9:18
  Speaker 2: Waar ze instapten, waar ze uitstapten, wat het kostte, hoe
• 9:20
  Speaker 2: lang het duurde. Het is een geweldige dataset om data-analyse
• 9:23
  Speaker 2: te leren. Waarom zijn beginners er zo dol op? Omdat
• 9:25
  Speaker 2: het interessant en visueel is. Laat het in Powerbee en
• 9:28
  Speaker 2: beginkaarten te maken van waar mensen het meest reizen. Zie
• 9:30
  Speaker 2: hoe tarieven gedurende de dag veranderen. Ontdek patronen. Welke wijken
• 9:34
  Speaker 2: zijn druk tijdens het spitsuur? Welke luchthavens genereren de meeste ritten?
• 9:37
  Speaker 2: Hoe het weer het aantal ritten beïnvloedt? Het vertelt een verhaal,
• 9:40
  Speaker 2: dus leren voelt als een puzzel oplossen, niet als huiswerk maken.
• 9:42
  Speaker 2: Openbare veiligheidsdata is de volgende. Microsoft hoost de veiligheidsdata van
• 9:46
  Speaker 2: San Francisco, die misdaadincidenten vastlegt met type, locatie en tijdstempel.
• 9:50
  Speaker 2: Wederom perfect voor beginners omdat de data direct betekenisvol is.
• 9:53
  Speaker 2: Bouw hotspot kaarten, analyseer misdaadpatronen op tijdstip van de dag.
• 9:56
  Speaker 2: Het laat zien hoe open data echte maatschappelijke projecten ondersteunt.
• 9:59
  Speaker 2: Stadsplanners en de politie gebruiken dit om te beslissen waar
• 10:01
  Speaker 2: middelen moeten worden ingezet. Dan is er nog het COVID-19
• 10:03
  Speaker 2: data meer. Het is niet slechts één dataset. Het combineert
• 10:07
  Speaker 2: meerdere bronnen, patiëntresultaten, testen, ziekenhuiscapaciteit, beleid en mobiliteit. Tijdens de
• 10:11
  Speaker 2: pandemie gebruikt een onderzoeker het om het virus te volgen,
• 10:14
  Speaker 2: de verspreiding te modelleren en interventies te evalueren. Dat laat
• 10:17
  Speaker 2: zien hoe open datasets een echt impact kunnen hebben wanneer
• 10:19
  Speaker 2: ze toegankelijk zijn. Deze drie datasets, taxiritten, openbare veiligheid en COVID-19,
• 10:23
  Speaker 2: hebben iets belangrijks gemeen. Ze zijn niet abstract. Je hoeft
• 10:26
  Speaker 2: geen expert te zijn om ze te begrijpen. De data
• 10:28
  Speaker 2: gaat over echte mensen, plaatsen en gebeurtenissen. Dat maakt het
• 10:31
  Speaker 2: leren makkelijker. Er zijn ook benchmark datasets voor mensen die
• 10:34
  Speaker 2: specifiek ML leren. Wat staat er in de catalogus? Benchmark
• 10:37
  Speaker 2: ML datasets. Dus, je hebt al deze real-world data uit
• 10:40
  Speaker 2: het vorige gedeelte. Maar wat als je een tutorial volgt
• 10:42
  Speaker 2: en je hebt gewoon een schone, eenvoudige dataset nodig om
• 10:44
  Speaker 2: een specifieke techniek te oefenen? Ook daarvoor biedt Azure Open
• 10:47
  Speaker 2: Datasets uitkomst. Zie het als een gereedschapskist. Je hebt je
• 10:50
  Speaker 2: elektrisch gereedschap voor grote klussen, maar soms heb je gewoon
• 10:52
  Speaker 2: een simpele hamer nodig om de basis te leren. Daar
• 10:54
  Speaker 2: zijn deze benchmark datasets voor bedoeld. Neem de Diabetes dataset
• 10:57
  Speaker 2: met 442 samples en 10 kenmerken. Het is een klassiek
• 11:01
  Speaker 2: regressieprobleem dat je voortdurend in leerboeken en tutorials ziet en
• 11:04
  Speaker 2: het is direct beschikbaar in Azure Open Datasets, klaar om
• 11:07
  Speaker 2: in Azure ML te laden. Als je Automated ML leert,
• 11:10
  Speaker 2: is dit een geweldige dataset om mee te beginnen. Klein
• 11:12
  Speaker 2: genoeg om snel te itereren, maar echt genoeg om je
• 11:15
  Speaker 2: de workflow te leren. Dan is er de Microsoft News Dataset,
• 11:18
  Speaker 2: kortweg MIND genoemd, voor mensen die geïnteresseerd zijn in aanbevelingssystemen.
• 11:22
  Speaker 2: Het is een grootschalige benchmark met gebruikersinteracties, nieuwsinhoud en metadata.
• 11:27
  Speaker 2: Als je een aanbevelingsmachine voor nieuws wilt bouwen, het soort
• 11:30
  Speaker 2: systeem dat de aanbevolen voor jou, sectie op nieuwswebsites aanstuurt.
• 11:33
  Speaker 2: Dan is dit de dataset om mee te oefenen. Het
• 11:35
  Speaker 2: is hetzelfde soort data dat echte aanbevelingssystemen gebruiken en er
• 11:38
  Speaker 2: is zelfs een gesimuleerde OJ-verkoopdataset die specifiek is gebouwd om
• 11:42
  Speaker 2: te laten zien hoe Azure ML schaalt. Je kunt duizenden
• 11:44
  Speaker 2: modellen tegelijk op deze data trainen, Wat een uitstekende manier
• 11:47
  Speaker 2: is om parallele verwerking en hyperparameter tuning te begrijpen. Hier
• 11:50
  Speaker 2: komt het op neer. Als je een Azure ML tutorial
• 11:52
  Speaker 2: volgt en je hebt data nodig, dan staat die waarschijnlijk
• 11:55
  Speaker 2: al in deze catalogus. Microsoft heeft ervoor gezorgd dat de
• 11:58
  Speaker 2: datasets die in hun documentatie en leertrajecten worden gebruikt, beschikbaar
• 12:01
  Speaker 2: zijn via open datasets, zodat je niet hoeft te zoeken
• 12:04
  Speaker 2: naar het exacte bestand dat de tutorial gebruikt. Het staat
• 12:07
  Speaker 2: er al. Maar een geweldige catalogus is nutteloos als je
• 12:10
  Speaker 2: de data niet daadwerkelijk kunt verkrijgen. Hoe krijg je toegang
• 12:13
  Speaker 2: tot open datasets, Python, Power BI en Azure ML? Je
• 12:16
  Speaker 2: hebt nu gezien wat er in de catalogus staat, maar
• 12:19
  Speaker 2: de echte vraag is nu, hoe krijg je deze data
• 12:21
  Speaker 2: daadwerkelijk in handen? Het antwoord hangt af van welke tool
• 12:23
  Speaker 2: je gebruikt. Maar er zijn meerdere wegen en sommige vereisen
• 12:26
  Speaker 2: niet eens een Azure-account. Laten we het op een rij zetten.
• 12:29
  Speaker 2: De eenvoudigste optie, Python. Vanuit elke Python-omgeving geen Azure-account nodig.
• 12:33
  Speaker 2: Microsoft publiceert een Python-pakket genaamd Azure ML Open Datasets. Je
• 12:37
  Speaker 2: installeert het met pip en importeert vervolgens direct elke dataset. Bijvoorbeeld,
• 12:41
  Speaker 2: from Azure ML Open Datasets import Noah Weather. Je specificeert
• 12:46
  Speaker 2: een startdatum en een einddatum en het pakket regelt de rest.
• 12:49
  Speaker 2: Het downloadt de relevante bestanden uit Azure Storage, verwerkt ze
• 12:52
  Speaker 2: en geeft je een Pandas DataFrame terug. Dat is alles.
• 12:55
  Speaker 2: Drie regels code en je hebt tientallen jaren aan weer
• 12:58
  Speaker 2: data klaar voor analyse. Dit werkt vanuit Jupyter Notebook. VS
• 13:01
  Speaker 2: Code of elke andere Python-omgeving die je prettig vindt. Binnen
• 13:04
  Speaker 2: Azure Machine Learning verloopt het proces nog soepeler. Je opent
• 13:07
  Speaker 2: je werkruimte, gaat naar de sectie Gegevens, klikt op Maken
• 13:10
  Speaker 2: en kiest vervolgens uit Azure Open Datasets. Er verschijnt een
• 13:13
  Speaker 2: catalogus met alles wat beschikbaar is. Je bladert erdoorheen, kiest
• 13:16
  Speaker 2: de dataset die je wilt, filtert deze op datumbereik of
• 13:19
  Speaker 2: geografisch gebied en registreert deze in je werkruimte. Zodra deze
• 13:22
  Speaker 2: geregistreerd is, genereert Azure ML automatisch een codefragment dat je
• 13:25
  Speaker 2: in elke pipeline of elk experiment kunt gebruiken, dus je
• 13:27
  Speaker 2: hoeft de opslagpaden of importsyntaxes niet te onthouden. Het wordt
• 13:30
  Speaker 2: allemaal voor je geregeld. Hoe zit het met Power BI?
• 13:32
  Speaker 2: Dit is waar het interessant wordt voor analisten die geen
• 13:34
  Speaker 2: code schrijven. Je kunt de Azure Blob Storage Connector in
• 13:37
  Speaker 2: Power BI gebruiken en deze verwijzen naar de openbare opslag
• 13:39
  Speaker 2: URL's die Microsoft voor elke dataset documenteert. Dus, als je
• 13:42
  Speaker 2: NYC-taxigegevens in een dashboard wilt laden, zoek je de opslag
• 13:45
  Speaker 2: URL op de overzichtspagina van de datasets, voeg je deze
• 13:48
  Speaker 2: toe aan Power BI en begin je met het bouwen
• 13:49
  Speaker 2: van visualisaties. Weerdata, taxiritten, incidenten op het gebied van openbare veiligheid,
• 13:54
  Speaker 2: alles is direct beschikbaar in je rapporten zonder tussenliggende data engineering.
• 13:57
  Speaker 2: Voor de SQL-gebruikers is er Azure Synapse. Je kunt open
• 14:01
  Speaker 2: datasets bevragen met de open-rouset functie op de openbare blokpaden.
• 14:04
  Speaker 2: Dit is serverloze SQL, wat betekent dat je vooraf geen
• 14:07
  Speaker 2: opslag hoeft in te stellen. Je schrijft gewoon een query
• 14:10
  Speaker 2: en Synapse leest de data direct vanaf de bron. Wil
• 14:12
  Speaker 2: je weten hoeveel taxiritten er plaatsvonden op eerste kerstdag in 2019?
• 14:16
  Speaker 2: Je schrijft één SQL query en je hebt binnen enkele
• 14:19
  Speaker 2: seconden je antwoord. En als je Azure Databricks gebruikt, werkt
• 14:22
  Speaker 2: dezelfde Python SDK in Databricks notebooks, maar kun je Spark
• 14:25
  Speaker 2: DataFrames gebruiken in plaats van Pandas, wat belangrijk is bij
• 14:28
  Speaker 2: grotere datasets. De NYC taxidata bevat miljoenen records. Pandas kan
• 14:33
  Speaker 2: dat aan, maar Spark kan het beter. Zelfde import, zelfde syntaxes,
• 14:37
  Speaker 2: alleen met Spark onder de motorkap. Dit is de rode
• 14:39
  Speaker 2: draad door al deze methoden. Microsoft publiceert de opslagaccount URL's
• 14:42
  Speaker 2: voor elke dataset en die URL's zijn openbaar. Iedereen heeft
• 14:45
  Speaker 2: er toegang toe vanuit elk gewenst hulpmiddel. De Azure Open
• 14:48
  Speaker 2: Datasets SDK is slechts een handige laag daarbovenop. Als je
• 14:51
  Speaker 2: zou willen, kun je je eigen code schrijven om de
• 14:52
  Speaker 2: ruwe parquetbestanden direct vanaf die opslag URL's te lezen. De
• 14:55
  Speaker 2: SDK maakt het alleen makkelijker door het filteren op datum
• 14:58
  Speaker 2: en de conversie voor je te regelen. De vraag over
• 15:00
  Speaker 2: de kosten. Is het echt gratis? Dit is de vraag
• 15:02
  Speaker 2: die iedereen stelt. Is het echt gratis? Het korte antwoord
• 15:05
  Speaker 2: is ja en ook nee. Hier is waarom het beide
• 15:07
  Speaker 2: kanten op gaat. Eigenlijk is de data zelf volledig gratis.
• 15:10
  Speaker 2: Microsoft betaalt altijd voor de opslag. Het is geen promotie
• 15:13
  Speaker 2: of een tijdelijk aanbod. Het is ingebakken in het ontwerp
• 15:15
  Speaker 2: van de dienst. Zij hosten het, zij betalen de rekening
• 15:18
  Speaker 2: en jij hebt er toegang toe zonder een cent aan
• 15:19
  Speaker 2: de data zelf uit te geven. Maar hier komen de kosten, kijken.
• 15:22
  Speaker 2: Je betaalt voor rekenkracht. Dat betekent dat als je een
• 15:24
  Speaker 2: virtuele machine opstart om de data te verwerken, je voor
• 15:26
  Speaker 2: die VM betaalt. Voor een Databricks cluster dat miljoenen taxiritten analyseert,
• 15:29
  Speaker 2: betaal je voor dat cluster. Als je Synapse Serverless SQL gebruikt,
• 15:32
  Speaker 2: betaal je voor de queries die je uitvoert. Dit zijn
• 15:34
  Speaker 2: standaard Azure kosten. Ze zijn niet specifiek voor open datasets.
• 15:38
  Speaker 2: Dan is er nog het uitgaand dataverkeer. Dit kan je
• 15:40
  Speaker 2: onverwacht overkomen. Als je data verplaatst tussen Azure regio's of
• 15:43
  Speaker 2: volledig uit Azure haalt... betaal je kosten voor uitgaand verkeer.
• 15:46
  Speaker 2: De typische prijs is ongeveer 8 tot 9 cent per gigabyte.
• 15:49
  Speaker 2: Dat klinkt niet als veel, totdat je terabytes gaat verplaatsen.
• 15:52
  Speaker 2: En sommige van deze datasets zijn enorm. De weerdata alleen
• 15:55
  Speaker 2: al beslaat decennia en meerdere weerstations. Alles uitlezen vanuit een
• 15:58
  Speaker 2: andere regio loopt snel op. Er zijn ook kosten voor
• 16:00
  Speaker 2: je eigen opslag. Misschien kopieer je data naar je eigen
• 16:03
  Speaker 2: opslagaccounts omdat je een snapshot wilt bewaren of de data
• 16:05
  Speaker 2: wilt transformeren. Je betaalt voor die opslag tegen standaard Azure-tarieven.
• 16:08
  Speaker 2: Microsoft is hier transparant over. Als een dataset kosten voor
• 16:11
  Speaker 2: uitgaand verkeer heeft, staat dit gedocumenteerd op de overzichtspagina. Geen
• 16:14
  Speaker 2: verrassingen op de factuur, maar je moet het controleren voordat
• 16:16
  Speaker 2: je grote hoeveelheden data tussen regio's verplaatst. Hier is de
• 16:18
  Speaker 2: belangrijkste tip voor beginners. Hou je rekenkracht in dezelfde regio
• 16:21
  Speaker 2: als de dataset. Elke dataset heeft een specifieke regio waar
• 16:24
  Speaker 2: deze wordt gehost. Als je VM of Databricks cluster zich
• 16:26
  Speaker 2: in diezelfde regio bevindt, vermijd je volledig kosten voor uitgaand verkeer.
• 16:29
  Speaker 2: De data blijft lokaal, de queries zijn sneller en je
• 16:31
  Speaker 2: factuur blijft laag. Laten we twee echte scenario's bekijken om
• 16:34
  Speaker 2: dit concreet te maken. Scenario 1. Je bent een beginner
• 16:36
  Speaker 2: die een kleine steekproef van Weerdata naar een Power BI
• 16:38
  Speaker 2: dashboard haalt. Een paar duizend rijen, misschien een paar megabytes.
• 16:41
  Speaker 2: Je kosten voor rekenkracht zijn nul omdat Power BI dat afhandelt.
• 16:44
  Speaker 2: Je kosten voor uitgaand verkeer zijn nul omdat je weinig verplaatst.
• 16:46
  Speaker 2: Dit kost je niets, behalve...