Latest / M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch / Azure Open Datasets einfach erklärt: kostenlose, bereinigte Daten für Machine Learning, Power BI und Python (KI-Synchronfassung)

Transcript

Azure Open Datasets einfach erklärt: kostenlose, bereinigte Daten für Machine Learning, Power BI und Python (KI-Synchronfassung) · M365.FM – Microsoft 365, Copilot & KI Podcast auf Deutsch

0:00
Bereit für 10 Tage voller Microsoft 365, Co-Pilot, KI-Azurer und den Menschen, die die Zukunft der Arbeit gestalten?
0:07
Diesen Januar ist die M365-Kont zurück und wir legen noch eins drauf. Und wir legen noch eins drauf.
0:12
Seien Sie bei Live-Sessions, Praxis-Demos und Expertenwissen von MVPs und Branchenprofis weltweit dabei.
0:18
Keine generischen Folien, kein endloses Buzzword-Bingo.
0:22
Wir gehen echte Herausforderungen an. Co-Pilot Studio, KI-Agenten, Fabric, Sicherheit, Governance und Automatisierung.
0:28
Egal ob IT-Profi-Entwickler oder Führungskraft, wir haben die passenden Sessions für Sie via VIN.
0:35
An 10 vollen Tagen können Sie Technologien erkunden und sich mit einer globalen Community vernetzen.
0:40
Schauen Sie live zu und nehmen Sie praktische Erkenntnisse für Ihr Unternehmen mit.
0:45
Januar 2027, 10 Tage, eine Microsoft-Community. Die Anmeldung ist jetzt geöffnet.
0:52
Sichern Sie sich heute Ihren Platz.
0:54
Besuchen Sie m-treffen von 60con.net.
1:00
Melden Sie sich unter m-treffen von 60con.net an. Wir sehen uns im Januar live.
1:04
Willkommen zu einer weiteren Episode der Microsoft Knowledge Nack.
1:07
Ich bin Marco Peters.
1:08
Unser heutiges Thema begegnet fast jedem, der Data Science oder Machine Learning lernt.
1:12
Sie haben ein paar Tutorials gesehen, die Grundlagen sitzen, aber eines bremst Sie immer wieder aus.
1:17
Ihnen fehlen interessante Daten zum Üben.
1:20
Sie suchen nach öffentlichen Datensätzen und genau dann beginnen die Probleme.
1:23
Sie finden eine Regierungswebsite mit Wetterdaten, was toll ist, aber die Dateien haben ein fremdes Format.
1:28
Die Spaltennahme geben keinen Sinn und die Hälfte der Werte fehlt.
1:32
Sie verbringen Stunden damit, die Datei zu öffnen und wenn sie endlich nutzbar ist, ist die Begeisterung verflogen.
1:37
Ich kenne das und es ist frustrierend.
1:39
Die heutige Folge beseitigt dieses Hindernis komplett.
1:41
Am Ende dieser Folge wissen Sie, was Azure Open Datasets ist und wie Sie in Minuten kostenlose, fertige Daten ohne Scraping, Bereinigung oder Kopfschmerzen erhalten.
1:50
Legen wir los.
1:51
Was Azure Open Datasets eigentlich ist.
1:54
Was genau ist also Azure Open Datasets?
1:55
Die einfachste Definition.
1:57
Es ist eine kostenlose Bibliothek öffentlicher Datensätze, die Microsoft bereits bereinigt und auf Azure gehostet hat.
2:01
Stellen Sie es sich wie eine Bibliothek vor, in der jemand jedes Buch auf Risse geprüft, Rechtschreibfehler korrigiert und alles alphabetisch sortiert hat,
2:07
sodass Sie einfach reingehen und nehmen können, was Sie brauchen.
2:11
Das ist jetzt wichtig.
2:12
Es ist kein separater, kostenpflichtiger Dienst, für den Sie sich anmelden müssen oder ein Premium.
2:16
Es sind einfach Daten in Azure Storage, auf die Sie zugreifen können.
2:18
Das ist schon alles.
2:19
Microsoft hat öffentliche Datensätze von Stellen, wie der NOA, dem US Census Bureau und Stadtverwaltungen übernommen
2:24
und die gesamte Schwerarbeit bei der Normalisierung der Schemata, der Behebung von Inkonsistenzen und der Einrichtung von Aktualisierungsplänen geleistet,
2:29
damit die Daten stets aktuell bleiben.
2:32
Vergleichen Sie das mit der alten Vorgehensweise.
2:35
Sie fanden einen Datensatz auf irgendeiner Regierungsseite,
2:37
luden eine ZIP-Datei voller CSV-Dateien mit jeweils unterschiedlichem Format herunter,
2:40
öffneten sie und fanden fehlende Wertesätze mit Datumsformate und spalten, die zwischen den Dateien nicht übereinstimmten,
2:45
die zwischen den Dateien nicht übereinstimmten.
2:46
Dann verbrachten Sie Stunden, manchmal Tage damit, Code zu schreiben, um das alles zu bereinigen.
2:50
Und wenn Sie fertig waren, waren Sie sich nicht einmal sicher, ob Sie es richtig gemacht haben.
2:53
Microsoft übernimmt all das für Sie.
2:55
Sie normalisieren die Daten in konsistente Schemata, beheben Lücken und speichern sie im Paketformat,
2:59
einem spaltenorientierten Speicherformat, das Abfragen blitzschnell macht.
3:03
Wenn Sie schon einmal versucht haben, eine riesige CSV-Datei abzufragen und ewig auf das Laden gewartet haben,
3:06
werden Sie zu schätzen wissen, was Paket leistet.
3:08
Es ist für die Analyse optimiert, sodass Ihre Abfragen viel schneller ausgeführt werden als bei einfachen Textdateien.
3:12
Hier ist der entscheidende Punkt.
3:13
Die Daten selbst sind kostenlos und Microsoft übernimmt jederzeit die Speicherkosten.
3:17
Sie zahlen nur für die Rechenleistung, wenn Sie die Daten verarbeiten und darüber sprechen, wie es spielt.
3:20
Aber die Daten, die im Azure-Speicher liegen, kosten Sie nichts.
3:22
Lassen Sie mich Ihnen ein Beispiel geben, um das zu verdeutlichen.
3:25
Stellen Sie sich vor, Sie ziehen ein neues Bürogebäude an.
3:27
Nach der alten Methode bekämen Sie einen Haufen Holz, Trockenbauwände, Kabel und Sanitärinstallationen
3:32
und müssten jeden Raum selbst von Grund auf neu bauen.
3:35
So fühlt es sich an, mit rohen öffentlichen Daten zu arbeiten.
3:38
Azure Open Datasets ist das genaue Gegenteil.
3:40
Das sind vorgefertigte Datenräume, die Sie einfach betreten können.
3:42
Der Wetterraum ist bereits möbliert.
3:44
Im Zensusraum ist alles beschriftet und organisiert.
3:47
Sie müssen nichts zusammenbauen.
3:47
Sie gehen einfach hinein und fangen an zu arbeiten.
3:50
Das Problem des Open Datasets lösen.
3:52
Warum hat Microsoft das also gebaut?
3:54
Welches Problem wollten Sie damit lösen?
3:55
Lassen Sie uns das auch.
3:56
Die Suche ist das erste Problem.
3:58
Sie benötigen verlässliche Daten, aber diese zu finden kostet Zeit.
4:00
Es gibt hunderte von Regierungswebsites, akademischen Repositorien und Datenportalen da draußen.
4:04
Einige sind gut gepflegt, andere wurden aufgegeben und bei manchen müssen Sie Formulare ausfüllen
4:08
oder Lizenzvereinbarungen zustimmen, bevor Sie etwas herunterladen können.
4:11
Allein das Finden eines sauberen, verwendbaren Datensatzes kann tagelange Suche verschlingen.
4:14
Dann gibt es noch das Vorbereitungspunkt.
4:16
Rohdaten aus Regierungsquellen sind unordentlich, inkonsistent und voller Lücken.
4:20
Nehmen Sie die Wetterdaten der NOA.
4:21
Es stammt von tausenden Wetterstationen weltweit, die ihre Daten jeweils in leicht unterschiedlichen
4:25
Formaten melden.
4:26
Einige Stationen geben die Temperatur in Celsius an, andere in Fahrenheit, manche erfassen
4:30
Niederschlag, andere nicht.
4:31
Und einige liefern jahrelange saubere Daten, während andere riesige Lücken aufweisen, weil
4:35
Sensoren defekt waren.
4:36
Das alles manuell zu bereinigen, ist eine mühsame Arbeit.
4:38
Ein weiteres Problem ist der Umfang.
4:39
Einige dieser Datensätze sind riesig.
4:41
Die Wetterdaten decken Jahrzehnte ab.
4:42
Die NYC-Taxidaten enthalten hunderte Millionen von Farben.
4:45
Die Satellitenbilder umfassen Peter-Byte-Sender.
4:47
Zu große Datenmengen die eigene Rechenumgebung zu verschieben, ist langsam und kostspielig.
4:51
Wenn Sie ein Machine Learning Modell auf einer Cloud-VM ausführen, möchten Sie nicht
4:54
stundenlang Daten herunterladen, bevor Sie überhaupt mit dem Training beginnen können.
4:57
Und schließlich ist Reproduzierbarkeit wichtig.
4:59
Wenn Sie Experimente durchführen, müssen Ihre Daten konsistent sein.
5:02
Wenn Sie heute einen Datensatz herunterladen und Ihr Kollege nächste Woche benötigen
5:05
Sie dasselbe Ergebnis.
5:07
Kuratierte, dokumentierte Datensätze machen Experimente wiederholbar.
5:09
Sie können Ihre Ergebnisse veröffentlichen und jemand anderes kann Sie mit exakt denselben
5:13
Daten überprüfen.
5:14
Lassen Sie uns nun mit einem Mythos auf.
5:16
Die meisten Leute denken, bei Machine Learning ginge es nur um Algorithmen.
5:18
Aber die wahre Erkenntnis von Microsoft ist, dass die meisten Machine Learning Probleme
5:21
von realen Faktoren beeinflusst werden.
5:23
Wetter, Feiertage, Demografie, wirtschaftliche Bedingungen.
5:26
Wenn Sie versuchen, Verkaufszahlen vorherzusagen, macht es einen riesigen Unterschied, ob es
5:29
ein Feiertag oder ein regnerischer Dienstag ist.
5:31
Wenn Sie den Energieverbrauch prognostizieren, spielen Temperatur und Tageszeit ein Rumpf.
5:33
Wenn Sie Versicherungsrisiken modellieren, ist die Demografie der Nachbarschaft entscheidend.
5:37
Ohne diese externen Signale fehlt Ihrem Modell der Kontext.
5:40
Es ist, als würde man versuchen, Verkehrsmuster vorherzusagen, ohne zu wissen, welche Tageszeit
5:43
es ist.
5:44
Sie legen vielleicht bei einigen Mustern richtig, aber das große Ganze in die.
5:46
Und das ist der Kern des Time-to-Data-Problems.
5:49
Es kann wochenlange Arbeit erfordern, um brauchbare Daten zu erhalten.
5:52
Wochenlanges Suchen, Herunterladen, Bereinigen und Validieren.
5:54
Bis die Daten bereit sind, könnte sich die geschäftliche Fragestellung bereits geändert.
5:57
Azure Open Datasets verkürzt diesen Zeitraum von Wochen auf Minuten.
6:00
Was im Katalog enthalten?
6:02
Wetter- und Feiertage.
6:03
Lassen Sie uns einen Blick darauf werfen, was genau diesem Katalog steht.
6:06
Der erste Datensatz, den fast jeder nützlich findet, sind Wetterdaten.
6:09
Microsoft hostet den NOAA-Wetterdatensatz.
6:11
Er liefert historische Messwerte und Echtzeitdaten von Wetterstationen auf der ganzen Welt.
6:15
Wir sprechen von Temperatur, Niederschlag, Windgeschwindigkeit und barometrischem Druck.
6:19
Daten, die alles beeinflussen von dem, was Menschen kaufen, bis hin zu ihrem Energieverbrauch.
6:23
Und er deckt jahrzehntelange Daten ab, die regelmäßig aktualisiert werden.
6:25
Wenn Sie sich also Wettermuster aus den 90er Jahren ansehen oder die Messwerte der letzten Woche abrufen möchten, ist alles darin enthalten.
6:31
Wetterdaten sind großartig.
6:32
Aber hier ist der Punkt.
6:33
Ein weiterer Datensatz, der perfekt dazu passt?
6:35
Feiertage.
6:36
Microsoft bietet einen Feiertagsdatensatz, der 38 Länder von 1970 bis 2090 abdeckt.
6:41
Sie können also für historische Analysen zurückblicken oder für die Planung nach vorne schauen.
6:45
Er liefert Ihnen länderspezifische Feiertagsmarkierungen für jeden Datumsball.
6:48
Müssen Sie wissen, ob ein bestimmter Dienstag in Japan ein Feiertag ist?
6:51
Da steht alles drin.
6:52
Möchten Sie prüfen, ob dieser Montag im August ein Bankfeiertag in Großbritann ist?
6:55
Eine Abfrage genügt und Sie haben es.
6:56
Warum sind diese beiden Datensätze zusammen so leistungsstark?
6:59
Wetter und Feiertage verbessern Zeitreihenvorhersagen drastisch.
7:02
Denken Sie an die Absatzprognose im Einzelhandel.
7:04
Wenn Sie vorhersagen wollen, wie viele Einheiten eines Produkts Sie nächste Woche verkaufen werden,
7:07
kann das wissen, dass ein Feiertag ist und es regnen wird,
7:09
Ihren Vorhersagefehler um zweistellige Prozentwerte senken.
7:12
Das ist keine kleine Verbesserung.
7:13
Das ist der Unterschied zwischen zu viel Lagerbestand im Lager und dem Ausverkauf Ihres Bestsellers.
7:19
Und hier ist die Sache.
7:19
Die meisten Unternehmen verfügen intern nicht über diese Daten.
7:23
Sie haben zwar Ihre Verkaufsdaten, aber keine saubere, zuverlässige Quelle für Wetterhistorien oder Feiertagskalender.
7:28
Also erstellen Sie diese entweder selbst, was Zeit kostet,
7:30
oder Sie verzichten darauf, was Ihre Vorhersagen verschlechtert.
7:33
Azure Open Datasets liefert Ihnen dieses fehlende Puzzleteil sofort.
7:36
Aber Wetter und Feiertage sind nur der Anfang.
7:39
Was ist im Katalog enthalten?
7:40
Zensus, demografische und sozioökonomische Daten.
7:43
Die nächste Kategorie ist wichtig, wenn Sie Modelle erstellen, die etwas über Menschen vorhersagen.
7:46
Es geht um Zensus und demografische Daten.
7:48
Microsoft stellt US-Zensusdaten bereit, die Bevölkerung, Einkommen, Bildungsniveau und Altersverteilung abdecken.
7:55
Und sie sind auf verschiedenen geografischen Ebenen verfügbar, ob Bundesstaat, Landkreis oder sogar Zensusbezirk.
7:59
Sie können also das mittlere Haushaltseinkommen für ein bestimmtes Viertel
8:01
oder die Bevölkerungsaufschlüsselung nach Altersgruppen für einen ganzen Bundesstaat abrufen.
8:06
Zudem gibt es den Datensatz zur US-Arbeitsmarktstatistik,
8:09
der Ihnen Beschäftigungsquoten, Erwerbsquoten und Branchenaufschlüsselungen liefert.
8:12
Sie können sehen, wie viele Menschen in einer bestimmten Region im verarbeiteten Gewerbe gegenüber Dienstleistungen arbeiten
8:16
oder wie sich die Arbeitslosigkeit im Laufe der Zeit verändert.
8:19
Warum ist das für Anfänger wichtig?
8:21
Weil dies der perfekte Ausgangspunkt ist, wenn Sie ein Modell erstellen möchten, das etwas über Menschen vorhersagt.
8:25
Ist ein echtes Beispiel.
8:27
Stellen Sie sich vor, Sie erstellen ein Modell für eine Versicherungsgesellschaft.
8:29
Sie haben Schadendaten, Alter und Beträge, aber Ihr Modell ist nicht präzise,
8:32
weil Ihnen der Kontext darüber fehlt, wo diese Leute leben.
8:35
Sie reichern diese Daten also mit Zensusstatistiken zu Einkommen und Bildung an.
8:38
Plötzlich erkennt das Modell Muster, die es zuvor übersehen hatte.
8:42
Menschen in einkommensschwächeren Gegenden stellen andere Ansprüche
8:44
und höhere Bildungsniveaus verändern Risikoprofile.
8:47
Das Modell wird besser, weil es mehr Informationen über die reale Welt erhält.
8:50
Was macht Azure Open Datasets so wertvoll für Anfänger?
8:53
Man muss kein Dateningenieur sein, um Zensusdaten in sein Projekt einzubinden.
8:56
Sie sind bereits bereintesbereit.
8:58
Führen Sie sie mit Ihren eigenen Daten zusammen und Ihre Analyse gewinnt an Tiefe, die sie vorher nicht hat.
9:01
Das befindet sich im Katalog.
9:03
Mobilität, öffentliche Sicherheit und Gesundheitswesen.
9:05
Der klassische Favorit für Anfänger ist der Datensatz zu NYC-Taxifahrten.
9:09
Es ist einer der bekanntesten öffentlichen Datensätze mit Millionen von Fahrtaufzeichnungen
9:12
inklusive Abhol- und Zielzeiten, Standorten und Preisen.
9:15
Jede Fahrt mit einem gelben Taxi in New York erzeugt einen Datensatz,
9:18
wo man eingestiegen ist, wo man ausgestiegen ist, wie viel es gekostet hat und wie lange es gedauert hat.
9:21
Es ist ein großartiger Datensatz, um Datenanalyse zu erinnern.
9:24
Warum lieben ihn Anfänger?
9:25
Weil er interessant und visuell ist.
9:26
Laden Sie in den Power BI und erstellen Sie Karten davon, wohin die Leute am meisten reisen.
9:30
Sehen Sie, wie sich die Preise im Laufe des Tages fällen.
9:32
Kennen Sie Muster.
9:33
Welche Stadtviertel sind zur Hauptverkehrszeit belebt?
9:35
Welche Flughäfen erzeugen die meisten Farben?
9:37
Wie beeinflusst das Wetter das Fahrtaufkommen?
9:39
Erzählt eine Geschichte, daher fühlt sich das Lernen wie das Lösen eines Puzzles an und nicht wie Hausaufgaben.
9:42
Als nächstes kommen Daten zur Öffentlichkeit.
9:44
Microsoft hostet die Sicherheitsdaten von San Francisco, die Kriminalitätsvorfälle mit Art, Ort und Zeitstempel erfassen.
9:50
Wieder perfekt für Anfänger, da die Daten sofort aussagekräftig sind.
9:53
Erstellen Sie Hotspot-Karten, analysieren Sie Kriminalitätsmuster nach Tagesordnung.
9:56
Es zeigt, wie Open Data echte zivile Projekte unterstützt.
9:59
Stadtplaner und Polizei nutzen dies, um zu entscheiden, wo Ressourcen eingesetzt werden.
10:02
Dann gibt es noch den COVID-19 Data Lake.
10:04
Es ist nicht nur ein einzelner Daten.
10:06
Er kombiniert mehrere Quellen.
10:07
Patientenergebnisse, Tests, Krankenhauskapazitäten, Richtlinien, Mobilität.
10:11
Während der Pandemie nutzten Forscher ihn, um das Virus zu verfolgen, seine Ausbreitung zu modellieren und Maßnahmen zu bewerten.
10:16
Das zeigt, wie Open Datasets reale Auswirkungen haben können, wenn sie zugänglich sind.
10:20
Diese drei Datensätze Taxifahrten, öffentliche Sicherheit und COVID-19 haben etwas Wichtiges gemeinsam.
10:25
Sie sind nicht abstrakt.
10:26
Man muss kein Experte sein, um sie zu verstehen.
10:27
Die Daten handeln von echten Menschen, Orten und Ereignissen.
10:30
Das erleichtert das Lernen.
10:32
Es gibt auch Benchmark-Datensätze speziell für Leute, die ML lernen.
10:35
Was ist im Katalog enthalten?
10:36
Benchmark-ML-Datensätze.
10:38
Wir haben also all diese realen Daten aus dem vorherigen Abschnitt.
10:41
Aber was, wenn Sie einem Tutorial folgen und einfach einen sauberen, einfachen Datensatz benötigen, um eine bestimmte Technik zu üben?
10:46
Azure Open Datasets bietet auch hier die passende Lösung.
10:48
Stellen Sie es sich wie ein Werkzeugkasten.
10:49
Sie haben Ihre Elektrowerkzeuge für große Aufgaben und manchmal braucht man einfach einen Hammer, um die Grundlagen zu lernen.
10:53
Dafür sind diese Benchmark-Datensätze gedacht.
10:56
Nehme den Diabetes-Datensatz mit 442 Stichproben und 10 Merkmalen.
11:00
Es ist ein klassisches Regressionsproblem, das man ständig in Lehrbüchern nur Tutorials sieht.
11:04
Und es ist direkt in Azure Open Datasets verfügbar.
11:06
Bereit zum Laden in Azure ML.
11:08
Wenn Sie automatisiertes ML lernen, ist dies ein großartiger Datensatz für den Einstieg.
11:12
Klein genug für schnelle Iterationen, aber realistisch genug, um den Arbeitsablauf zu lernen.
11:15
Dann gibt es noch den Microsoft News Datensatz, kurz MINED, für alle, die sich für Empfehlungssysteme interessieren.
11:22
Es ist ein groß angelegter Benchmark mit Benutzerinteraktionen, Nachrichteninhalten und Metadaten.
11:27
Wenn Sie einen Nachrichtenempfehlungs-Engine erstellen möchten, die Art von System, das den für Sie empfohlenen Bereich auf Nachrichtenwebsites antreibt,
11:33
dies ist der Datensatz, an dem Sie üben können.
11:35
Es ist die gleiche Art von Daten, die echte Empfehlungssysteme verwenden.
11:38
Und es gibt sogar einen simulierten Datensatz für Orangensaft-Verkäufe, der speziell zeigt, wie Azure ML skaliert.
11:43
Sie können tausende von Modellen gleichzeitig mit diesen Daten trainieren,
11:46
was eine großartige Möglichkeit ist, parallele Verarbeitung und über Parameteroptimierung zu verstehen.
11:50
Hier ist der Punkt.
11:51
Wenn Sie einem Azure ML Tutorial folgen und Daten benötigen, befinden diese sich wahrscheinlich bereits in diesem Katalog.
11:56
Microsoft hat sichergestellt, dass die in der Dokumentation und in den Lernpfaden verwendeten Datensätze über Open Datasets verfügbar sind,
12:02
sodass Sie nicht nach der genauen Datei suchen müssen, die das Tutorial verwendet.
12:06
Die ist bereits dort.
12:08
Aber ein großartiger Katalog nützt nichts, wenn man die Daten nicht tatsächlich abrufen kann.
12:12
Zugriff auf Open Datasets, Python, Power BI und Azure ML.
12:16
Sie haben also gesehen, was im Katalog enthalten ist, aber die eigentliche Frage ist jetzt, wie Sie diese Daten tatsächlich in die Hände bekommen.
12:21
Die Antwort hängt vom verwendeten Tool ab, aber es gibt mehrere Wege.
12:25
Und für einige davon ist nicht einmal ein Azure-Konto erforderlich.
12:28
Lassen Sie es uns aufhören.
12:29
Die einfachste Option, Python.
12:30
Aus jeder Python-Umgebung kein Azure-Konto erforderlich.
12:33
Microsoft veröffentlicht ein Python-Paket namens Azure ML Open Datasets.
12:36
Sie installieren es mit PIP und importieren dann jeden Datensatz direkt.
12:39
Zum Beispiel vom Azure ML.
12:41
Punkt Open Datasets, import no IR weather.
12:45
Sie geben ein Start- und ein Enddatum an und das Paket erledigt den Rest.
12:49
Es lädt die relevanten Dateien aus dem Azure-Speicher herunter, verarbeitet sie und gibt ihnen einen Pandas DataFrame zurück.
12:55
Das war's.
12:55
Drei Zeilen Code und Sie haben jahrzehntelange Wetterdaten bereit zur Analyse.
12:58
Dies funktioniert in Jupyter Notebook, VOS Code oder jeder Python-Umgebung, mit der Sie vertraut sind.
13:03
Innerhalb von Azure Machine Learning ist der Prozess sogar noch reibungsloser.
13:06
Sie öffnen Ihren Arbeitsbereich, gehen zum Datenbereich, klicken auf Erstellen und wählen dann aus den Azure Open Datasets.
13:12
Ein Katalog öffnet sich und zeigt Ihnen alles, was verfügbar ist.
13:15
Sie stöbern darin, wählen den gewünschten Datensatz aus, filtern ihn nach Zeitraum oder geografischem Gebiet und registrieren ihn in Ihrem Arbeitsbereich.
13:21
Sobald er registriert ist, generiert Azure ML automatisch einen Codeschnipsel, den Sie in jeder Pipeline oder jedem Experiment verwenden können, sodass Sie sich keine Speicherpfade oder Importsyntax merken müssen.
13:30
Es wird alles für Sie erledigen.
13:31
Was ist mit Power BI?
13:32
Hier wird es für Analysten interessant, die keinen Code schreiben.
13:35
Sie können den Azure Blob Storage Connector in Power BI verwenden und ihn auf die öffentlichen Speicher-URLs richten, die Microsoft für jeden Datensatz dokumentiert.
13:41
Wenn Sie also NYC-Taxidaten in ein Dashboard ziehen möchten, finden Sie die Speicher-URL auf der Übersichtsseite der Datensätze, fügen Sie in Power BI ein und beginnen mit der Erstellung von Visualisierungen.
13:49
Wetterdaten, Taxifahrten, Vorfälle der öffentlichen Sicherheit – alles direkt in Ihren Berichten verfügbar, ohne zwischengeschaltete Datentechnik.
13:58
Für die SQL-Anwender gibt es Azure Synapse.
14:00
Sie können offene Datensätze mit der OpenRowset-Funktion über die öffentlichen Blobfader abfragen.
14:04
Dies ist serverloses SQL, was bedeutet, dass Sie keinen Speicher im Voraus bereitstellen müssen.
14:09
Sie schreiben einfach eine Abfrage und Synapse liest die Daten direkt von Ihrem Speicherort.
14:12
Möchten Sie wissen, wie viele Taxifahrten am Weihnachtstag 2019 stattfinden?
14:16
Sie schreiben eine SQL-Abfrage und haben die Antwort in Sekunden.
14:19
Und wenn Sie Azure Databricks verwenden, funktioniert dasselbe Python-SDK in Databricks Notebooks,
14:24
aber Sie können Spark-Dataframes anstelle von Pandas verwenden, was bei der Arbeit mit größeren Datensätzen wichtig ist.
14:30
Die NYC-Taxidaten umfassen Millionen von Datensätzen.
14:32
Pandas kann das zwar verarbeiten, aber Spark kann es besser.
14:35
Gleicher Import, gleiche Syntax, nur mit Spark im Hintergrund.
14:38
Hier ist der gemeinsame Nenner all dieser Methoden.
14:41
Microsoft veröffentlicht die Speicherkonto-URLs für jeden Datensatz.
14:43
Und diese URLs sind öffentlich.
14:45
Jeder kann mit jedem beliebigen Tool darauf zugreifen.
14:47
Das Azure Open Datasets SDK ist lediglich eine Komfortschicht darüber.
14:50
Wenn Sie wollten, könnten Sie Ihren eigenen Code schreiben, um die rohen Paket-Dateien direkt von diesen Speicher-URLs zu lesen.
14:55
Das SDK macht es Ihnen nur einfacher, indem es die Datumsfilterung und Konvertierung für Sie übernimmt.
14:59
Die Kostenfrage.
15:00
Ist es wirklich kostenlos?
15:02
Das ist die Frage, die jeder stellt.
15:03
Ist es wirklich kostenlos?
15:04
Die kurze Antwort lautet, ja, aber auch nein.
15:07
Hier ist der Grund, warum beides zutritt.
15:08
Tatsächlich sind die Daten selbst vollkommen kostenlos.
15:10
Microsoft bezahlt dauerhaft für die Speicherung.
15:12
Es ist keine Werbeaktion oder ein zeitlich begrenztes Ding.
15:14
Es ist fest in das Design des Dienstes integriert.
15:16
Sie hosten die Daten, Sie bezahlen die Rechnung und Sie greifen darauf zu, ohne einen Cent für die Daten selbst auszugeben.
15:20
Aber hier kommen die Kosten ins Spiel.
15:22
Sie bezahlen für die Rechenleistung.
15:23
Bedeutet, wenn Sie eine virtuelle Maschine zur Verarbeitung der Datenstaten starten, bezahlen Sie für diese voll.
15:27
Für einen Databricks-Cluster, der Millionen von Taxifahrten analysiert, bezahlen Sie diesen Cluster.
15:30
Wenn Sie Synapses Serverless SQL nutzen, bezahlen Sie für die Abfragen, die Sie ausführen.
15:34
Das sind standardmäßige Azure-Kosten.
15:35
Sie sind nicht spezifisch für offene Datensätze.
15:38
Dann gibt es noch den Datenausgang.
15:39
Das kann ein unvorbereitet Treffen.
15:40
Wenn Sie Daten über Azure-Regionen hinweg oder komplett aus Azure heraus verschieben, fallen Egress-Gebühren ab.
15:46
Die typischen Preise liegen bei etwa 8 bis 9 Cent pro Gigabyte.
15:49
Das klingt nicht nach viel, bis Sie Terabytes verschieben.
15:52
Und einige dieser Datensätze sind riesig.
15:54
Die Wetterdaten allein decken Jahrzehnte und mehrere Wetterstationen ab.
15:57
Diese komplett aus einer anderen Region zu lesen, summiert sich schnell.
16:00
Es gibt auch die Kosten für Ihren eigenen Speicher.
16:01
Vielleicht kopieren Sie Daten in Ihre eigenen Speicherkonten, weil Sie einen Snapshot behalten oder sie transformieren möchten.
16:05
Sie bezahlen für diesen Speicher zu den Azure-Standard-Tarifen.
16:08
Microsoft ist diesbezüglich transparent.
16:10
Wenn für einen Datensatz Egress-Gebühren anfallen, finden Sie dies auf der Übersichtsseite dokumentiert.
16:14
Kein Überraschungsrecht.
16:15
Sie müssen dies jedoch prüfen, bevor Sie große Datenmengen über Regionen hinweg abnehmen.
16:18
Ist der wichtigste Tipp für Einsteiger.
16:20
Behalten Sie Ihre Rechenmessource in derselben Region wie in der.
16:22
Jeder Datensatz hat eine festgelegte Region, in der er gehostet wird.
16:24
Wenn sich Ihre VM- oder Ihr Databricks-Cluster in derselben Region befindet, vermeiden Sie Egress-Gebühren vollständig.
16:29
Die Daten bleiben lokal, die Abfragen sind schneller und Ihre Rechnung bleibt niedrig.
16:32
Betrachten wir zwei echte Szenarien, um das zu verdeutlichen.
16:35
Szenario 1.
16:35
Sie sind Anfänger und ziehen eine kleine Stichprobe von Wetterdaten in ein Power BI-Dashboard.
16:39
Ein paar tausend Zeilen, vielleicht ein paar Megabyte.
16:41
Ihre Rechenkosten liegen bei Null, weil Power BI das übernimmt.
16:44
Ihre Egress-Kosten liegen bei Null, weil Sie nicht viel bewegen.
16:46
Das kostet Sie nichts außer.