Latest / M365.FM – Podcast Microsoft 365, Copilot & IA en français / Azure Open Datasets expliqué : données publiques gratuites et nettoyées pour le machine learning, Power BI et Python (Doublage IA)

Transcript

Azure Open Datasets expliqué : données publiques gratuites et nettoyées pour le machine learning, Power BI et Python (Doublage IA) · M365.FM – Podcast Microsoft 365, Copilot & IA en français

0:00
Speaker 2: Prêt pour 10 jours consacrés à Microsoft 365, Copilote, l'IA,
0:04
Speaker 2: Azure et aux personnes qui façonnent l'avenir du travail et accès.
0:07
Speaker 2: En janvier prochain, la M365Con est de retour et nous
0:11
Speaker 2: voyons plus grand. Rejoignez-nous pour des sessions en direct, des
0:14
Speaker 2: démonstrations concrètes et des conseils pratiques d'experts et de MVP
0:17
Speaker 2: du monde entier. Pas de diapositives génériques, pas de jargon interminable.
0:22
Speaker 2: Nous abordons les vrais défis. Copilote Studio, les agents IA, Fabrique,
0:26
Speaker 2: la sécurité, la gouvernance et l'automatisation. Que vous soyez professionnel
0:31
Speaker 2: de l'informatique, développeur ou dirigeant, des sessions sont conçues pour vous.
0:35
Speaker 2: Avec 10 jours complets, vous pourrez explorer de nombreuses technologies
0:38
Speaker 2: et échanger avec une communauté mondiale. Suivez le direct et
0:42
Speaker 2: rapportez des idées pratiques dans votre entreprise. Janvier 2027, des
0:45
Speaker 2: 10 jours. Une seule communauté, Microsoft. Les inscriptions sont ouvertes
0:50
Speaker 2: dès maintenant. Réservez votre place aujourd'hui. Rendez-vous sur m365n. net à...
1:00
Speaker 2: Inscrivez-vous sur m365con. net et nous nous retrouverons en direct en janvier.
1:05
Speaker 2: Bienvenue dans un nouvel épisode de Microsoft Knowledge Nuggets. Je
1:07
Speaker 2: suis Mirko Peters. Le sujet d'aujourd'hui est celui auquel presque
1:10
Speaker 2: tous les apprenants en sciences des données ou en machine
1:11
Speaker 2: learning sont confrontés. Vous avez suivi quelques tutoriels, maîtrisé les bases,
1:14
Speaker 2: mais un obstacle vous bloque systématiquement, non. Vous n'avez pas
1:18
Speaker 2: de données intéressantes pour vous entraîner. Vous commencez à chercher
1:21
Speaker 2: des jeux de données publiques et c'est là que les
1:22
Speaker 2: ennuis commencent. Vous trouvez un site gouvernemental avec des données météo,
1:25
Speaker 2: ce qui est génial, mais les fichiers sont dans un
1:26
Speaker 2: format étrange que vous n'avez jamais vu. Les noms des
1:29
Speaker 2: colonnes ne veulent rien dire, et la moitié des valeurs
1:31
Speaker 2: sont manquantes. Vous passez des heures à essayer d'ouvrir le fichier,
1:34
Speaker 2: et une fois nettoyé pour être utilisable, votre enthousiasme a disparu.
1:37
Speaker 2: Je suis passé par là, et c'est frustrant. L'épisode d'aujourd'hui
1:39
Speaker 2: élimine complètement ce problème. A la fin de cet épisode,
1:42
Speaker 2: vous saurez ce qu'est Azure Open Datasets et comment obtenir
1:45
Speaker 2: gratuitement des données prêtes à l'emploi en quelques minutes, sans scrapping,
1:48
Speaker 2: ni nettoyage, ni casse-tête. Entrons dans le vif du sujet.
1:51
Speaker 2: Qu'est-ce qu'Azure Open Datasets exactement? Alors, qu'est-ce qu'Azure Open Datasets?
1:56
Speaker 2: C'est la définition la plus simple. C'est une bibliothèque gratuite
1:58
Speaker 2: de jeux de données publiques que Microsoft a déjà nettoyé
2:00
Speaker 2: et hébergé sur Azure. Imaginez une bibliothèque où quelqu'un a
2:03
Speaker 2: déjà vérifié chaque livre, corrigé les erreurs et tout classé.
2:06
Speaker 2: Par ordre alphabétique, vous n'avez plus qu'à entrer et apprendre
2:09
Speaker 2: ce dont vous avez besoin. C'est un point important. Ce
2:12
Speaker 2: n'est pas un service payant séparé auquel vous devez souscrire
2:14
Speaker 2: ou un module complémentaire premium. Il s'agit simplement de données
2:17
Speaker 2: stockées sur Azure auxquelles vous pouvez accéder. Microsoft a récupéré
2:20
Speaker 2: des jeux de données publiques. auprès d'organismes comme l'ANOA, le
2:23
Speaker 2: Bureau du Recensement des Etats-Unis et les administrations municipales, et
2:25
Speaker 2: à effectuer tout le travail fastidieux de normalisation des schémas,
2:28
Speaker 2: de correction des incohérences et de planification des mises à
2:30
Speaker 2: jour pour que les données restent actuelles. Comparer cela à
2:33
Speaker 2: l'ancienne méthode de travail. Vous trouviez un jeu de données
2:36
Speaker 2: sur un site gouvernemental, téléchargiez un fichier zip rempli de
2:39
Speaker 2: fichiers CSV au format disparate, pour finalement découvrir des valeurs manquantes,
2:42
Speaker 2: des formats de dates étranges et des colonnes qui ne
2:44
Speaker 2: correspondent pas d'un fichier à l'autre. Ensuite, vous passiez des heures,
2:47
Speaker 2: parfois des jours, à écrire du code pour tout nettoyer,
2:50
Speaker 2: Une fois terminé, vous n'étiez même pas certain d'avoir bien
2:52
Speaker 2: fait le travail. Microsoft occupe de tout cela. Il normalise
2:56
Speaker 2: les données dans des schémas cohérents, comble les lacunes et
2:58
Speaker 2: les stocke au format parquet, un format de stockage en
3:00
Speaker 2: colonne qui rend les requêtes ultra rapides. Si vous avez
3:03
Speaker 2: déjà essayé d'interroger un fichier CSV géant en attendant indéfiniment
3:06
Speaker 2: son chargement, vous apprécierez ce que fait parquet. Il est
3:08
Speaker 2: optimisé pour l'analytique, si bien que vos requêtes s'exécutent beaucoup
3:11
Speaker 2: plus rapidement que sur des fichiers textes classiques. Voici le
3:13
Speaker 2: point essentiel. Les données en elles-mêmes sont gratuites et Microsoft
3:15
Speaker 2: prend toujours en charge le coût de stockage. Vous ne
3:17
Speaker 2: payez pour le calcul que si vous traitez les données,
3:18
Speaker 2: et nous en reparlerons plus tard. Mais les données stockées
3:21
Speaker 2: dans Azure ne vous coûtent rien. Laissez-moi vous donner une
3:23
Speaker 2: analogie pour rendre cela concret. Imaginez que vous vous emménagez
3:26
Speaker 2: dans un nouvel immeuble de bureau. Dans l'ancienne méthode, vous
3:28
Speaker 2: recevriez un tas de bois, des cloisons sèches, des câbles
3:30
Speaker 2: et des installations de plomberie et vous devriez construire chaque
3:32
Speaker 2: pièce vous-même à partir de zéro. C'est ce que l'on
3:36
Speaker 2: ressent en travaillant avec des données publiques brutes. Azure Open
3:38
Speaker 2: Data Set, c'est tout l'inverse. Ce sont des pièces de
3:40
Speaker 2: données préconstruites dans lesquelles vous pouvez entrer. La salle météo
3:43
Speaker 2: est déjà meublée, la salle du recensement a tout étiqueté
3:45
Speaker 2: et organisé. Vous n'avez rien à assembler. Vous entrez simplement
3:49
Speaker 2: et vous commencez à travailler. Le problème résolu par Open
3:52
Speaker 2: Data Sets. Alors pourquoi Microsoft a-t-il créé ça? Quel problème
3:54
Speaker 2: cherchait-il à résoudre? Analysons cela. La découverte est le premier problème.
3:58
Speaker 2: Vous avez besoin de données publiques fiables, mais les trouver
4:00
Speaker 2: prend du temps. Il existe des centaines de sites web gouvernementaux,
4:02
Speaker 2: de dépôts académiques et de portails de données. Certains sont
4:05
Speaker 2: bien entretenus, d'autres sont à l'abandon, et certains vous obligent
4:07
Speaker 2: à remplir des formulaires ou à accepter des licences avant
4:09
Speaker 2: de pouvoir télécharger quoi que ce soit. Le simple fait
4:11
Speaker 2: de trouver un jeu de données propre et utilisable peut
4:13
Speaker 2: dévorer des jours de recherche. Ensuite, il y a le
4:15
Speaker 2: problème de la préparation. Les données brutes provenant de sources
4:17
Speaker 2: gouvernementales sont désordonnées, incohérentes et pleines de lacus. Prenez les
4:20
Speaker 2: données météorologiques de la Noire. Cela provient de milliers de
4:22
Speaker 2: stations météorologiques à travers le monde, chacune utilisant des formats
4:25
Speaker 2: légèrement différents. Certaines stations indiquent la température en degrés Celsius,
4:29
Speaker 2: d'autres en Fahrenheit, certaines enregistrent les précipitations, d'autres non, et
4:32
Speaker 2: certaines disposent d'années de données propres, tandis que d'autres présentent
4:34
Speaker 2: d'énormes lacunes dues à des capteurs défectueux. Nettoyer tout cela
4:37
Speaker 2: manuellement est un travail fastidieux. L'échelle est un autre problème.
4:39
Speaker 2: Certains de ces ensembles de données sont énormes. Les données
4:41
Speaker 2: météorologiques couvrent des décennies. Les données des taxis New York
4:44
Speaker 2: ont des centaines de millions de trajets. L'imagerie satellite se
4:46
Speaker 2: contemplait à octets. Transférer autant de données vers votre environnement
4:49
Speaker 2: de calcul est lent et coûteux. Si vous exécutez un
4:52
Speaker 2: modèle d'apprentissage automatique sur une machine virtuelle cloud, vous ne
4:54
Speaker 2: voulez pas passer des heures à télécharger des données avant
4:55
Speaker 2: même de pouvoir commencer l'entraînement. Et enfin, la reproductibilité est essentielle.
4:59
Speaker 2: Lorsque vous menez des expériences, vous avez besoin que vos
5:01
Speaker 2: données soient cohérentes. Si vous téléchargez un ensemble de données
5:04
Speaker 2: aujourd'hui et que votre collègue le télécharge la semaine prochaine,
5:05
Speaker 2: vous avez besoin d'avoir la même chose. Des ensembles de
5:07
Speaker 2: données documentées et organisées rendent les expériences reproductibles. Vous pouvez
5:10
Speaker 2: publier vos résultats et quelqu'un d'autre peut les vérifier en
5:12
Speaker 2: utilisant exactement les mêmes données. Maintenant, dissipons un mythe. La
5:16
Speaker 2: plupart des gens pensent que l'apprentissage automatique ne concerne que l'algorithme,
5:18
Speaker 2: mais la vraie découverte de Microsoft est que la plupart
5:20
Speaker 2: des problèmes d'apprentissage automatique sont influencés par des facteurs réels. Météo,
5:23
Speaker 2: jour férié, démographie, conditions économiques. Si vous essayez de prédire
5:27
Speaker 2: des ventes, savoir s'il s'agit d'un jour férié ou d'un
5:28
Speaker 2: mardi pluvieux fait une énorme différence. Si vous prévoyez la
5:31
Speaker 2: consommation d'énergie, la température et l'heure de la journée, n'importe.
5:34
Speaker 2: Si vous modélisez un risque d'assurance, la démographie du quartier
5:36
Speaker 2: est cruciale. Sans ces signaux externes, votre modèle manque de contexte.
5:40
Speaker 2: C'est comme essayer de prédire la circulation sans savoir quelle
5:42
Speaker 2: heure il est, Vous pourriez identifier certains modèles, mais vous
5:45
Speaker 2: passerez à côté de la situation globale. Et c'est là
5:47
Speaker 2: le cœur du problème du délai d'accès aux données. Il
5:49
Speaker 2: peut falloir des semaines de travail juste pour obtenir des
5:50
Speaker 2: données utilisables. Des semaines de recherche, de téléchargement, de nettoyage
5:53
Speaker 2: et de validation. Au moment où les données sont prêtes,
5:55
Speaker 2: la question commerciale peut avoir changé. Azure Open Dataset réduit
5:59
Speaker 2: ce délai de quelques semaines à quelques minutes. Qu'y a-t-il
6:01
Speaker 2: dans le catalogue? La météo et les jours fériés. Plongeons
6:04
Speaker 2: dans ce que contient réellement ce catalogue. Le premier ensemble
6:06
Speaker 2: de données que presque tout le monde trouve utile est
6:08
Speaker 2: celui sur la météo. Microsoft héberge l'ensemble de données météorologiques
6:10
Speaker 2: de l'année. Il vous fournit des relevés historiques et en
6:12
Speaker 2: temps quasi réel provenant de stations météorologiques du monde entier.
6:15
Speaker 2: Nous parlons de température, de précipitation, de vitesse du vent,
6:18
Speaker 2: de pression barométrique. Le type de données qui influence tout,
6:20
Speaker 2: de plus que les gens achètent jusqu'à la quantité d'énergie
6:22
Speaker 2: qu'ils consomment. Et il couvre des décennies de données, mises
6:24
Speaker 2: à jour régulièrement. Donc si vous souhaitez examiner les conditions
6:27
Speaker 2: météorologiques des années 1990 ou obtenir les relevés de la
6:29
Speaker 2: semaine dernière, tout y est. Les données météorologiques sont formidables.
6:32
Speaker 2: Et voici le point important. Il existe un autre ensemble
6:34
Speaker 2: de données qui s'y associe parfaitement. Les jours fériés. Microsoft
6:37
Speaker 2: propose un ensemble de données sur les jours fériés couvrant
6:39
Speaker 2: 38 pays de 1970 jusqu'en 2097. Ainsi, vous pouvez regarder
6:42
Speaker 2: en arrière pour une analyse historique ou vers l'avenir pour planifier.
6:45
Speaker 2: Vous fournit des indicateurs de jours fériés spécifiques à chaque
6:47
Speaker 2: pays pour toute plage de données. Besoin de savoir si
6:49
Speaker 2: un mardi donné est un jour férié au Japon? C'est inclus.
6:52
Speaker 2: Vous voulez vérifier si ce lundi d'août est un jour
6:54
Speaker 2: férié au Royaume-Uni? Une seule requête et vous l'obtenez. Pourquoi
6:57
Speaker 2: ces deux ensembles de données sont-ils si puissants ensemble? La
6:59
Speaker 2: météo et les jours fériés améliorent considérablement les prédictions de
7:01
Speaker 2: séries temporaires. Pensez aux prévisions des ventes au détail. Si
7:04
Speaker 2: vous essayez de prédire le nombre d'unités d'un produit que
7:06
Speaker 2: vous vendrez la semaine prochaine, savoir que c'est un jour
7:08
Speaker 2: férié et qu'il va pleuvoir peut réduire votre erreur de
7:10
Speaker 2: prédiction de deux chiffres. Ce n'est pas une petite amélioration.
7:13
Speaker 2: C'est la différence entre avoir trop de stock dans un
7:15
Speaker 2: entrepôt et être en rupture de stock sur votre meilleur produit.
7:19
Speaker 2: Et voici le fait. La plupart des entreprises n'ont pas
7:21
Speaker 2: ces données en interne. Elles ont leurs données de vente,
7:24
Speaker 2: bien sûr, mais n'ont pas de source propre et fiable
7:26
Speaker 2: d'historique météo ou de calendrier de jour férié. Elles doivent
7:29
Speaker 2: donc soit les créer elles-mêmes, ce qui prend du temps,
7:30
Speaker 2: soit s'en passer, ce qui nuise à leurs prédictions. Azure
7:33
Speaker 2: Open Data Sets leur fournit cette pièce manquante instantanément. Mais
7:36
Speaker 2: la météo et les jours fériés ne sont qu'un début.
7:39
Speaker 2: Qui est à le catalogue? Données de recensement, démographiques et socio-économiques.
7:43
Speaker 2: La catégorie suivante compte si vous construisez des modèles prédisant
7:45
Speaker 2: quelque chose sur les gens. Il s'agit des données de
7:47
Speaker 2: recensement et démographie. Microsoft héberge des données de recensement américains
7:51
Speaker 2: couvrant la population, le revenu, les niveaux d'éducation et la
7:53
Speaker 2: répartition par âge. Et c'est disponible à différents niveaux géographiques,
7:57
Speaker 2: de l'état au comté, voire au secteur de recensement. Vous
7:59
Speaker 2: pouvez ainsi obtenir le revenu médian des ménages pour un
8:01
Speaker 2: quartier spécifique ou la répartition de la population par groupe
8:04
Speaker 2: d'âge pour tout un état. Il y a aussi l'ensemble
8:06
Speaker 2: de données sur les statistiques de la population active américaine
8:09
Speaker 2: qui vous donne les taux d'emploi, les chiffres de participation
8:10
Speaker 2: au travail, les chiffres de partition au travail et la
8:12
Speaker 2: répartition par secteur. Vous pouvez voir combien de personnes travaillent
8:14
Speaker 2: dans l'industrie par rapport aux services dans une région donnée
8:16
Speaker 2: ou comment le chômage a évolué au fil du temps.
8:19
Speaker 2: Pourquoi est-ce important pour les débutants? Parce que si vous
8:21
Speaker 2: voulez construire un modèle qui prédit quelque chose sur les gens,
8:23
Speaker 2: c'est l'endroit idéal pour commencer. Voici un exemple concret. Imaginez
8:27
Speaker 2: que vous construisez un modèle pour une compagnie d'assurance. Vous
8:29
Speaker 2: avez des données de sinistre, des âges, des montants, mais
8:31
Speaker 2: votre modèle n'est pas précis car il vous manque le
8:33
Speaker 2: contexte selon, sur l'endroit où vivent ces personnes. Vous enrichissez
8:36
Speaker 2: donc ces données avec des statistiques de recensement sur les
8:38
Speaker 2: revenus et l'éducation. Soudain, le modèle identifie des modèles qui
8:41
Speaker 2: lui échappaient auparavant. Les habitants des zones à faible revenu
8:43
Speaker 2: déposent des dossiers différents et le niveau d'éducation modifie les
8:46
Speaker 2: profils de risque. Le modèle s'améliore car il dispose de
8:49
Speaker 2: davantage d'informations sur le monde réel. C'est ce qui rend
8:51
Speaker 2: les jeux de données ouverts, azur, précieux pour les débutants.
8:53
Speaker 2: Vous n'avez pas besoin d'être ingénieur en données pour intégrer
8:55
Speaker 2: des données de recensement à votre projet. Elles sont déjà
8:57
Speaker 2: nettoyées et prêtes à l'emploi. Associez-les à vos propres données
8:59
Speaker 2: et votre analyse gagne en profondeur. Que contient le catalogue? Mobilité,
9:04
Speaker 2: sécurité publique et santé. Le favori classique des débutants est
9:07
Speaker 2: le jeu de données des trajets en taxi de New York.
9:09
Speaker 2: C'est l'un des jeux de données publics les plus connus,
9:11
Speaker 2: avec des millions d'enregistrements de trajets incluant les horaires, les
9:13
Speaker 2: lieux et les tarifs et les tarifs. Chaque trajet en
9:16
Speaker 2: taxi jeune à New York génère un enregistrement. Lieux de
9:18
Speaker 2: prise en charge, lieux de dépose, coûts et durée du trajet.
9:21
Speaker 2: C'est un excellent jeu de données pour apprendre l'analyse de données.
9:23
Speaker 2: Pourquoi les débutants l'aiment-ils? Parce qu'il est intéressant et visuel.
9:26
Speaker 2: Chargez-le dans Power BI et commencez à cartographier les déplacements
9:29
Speaker 2: les plus fréquents. Observez comment les tarifs évoluent au cours
9:31
Speaker 2: de la journée. Repérez les tendances. Quels quartiers sont les
9:33
Speaker 2: plus fréquentés aux heures de point? Quels aéroports génèrent le
9:36
Speaker 2: plus de trajets? Comment la météo influe-t-elle sur le volume
9:38
Speaker 2: de trajet? Cela raconte une histoire. L'apprentissage devient donc un
9:41
Speaker 2: puzzle à résoudre, pas un devoir à faire. Viennent ensuite
9:43
Speaker 2: les données de sécurité publique. Microsoft héberge les données de
9:45
Speaker 2: sécurité de San Francisco, qui enregistrent les incidents criminels avec
9:48
Speaker 2: leur type, lieu et horodatage. Parfait pour les débutants, car
9:51
Speaker 2: les données sont immédiatement compréhensibles. Créer des cartes de zone
9:53
Speaker 2: critique et analyser les tendances de criminalité par un. Cela
9:56
Speaker 2: montre comment les données ouvertes soutiennent de vrais projets civiques.
9:59
Speaker 2: Les urbanistes et la police les utilisent pour décider où
10:01
Speaker 2: déployer leurs ressources. Il y a ensuite le lac de
10:03
Speaker 2: données Covid-19, mais pas juste un seul jeu de deux.
10:06
Speaker 2: Il combine plusieurs sources, résultats des patients, tests, capacités hospitalières, politiques, mobilité.
10:11
Speaker 2: Pendant la pandémie, les chercheurs l'ont utilisé pour suivre le virus,
10:13
Speaker 2: modéliser sa propagation et évaluer les interventions. Cela montre l'impact
10:17
Speaker 2: réel des jeux de données ouverts lorsqu'ils sont accessibles. Ces
10:20
Speaker 2: trois jeux de données, Taxi, Sécurité publique et Covid-19, ont
10:23
Speaker 2: un point commun important. Important. Ils ne sont pas abstraits.
10:26
Speaker 2: Vous n'avez pas besoin d'être un expert pour les comprendre.
10:27
Speaker 2: Les données concernent des personnes, des lieux et des événements réels.
10:30
Speaker 2: Cela facilite l'apprentissage. Il existe aussi des jeux de données
10:33
Speaker 2: de référence pour ceux qui apprennent spécifiquement le Machine Learning.
10:35
Speaker 2: Que contient le catalogue? Des jeux de données de référence
10:37
Speaker 2: pour le Machine Learning. Vous disposez donc de toutes ces
10:39
Speaker 2: données réelles issues de la section précédente. Mais que faire
10:41
Speaker 2: si vous suivez un tutoriel et avez juste besoin d'un
10:43
Speaker 2: jeu de données simple et propre pour pratiquer une technique spécifique?
10:46
Speaker 2: Les Azure Open Data Sets sont là aussi pour vous aider.
10:48
Speaker 2: Voyez cela comme une boîte à outils. Vous avez vos
10:50
Speaker 2: outils électriques pour les gros travaux, mais parfois vous avez
10:51
Speaker 2: juste besoin d'un simple marteau pour apprendre les bases. C'est
10:54
Speaker 2: à cela que servent ces jeux de données de référence.
10:56
Speaker 2: Prenons le jeu de données sur le diabète, avec ses
10:58
Speaker 2: 442 échantillons et 10 caractéristiques. C'est un problème de régression
11:01
Speaker 2: classique que l'on retrouve tout le temps dans les manuels
11:03
Speaker 2: disponibles dans les Azure Open Data Sets et prêts à
11:06
Speaker 2: être rechargés dans Azure ML. Si vous apprenez le ML automatisé,
11:10
Speaker 2: c'est un excellent jeu de données pour commencer. C'est petit
11:13
Speaker 2: pour itérer rapidement, mais assez réel pour vous enseigner le
11:14
Speaker 2: flux de travail automatisé. Il y a aussi le jeu
11:17
Speaker 2: de données Microsoft News, appelé Mind, pour ceux qui s'intéressent
11:20
Speaker 2: au système de recommandations. C'est une référence à grande échelle,
11:24
Speaker 2: avec des interactions utilisateurs, du contenu d'actualité et des métadonnées.
11:27
Speaker 2: Si vous souhaitez créer un moteur de recommandations d'actualité, du
11:29
Speaker 2: type de ceux qui alimentent la section recommandée pour vos
11:31
Speaker 2: UG sur les sites d'infos, sur les sites d'infos, c'est
11:33
Speaker 2: le jeu de données idéal pour vous entraîner. C'est le
11:35
Speaker 2: même type de données utilisée par les systèmes de recommandations réels,
11:38
Speaker 2: et il existe même un jeu de données simulé de
11:40
Speaker 2: vente de jus d'orange pour montrer comment Azure ML évolue.
11:43
Speaker 2: Vous pouvez entraîner des milliers de modèles simultanément sur ces données,
11:46
Speaker 2: ce qui est un excellent moyen de comprendre le traitement
11:47
Speaker 2: parallèle et le réglage des hyperparamètres. Mais c'est le point important.
11:51
Speaker 2: Si vous suivez un tutoriel Azure ML et avez besoin
11:53
Speaker 2: de données, elles se trouvent probablement déjà dans ce catalogue.
11:56
Speaker 2: Microsoft a veillé à ce que les jeux de données
11:59
Speaker 2: utilisés dans leur documentation soient disponibles via Open Datasets pour
12:03
Speaker 2: vous éviter de chercher le fichier exact du tutoriel. Il
12:06
Speaker 2: est déjà là. Mais avoir un super catalogue est inutile
12:10
Speaker 2: si vous ne pouvez pas accéder aux données. Comment accéder
12:13
Speaker 2: aux jeux de données ouverts Python, Power BI et Azure ML?
12:16
Speaker 2: Vous avez vu ce que contient le catalogue, mais la
12:18
Speaker 2: vraie question est comment obtenir concrètement ces données? La réponse
12:22
Speaker 2: dépend de l'outil que vous utilisez, mais il existe plusieurs voies,
12:25
Speaker 2: dont certaines ne nécessitent même pas de compte Azure. Analysons cela.
12:29
Speaker 2: L'option la plus simple, Python. Depuis n'importe quel environnement Python,
12:31
Speaker 2: aucun compte Azure n'est nécessaire. Microsoft publie un paquet Python
12:34
Speaker 2: appelé Azure ML Open Datasets. Vous l'installez avec Pip, puis
12:37
Speaker 2: vous importez n'importe quel jeu de données directement. Par exemple,
12:40
Speaker 2: from Azure ML, Open Data Sets, Import, No RR, Weather.
12:45
Speaker 2: Vous spécifiez une date de début et une date de fin,
12:47
Speaker 2: et le paquet s'occupe du reste. Il télécharge les fichiers
12:50
Speaker 2: pertinents depuis le stockage Azure, les traite et vous renvoie
12:52
Speaker 2: un data frame Pandas. C'est tout. Trois lignes de code
12:56
Speaker 2: et vous avez des décennies de données météo prêtes à
12:58
Speaker 2: être analysées. Cela fonctionne depuis Jupyter Notebook, VS Code ou
13:01
Speaker 2: n'importe quel environnement Python que vous préférez. Dans Azure Machine Learning,
13:04
Speaker 2: le processus est encore plus fluide. Vous ouvrez votre espace
13:07
Speaker 2: de travail, allez dans la section Données, cliquez sur Créer,
13:09
Speaker 2: puis choisissez parmi les jeux de données ouvert Azure. Un
13:13
Speaker 2: catalogue s'affiche, vous montrant tout ce qui est disponible. Vous parcourez,
13:16
Speaker 2: choisissez le jeu de données souhaité, le filtrez par plage
13:17
Speaker 2: de date ou zone géographique et l'enregistrez dans votre espace
13:21
Speaker 2: de travail. Une fois enregistré, Azure ML génère automatiquement un
13:24
Speaker 2: extrait de code que vous pouvez utiliser, dans n'importe quel
13:26
Speaker 2: pipeline ou expérience, sans avoir à retenir les chemins de
13:28
Speaker 2: stockage ou la syntaxe d'importation. Tout est géré pour vous.
13:31
Speaker 2: Qu'en est-il de Power BI? C'est là que les choses
13:33
Speaker 2: deviennent intéressantes pour les analystes qui ne codent Vous pouvez
13:35
Speaker 2: utiliser le connecteur Stockage Blob Azure dans Power BI et
13:38
Speaker 2: le pointeur vers les URL de stockage public documenté par
13:40
Speaker 2: Microsoft pour chaque jeu de données. Ainsi, si vous voulez
13:42
Speaker 2: intégrer les données des taxis New Yorkais dans un tableau
13:44
Speaker 2: de bord, vous trouvez l'URL de stockage sur la page
13:46
Speaker 2: de présentation, vous l'insérez dans Power BI et commencez à
13:48
Speaker 2: créer vos visualisations. Données météo, trajet en taxi, incidents de
13:53
Speaker 2: sécurité publique, tout est disponible directement dans vos rapports sans
13:55
Speaker 2: aucune ingénierie de données intermédiaires. Pour les adeptes de SQL
13:59
Speaker 2: et Azure Synapse, vous pouvez interroger les jeux de données
14:01
Speaker 2: ouverts en utilisant la fonction OpenRocet sur les chemins blocs publics.
14:04
Speaker 2: Il s'agit de SQL sans serveur, ce qui signifie que
14:06
Speaker 2: vous n'avez pas besoin de provisionner de stockage au préalable.
14:09
Speaker 2: Vous écrivez simplement une requête et Synapse lit les données
14:11
Speaker 2: directement là où elles se trouvent. Vous voulez savoir combien
14:13
Speaker 2: de trajets en taxi ont eu lieu le jour de
14:15
Speaker 2: Noël en 2019? Vous écrivez une seule requête SQL et
14:17
Speaker 2: vous obtenez la réponse en quelques secondes. Et si vous
14:20
Speaker 2: utilisez Azure Databricks, le même SDK Python fonctionne dans les
14:23
Speaker 2: notebooks Databricks, mais vous pouvez utiliser des dataframes Spark au
14:26
Speaker 2: lieu de Pandas, ce qui est important pour les jeux
14:27
Speaker 2: de données plus volumineux. Les données des taxis new-yorkais contiennent
14:31
Speaker 2: des millions d'enregistrements. Pandas peut les gérer, mais Spark les
14:34
Speaker 2: gère mieux. Même importation, même syntaxe, simplement avec Spark en arrière-plan.
14:38
Speaker 2: Voici le point commun entre toutes ces méthodes. Microsoft publie
14:42
Speaker 2: les URL des comptes de stockage pour chaque jeu de données.
14:44
Speaker 2: Et ces URL sont publiques. Tout le monde peut y
14:46
Speaker 2: accéder depuis n'importe quel outil. Le SDK Azure Open Datasets
14:49
Speaker 2: n'est qu'une couche de commodité supplémentaire. Si vous le vouliez,
14:51
Speaker 2: vous pourriez écrire votre propre code pour lire les fichiers
14:53
Speaker 2: par quai brut directement depuis ces URL de stockage. Le
14:55
Speaker 2: SDK facilite simplement les choses en gérant le filtrage des
14:57
Speaker 2: dates et la conversion pour vous. La question du coup,
15:00
Speaker 2: est-ce vraiment gratuit? C'est la question que tout le monde
15:03
Speaker 2: se pose. Est-ce vraiment gratuit? La réponse courte est oui,
15:06
Speaker 2: et aussi non. Voici pourquoi c'est le cas. En réalité,
15:08
Speaker 2: les données elles-mêmes sont totalement gratuites. Microsoft paye toujours le stockage,
15:12
Speaker 2: mais pas une promotion ou une offre illimitée. C'est intégré
15:14
Speaker 2: à la conception même du service. Il les héberge, y
15:17
Speaker 2: paie les factures, et vous y accédez sans dépenser un
15:19
Speaker 2: centime pour les données. Mais voici où les coûts interviennent.
15:22
Speaker 2: Vous payez pour les calculs. Cela signifie que si vous
15:24
Speaker 2: lancez une machine virtuelle pour traiter les données, vous payez
15:25
Speaker 2: cette VM, vous payez cette VM. Pour un cluster Databricks
15:28
Speaker 2: analysant des millions de trajets en taxi, vous payez ce cluster.
15:30
Speaker 2: Si vous utilisez Synapse SQL sans serveur, vous payez pour
15:33
Speaker 2: les requêtes que vous exécutez, Ce sont des coûts Azure standard.
15:36
Speaker 2: Ils ne sont pas spécifiques aux jeux de données ouverts. Ensuite,
15:38
Speaker 2: il y a la sortie de données. Cela peut vous
15:39
Speaker 2: prendre au dépourvu. Si vous déplacez des données entre des
15:42
Speaker 2: régions Azure ou hors d'Azure, vous payez des frais de sortie.
15:46
Speaker 2: La tarification typique est d'environ 8 à 9 centimes par gigaoctet.
15:49
Speaker 2: Ça n'a l'air de rien jusqu'à ce que vous déplacez
15:51
Speaker 2: des téraoctets. Certains de ces jeux de données sont immenses.
15:54
Speaker 2: Les données météorologiques couvrent à elles seules des décennies et
15:56
Speaker 2: de multiples stations. Les lire depuis une région différente fait
15:58
Speaker 2: grimper la facture rapidement. Il y a aussi le coût
16:00
Speaker 2: de votre propre stockage. Peut-être copiez-vous des données dans vos
16:03
Speaker 2: propres comptes de stockage pour en garder une copie, les
16:04
Speaker 2: transformer ou les transformer. Vous payez pour ce stockage au
16:07
Speaker 2: tarif Azure Standard. Microsoft est transparent à ce sujet. Si
16:10
Speaker 2: un jeu de données entraîne des frais de sortie, vous
16:11
Speaker 2: trouverez l'information sur la page de présentation. Pas de facture surprise.
16:15
Speaker 2: Mais vous devez vérifier avant de transférer de grandes quantités
16:17
Speaker 2: de données entre régions. Aussi le conseil clé pour les débutants.
16:20
Speaker 2: Gardez vos ressources de calcul dans la même région que
16:21
Speaker 2: le jeu de données. Chaque jeu de données a une
16:23
Speaker 2: région spécifiée où il est hébergé. Si votre VM ou
16:25
Speaker 2: votre cluster Databricks est dans cette même région, vous évitez
16:28
Speaker 2: totalement les frais de sortie. Les données restent locales, les
16:30
Speaker 2: requêtes sont plus rapides et votre facture reste basse. Examinons
16:32
Speaker 2: deux scénarios réels pour rendre cela concret. Scénario 1, vous
16:35
Speaker 2: êtes débutant et vous importez un petit échantillon de données
16:38
Speaker 2: météo dans un tableau de bord Power BI. Quelques milliers
16:39
Speaker 2: de lignes, peut-être quelques mégaoctets. Votre coût de calcul est
16:42
Speaker 2: nul car Power BI le prend en charge. Vos frais
16:44
Speaker 2: de sortie sont nuls car vous ne transférez pas d'enjeu.
16:46
Speaker 2: Cela ne vous coûte rien en dehors de