Latest / M365.FM – Podcast su Microsoft 365, Copilot e IA in italiano / Azure Open Datasets spiegato: dati pubblici gratuiti e già puliti per machine learning, Power BI e Python (Doppiaggio IA)

Transcript

Azure Open Datasets spiegato: dati pubblici gratuiti e già puliti per machine learning, Power BI e Python (Doppiaggio IA) · M365.FM – Podcast su Microsoft 365, Copilot e IA in italiano

0:00
Speaker 2: Pronto per dieci giorni di Microsoft 365 e Copilot, EA,
0:04
Speaker 2: Azure e le persone che stanno plasmando il futuro del lavoro?
0:08
Speaker 2: Questo gennaio, M365 contorna e sarà ancora più grande. Unisciti
0:13
Speaker 2: a noi per sessioni live, demo reali e conoscenze pratiche
0:15
Speaker 2: da MVP ed esperti del settore da tutto il mondo.
0:18
Speaker 2: Niente slide generiche, niente gergo infinito. Affronteremo le sfide reali.
0:23
Speaker 2: Copilot Studio, agenti EA, Fabric, Sicurezza, Governance e Automazione. Che
0:30
Speaker 2: tu sia un professionista IT, uno sviluppatore o un leader aziendale,
0:33
Speaker 2: ci sono sessioni pensate per te. Con dieci giorni interi
0:36
Speaker 2: potrai esplorare molteplici tecnologie e connetterti con una community globale.
0:40
Speaker 2: Guarda dal vivo e porta spunti pratici nella tua organizzazione.
0:45
Speaker 2: Gennaio 2027. Dieci giorni. Un'unica community Microsoft. Le iscrizioni sono aperte.
0:51
Speaker 2: Prenota il tuo posto oggi stesso. SAISO. Il sito m365con. net.
1:00
Speaker 2: Iscriviti ora su m365con. net e ci vediamo dal vivo a gennaio.
1:05
Speaker 2: Benvenuti ad un altro episodio di Microsoft Knowledge Nuggets. Sono
1:08
Speaker 2: Mirko Peters. L'argomento di oggi è uno in cui si
1:10
Speaker 2: imbatte quasi chiunque impari Data Science o Machine Learning. Hai
1:13
Speaker 2: guardato qualche tutorial, conosci le basi, ma c'è una cosa
1:15
Speaker 2: che continua a bloccarti. Non hai dati interessanti con cui
1:18
Speaker 2: fare pratica. Inizia a cercare dataset pubblici, è lì che
1:22
Speaker 2: iniziano i problemi. Trovi un sito governativo con dati meteo? Fantastico. MyFile.
1:26
Speaker 2: Sono in un formato strano mai visto prima. I nomi
1:29
Speaker 2: delle colonne non hanno senso e metà dei valori manca.
1:32
Speaker 2: Passi ore solo a cercare di aprire il file e
1:34
Speaker 2: quando finalmente è pulito e utilizzabile l'entusiasmo è svanito. Ci
1:37
Speaker 2: sono passato anch'io ed è frustrante. L'episodio di oggi elimina
1:40
Speaker 2: completamente questo ostacolo. Alla fine di questo episodio saprai cos'è
1:43
Speaker 2: Azure Open Data Sets e come ottenere dati gratuiti pronti
1:46
Speaker 2: all'uso in pochi minuti, senza scraping, pulizia o grattacapi. Cominciamo.
1:51
Speaker 2: Cos'è effettivamente Azure Open Data Sets? Quindi cos'è esattamente Azure
1:55
Speaker 2: Open Data Sets? Ecco la definizione più semplice. È una
1:57
Speaker 2: libreria gratuita di dataset pubblici che Microsoft ha già ripulito
2:00
Speaker 2: e ospitato su Azure. Immaginala come una biblioteca dove qualcuno
2:03
Speaker 2: ha già controllato ogni libro per cercare pagine strappate, corretto
2:06
Speaker 2: gli errori di stampa e ordinato tutto alfabeticamente così tu
2:09
Speaker 2: devi solo entrare e prendere ciò che ti serve. Ma
2:11
Speaker 2: questo è importante. Non è un servizio a pagamento separato
2:14
Speaker 2: a cui devi iscriverti o un componente aggiuntivo pre. Sono
2:16
Speaker 2: solo dati presenti nelle archiviazioni di Azure a cui puoi accedere.
2:19
Speaker 2: Microsoft ha preso set di dati pubblici da enti come
2:22
Speaker 2: la NOAA, l'ufficio del censimento statunitense e le amministrazioni cittadine,
2:25
Speaker 2: svolgendo tutto il lavoro complesso di normalizzazione degli schemi, risoluzione
2:28
Speaker 2: delle incongruenze e configurazione degli aggiornamenti affinché i dati restino attuali.
2:32
Speaker 2: Confrontiamo questo approccio con il vecchio modo di lavoro. Trovavi
2:35
Speaker 2: un dataset su un sito governativo, scaricavi uno zip pieno
2:38
Speaker 2: di file CSV ognuno con un formato diverso, li aprivi
2:40
Speaker 2: e trovavi valori mancanti, formati di data strani e colonne
2:43
Speaker 2: che non corrispondevano tra i vari file. Poi passavi ore
2:47
Speaker 2: e a volte giorni a scrivere codice per ripulire il
2:49
Speaker 2: tutto e una volta finito Non eri nemmeno sicuro di
2:52
Speaker 2: aver fatto un buon lavoro. Microsoft si occupa di tutto questo.
2:55
Speaker 2: Normalizzano i dati in schemi coerenti, colmano le lacune e
2:57
Speaker 2: li archiviano in formato parquet, un formato di archiviazione colonnare
3:00
Speaker 2: che rende le query velocissime. Se hai mai provato a
3:03
Speaker 2: interrogare un file CSV gigantesco aspettando un'eternità per caricarlo, apprezzerai
3:07
Speaker 2: ciò che fa parquet. E' ottimizzato per l'analisi, quindi le
3:10
Speaker 2: query vengono eseguite molto più velocemente rispetto ai semplici file
3:12
Speaker 2: di test. Ecco il punto fondamentale. I dati in sé
3:14
Speaker 2: sono gratuiti e Microsoft paga sempre per l'archiviazione. Paghi per
3:17
Speaker 2: il calcolo solo se elabori i dati, e ne parleremo
3:19
Speaker 2: più avanti. Ma i dati archiviati in Azure non ti
3:21
Speaker 2: costano nulla. Ti faccio un'analogia per rendere l'idea. Immagina di
3:25
Speaker 2: trasferirti in un nuovo ufficio. Con il vecchio metodo avresti
3:28
Speaker 2: ricevuto un mucchio di legname, cartongesso, cavi e impianti idraulici
3:32
Speaker 2: e avresti dovuto costruire ogni stanza da zero. Così che
3:35
Speaker 2: ci si sente a lavorare con dati pubblici grezzi. Azure
3:38
Speaker 2: Open Data Set è l'opposto. Sono stanze di dati già
3:41
Speaker 2: pronte in cui puoi entrare. La stanza del meteo è
3:43
Speaker 2: già ridata, quella del censimento ha tutto etichettato e organizzato.
3:47
Speaker 2: Non devi assemblare nulla. Entri e inizia a lavorare. Problema
3:51
Speaker 2: che Open Data Sets risolve. Allora, perché Microsoft ha creato tutto?
3:54
Speaker 2: Quali problemi cercavano di risolvere? Ma nel dettaglio. La scoperta
3:57
Speaker 2: è il primo problema. Ti servono dati pubblici affidabili, ma
3:59
Speaker 2: trovarli richiede tempo. Esistono centinaia di siti governativi, archivi accademici
4:03
Speaker 2: e portali di dati. Alcuni sono ben gestiti, altri abbandonati
4:06
Speaker 2: e alcuni ti obbligano a compilare moduli o accettare licenze
4:09
Speaker 2: prima di poter scaricare alcunché. Solo trovare un set di
4:12
Speaker 2: dati pulito e utilizzabile può richiedere giorni di ricerca. Poi
4:15
Speaker 2: c'è il problema della preparazione. I dati grezzi provenienti da
4:17
Speaker 2: fonti governative sono disordinati, incoerenti e pieni di lacune. Prendiamo
4:20
Speaker 2: i dati meteo della NOAA. Proviene da migliaia di stazioni
4:23
Speaker 2: meteorologiche in tutto il mondo, ognuna delle quali riporta dati
4:25
Speaker 2: in formati leggermente diversi. Alcune stazioni riportano la temperatura in Celsius,
4:29
Speaker 2: altre in Fahrenheit, alcune registrano le precipitazioni, altre no. Alcune
4:32
Speaker 2: hanno anni di dati puliti, mentre altre presentano enormi lacune
4:35
Speaker 2: dovute a sensori guasti. Pulire tutto manualmente è un lavoro estenuante.
4:38
Speaker 2: Scala è un altro problema. Alcuni di questi set di
4:40
Speaker 2: dati sono enormi. I dati meteorologici coprono decenni. I dati
4:43
Speaker 2: sui taxi di NOAA si includono centinaia di milioni di corpi.
4:45
Speaker 2: Le immagini satellitari raggiungono l'ordine dei petri. Sostare una tale
4:48
Speaker 2: molle di dati nel proprio ambiente di calcolo è lento
4:50
Speaker 2: e costoso. Se esegui un modello di machine learning su
4:52
Speaker 2: una VM in cloud, non vuoi perdere ora a scaricare
4:54
Speaker 2: dati prima ancora di poter iniziare l'addestramento. E infine, la
4:57
Speaker 2: riproducibilità è importante. Quando esegui degli esperimenti, hai bisogno che
5:01
Speaker 2: i tuoi dati siano coerenti. Se scarichi un set di
5:03
Speaker 2: dati oggi e il tuo collega lo scarica la prossima settimana,
5:05
Speaker 2: dovete ottenere la stessa identica cosa. I set di dati
5:08
Speaker 2: curati e documentati rendono gli esperimenti ripetibili. Puoi pubblicare i
5:10
Speaker 2: tuoi risultati e qualcun altro può verificarli utilizzando esattamente gli
5:13
Speaker 2: stessi dati. Raffattiamo un mito. La maggior parte delle persone
5:17
Speaker 2: pensa che il machine learning riguardi solo l'algoritmo, ma la
5:19
Speaker 2: vera intuizione di Microsoft è che quasi tutti i problemi
5:21
Speaker 2: di machine learning sono influenzati da fattori reali, meteo, festività,
5:24
Speaker 2: dati demografici, condizioni economiche. Se stai cercando di prevedere le vendite,
5:28
Speaker 2: sapere se è un giorno festivo o un martedì di
5:29
Speaker 2: pioggia fa un'enorme differenza. Se prevedi il consumo energetico, la
5:32
Speaker 2: temperatura e l'ora del giorno sono fondamentali. Se stai modellando
5:35
Speaker 2: il rischio assicurativo, i dati demografici del quartiere sono cruciali.
5:37
Speaker 2: Senza questi segnali esterni, al tuo modello manca il contesto.
5:40
Speaker 2: È come cercare di prevedere i flussi di traffico senza
5:42
Speaker 2: sapere che ora del giorno sia. Potresti azzeccare alcuni schemi,
5:45
Speaker 2: ma perderesti il quadro generale. E questo è il fulcro
5:47
Speaker 2: del problema del time to data. Possono volerci settimane di
5:50
Speaker 2: lavoro solo per ottenere dati utilizzabili. Settimane di ricerca, download, pulizia, convalida.
5:54
Speaker 2: Quando i dati sono pronti, la domanda di business potrebbe
5:56
Speaker 2: essere già cambiata. Azure Open Data Sets riduce tale tempistica
5:59
Speaker 2: da settimane a minuti. Cosa c'è nel catalogo? Meteo, festività.
6:04
Speaker 2: Approfondiamo cosa c'è realmente in questo catalogo. Il primo set
6:06
Speaker 2: di dati che quasi tutti trovano utile sono i dati meteorologici.
6:08
Speaker 2: Microsoft Hospital set i dati meteorologici della notte. che fornisce
6:12
Speaker 2: letture storiche quasi in tempo reale dalle stazioni meteo di
6:14
Speaker 2: tutto il mondo. Parliamo di temperatura, precipitazioni, velocità del vento,
6:17
Speaker 2: pressione barometrica. Il tipo di dati che influenza tutto da
6:20
Speaker 2: ciò che le persone acquistano a quanta energia consumano. E
6:23
Speaker 2: copre decenni di dati aggiornati regolarmente. Quindi se vuoi analizzare
6:26
Speaker 2: le tendenze meteorologiche degli anni 90 o recuperare i dati
6:29
Speaker 2: della scorsa settimana, è tutto lì. Ora i dati meteorologici
6:32
Speaker 2: sono ovvi, ma il punto è questo. C'è un altro
6:34
Speaker 2: set di dati che si abbina perfettamente. Le festività pubbliche.
6:36
Speaker 2: Microsoft dispone di un set di dati sulle festività che
6:39
Speaker 2: copre 38 paesi dal 1970 fino al 2099. Così puoi
6:42
Speaker 2: guardare al passato per analisi storiche o al futuro per
6:44
Speaker 2: la pianificazione. Ti fornisce indicatori di festività specifici per paese
6:47
Speaker 2: per qualsiasi intervallata. Vuoi sapere se un dato martedì è
6:49
Speaker 2: una festività pubblica in Giappone? È tutto lì. Puoi controllare
6:52
Speaker 2: se quel lunedì di agosto è una festività bancaria nel
6:54
Speaker 2: Regno Unito. Una sola query e l'hai trovata. Perché questi
6:57
Speaker 2: due set di dati sono così potenti insieme? Meteo e
6:59
Speaker 2: festività migliorano drasticamente le previsioni delle serie temporali. Pensa alle
7:02
Speaker 2: previsioni di vendita al dettaglio. Se cerchi di prevedere quante
7:05
Speaker 2: unità di un prodotto venderai la prossima settimana, sapere che
7:08
Speaker 2: è un giorno festivo e che pioverà può ridurre l'errore
7:10
Speaker 2: di previsione a doppia cifra. Non è un miglioramento da poco.
7:13
Speaker 2: È la differenza tra avere troppa merce ferma in magazzino
7:16
Speaker 2: e rimanere senza scorte per il tuo articolo più venduto.
7:19
Speaker 2: Ed ecco il punto. La maggior parte delle aziende non
7:21
Speaker 2: dispone di questi dati internamente. Hanno i loro dati di vendita, certo,
7:24
Speaker 2: ma non hanno una fonte pulita e affidabile di cronologia
7:26
Speaker 2: meteorologica o calendario delle festività. Quindi o li creano da soli,
7:30
Speaker 2: che richiede tempo, o ne fanno a meno il che
7:31
Speaker 2: penalizza le loro previsioni. Azzurro Open Data Sets fornisce loro
7:34
Speaker 2: quel pezzo mancante istantaneamente. Ma meteo e festività sono solo l'inizio.
7:39
Speaker 2: Cosa c'è nel catalogo? Dati censuari, demografici e socio- economici. La
7:43
Speaker 2: categoria successiva è importante se stai costruendo modelli che prevedono
7:46
Speaker 2: qualcosa sulle persone. Si tratta di dati censuari e demografici.
7:48
Speaker 2: Microsoft ospita i dati del censimento statunitense su popolazione, reddito,
7:53
Speaker 2: livelli di istruzione per età. E sono disponibili a diversi
7:56
Speaker 2: livelli geografici, stato, contè e persino distretto censuario. Puoi ottenere
8:00
Speaker 2: il reddito familiare mediano per un quartiere specifico o la
8:02
Speaker 2: suddivisione della popolazione per fascia d'età per un intero Stato.
8:06
Speaker 2: C'è anche il set di dati sulle statistiche della Forza
8:08
Speaker 2: Lavoro Statunitense che ti fornisce tassi di occupazione e numeri
8:10
Speaker 2: sulla partecipazione al lavoro e suddivisione per settore. Puoi vedere
8:13
Speaker 2: quante persone lavorano nel manifatturiero rispetto ai servizi in una
8:16
Speaker 2: determinata regione o come è cambiato il tasso di disoccupazione
8:18
Speaker 2: nel tempo. Perché questo è importante per i principiati? Perché
8:21
Speaker 2: se vuoi costruire un modello che faccia previsioni sulle persone,
8:23
Speaker 2: questo è il posto perfetto da cui iniziare. Ecco un
8:26
Speaker 2: esempio reale. Immagini di costruire un modello per una compagnia assicurativa.
8:29
Speaker 2: Hai dati sui reclami, età, importi, ma il tuo modello
8:32
Speaker 2: non è accurato perché ti manca il contesto su dove
8:34
Speaker 2: vivono queste persone. Quindi arricchisci quei dati con le statistiche
8:37
Speaker 2: sensuali su reddito e istruzione. Improvvisamente il modello vede schemi
8:41
Speaker 2: che prima gli sfuggivano. Le persone nelle aree a basso
8:43
Speaker 2: reddito presentano richieste diverse. I livelli di istruzione più alti
8:46
Speaker 2: cambiano i profili di rischio. Il modello migliora perché ha
8:48
Speaker 2: più informazioni sul mondo reale. E' questo che rende i
8:51
Speaker 2: set di dati aperti di Azure preziosi per i principi.
8:53
Speaker 2: Non serve essere un ingegnere dei dati per importare i
8:55
Speaker 2: dati di accensimento nel progetto. Sono già puliti e pronti.
8:58
Speaker 2: Integrali con i tuoi dati e la tua analisi acquisirai
9:00
Speaker 2: una profondità che non aveva prima. Cosa c'è nel catalogo? Mobilità,
9:04
Speaker 2: sicurezza pubblica e assistenza sanitaria. Il classico preferito dei principianti
9:07
Speaker 2: è il set di dati sui viaggi dei taxi New York.
9:09
Speaker 2: È uno dei set di dati pubblici più noti, con
9:11
Speaker 2: milioni di record di viaggi che includono orari di partenza
9:13
Speaker 2: e arrivo, posizioni e tariffe. Ogni corsa di un taxi
9:16
Speaker 2: giallo a New York genera un record. Dove sono saliti,
9:19
Speaker 2: dove sono scesi, quanto è costato, quanto tempo è durato.
9:21
Speaker 2: È un ottimo set di dati per imparare l'analisi dei dati.
9:24
Speaker 2: Perché i principianti lo adorano. Perché è interessante e visivo.
9:26
Speaker 2: Caricalo in Power BI e inizia a creare mappe dei
9:28
Speaker 2: luoghi in cui le persone viaggiano di più. Vedi come
9:30
Speaker 2: cambiano le tariffe durante la giornata, individui gli schemi. Quali
9:33
Speaker 2: quartieri sono più trafficati durante l'odipo. Quali aeroporti generano il
9:36
Speaker 2: maggior numero di corse. Come il netto influisce sul volume
9:38
Speaker 2: delle cose. Racconta una storia, quindi imparare sembra risolvere un puzzle,
9:41
Speaker 2: non fare i compiti. Dati sulla sicurezza pubblica Cineprost. Microsoft
9:45
Speaker 2: ospita i dati sulla sicurezza di San Francisco che registrano
9:47
Speaker 2: gli incidenti criminosi con tipo, luogo e timestamp. Perfetti per
9:50
Speaker 2: i principianti perché i dati sono immediatamente significativi. Crea mappe
9:52
Speaker 2: delle aree critiche, analizza i modelli di criminalità per ora
9:55
Speaker 2: del giorno. Mostra come i dati aperti supportano progetti civici reali.
9:59
Speaker 2: Gli urbanisti e la polizia li usano per decidere dove
10:01
Speaker 2: impiegare le risorse. Poi c'è il Data Lake sul Covid- 19.
10:04
Speaker 2: Non è solo un set di dati. Combina molteplici fonti,
10:07
Speaker 2: esiti dei pazienti, test, capacità ospedaliera, politica e mobilità. Durante
10:11
Speaker 2: la pandemia i ricercatori lo hanno usato per tracciare il virus,
10:14
Speaker 2: modellarne la diffusione e valutare gli interventi. Questo dimostra come
10:17
Speaker 2: i set di dati aperti possano avere un impatto reale
10:19
Speaker 2: quando sono accessibili. Questi tre set di dati, corse dei taxi,
10:22
Speaker 2: sicurezza pubblica e Covid- 19 hanno qualcosa di importante in comune.
10:25
Speaker 2: Non sono astrati. Non serve essere esperti per capirli. I
10:27
Speaker 2: dati riguardano persone, luoghi ed eventi reali. Ciò rende l'apprendimento
10:31
Speaker 2: più facile. Ci sono anche set di dati di riferimento
10:33
Speaker 2: per chi impara specificamente il machine learning. Cosa c'è nel catalogo?
10:36
Speaker 2: Set di dati di riferimento per machine learning. Quindi hai
10:38
Speaker 2: tutti questi dati del mondo reale dalla sezione precedente. Ma
10:41
Speaker 2: cosa succede se stai seguendo un tutorial e ti serve
10:43
Speaker 2: solo un set di dati pulito e semplice per esercitarti
10:45
Speaker 2: su una tecnica specifica? Anche in questo caso Zolopendata 6
10:47
Speaker 2: è la soluzione che fa per te. Pensalo come una
10:49
Speaker 2: cassetta di A3. Hai gli strumenti elettrici per i grandi lavori,
10:51
Speaker 2: ma a volte serve solo un semplice martello per imparare
10:53
Speaker 2: le basi. È proprio a questo che servono questi set
10:55
Speaker 2: di The Benchmark. Prendi il set di dati su Diabete,
10:58
Speaker 2: con 402 campioni e 10 caratteristiche. È un classico problema
11:01
Speaker 2: di regressione che troverai spesso nei libri di testo e
11:03
Speaker 2: nei tutorial, ed è disponibile direttamente in Azure Open Datasets
11:06
Speaker 2: pronto per essere caricato in Azure ML. Se stai imparando
11:09
Speaker 2: il machine learning automatizzato, questo è un ottimo set di
11:11
Speaker 2: dati da cominciare. Abbastanza piccolo da consentire interazioni rapide, ma
11:14
Speaker 2: abbastanza realistico da insegnarti sul Poi c'è il set di
11:17
Speaker 2: dati Microsoft sulle notizie, chiamato MIND per brevità, rivolto a
11:20
Speaker 2: chi si interessa dei sistemi di raccomandazione. È un benchmark
11:23
Speaker 2: su larga scala che include interazioni degli utenti, contenuti giornalistici
11:26
Speaker 2: e metadati. Se vuoi creare un motore di raccomandazione per
11:29
Speaker 2: le notizie, il tipo di tecnologia che alimenta la sezione
11:31
Speaker 2: è consigliato per te sui siti web di news. Questo
11:33
Speaker 2: è il set di dati su cui esercitarsi. È lo
11:35
Speaker 2: stesso tipo di dati utilizzato dai sistemi di raccomandazione reali.
11:38
Speaker 2: E c'è persino un set di dati simulato sulle vendite
11:40
Speaker 2: di succo d'arancia, creato specificamente per mostrare come scala giuramella.
11:43
Speaker 2: Puoi addestrare migliaia di modelli simultaneamente su questi dati, un
11:46
Speaker 2: ottimo modo per comprendere l'elaborazione parallela e l'ottimizzazione degli iperparametri.
11:50
Speaker 2: Ecco il punto. Se stai seguendo un tutorial su Azure
11:52
Speaker 2: ML e ti servono dei dati, probabilmente sono già in
11:54
Speaker 2: questo catalogo. Microsoft si è assicurata che i set di
11:58
Speaker 2: dati utilizzati nella documentazione e nei percorsi di apprendimento siano
12:01
Speaker 2: disponibili tramite Open Datasets, così non devi cercare il file
12:04
Speaker 2: esatto usato nel tutorial. È già lì. Ma avere un
12:09
Speaker 2: ottimo catalogo è inutile se non riesci a ottenere effettivamente
12:11
Speaker 2: i dati. Come accedere agli open datasets Python, Power BI
12:15
Speaker 2: e Azure ML? Ora che hai visto cosa contiene il catalogo,
12:18
Speaker 2: la vera domanda è come puoi avere questi dati a
12:20
Speaker 2: portata di mano? La risposta dipende dallo strumento che stai usando,
12:24
Speaker 2: ma ci sono diverse strade. E alcune non richiedono nemmeno
12:26
Speaker 2: un account Azure. In dettaglio, l'opzione più semplice è Python.
12:30
Speaker 2: Da qualsiasi ambiente Python, senza bisogno di un account Azure,
12:33
Speaker 2: Microsoft pubblica un pacchetto Python chiamato Azure ML Open Datasets.
12:36
Speaker 2: Non è stare con pip e poi importi direttamente qualsiasi
12:38
Speaker 2: set di dati. Ad esempio, from Azure ML.. opendatasets import
12:43
Speaker 2: noaaweather Specifichi una data di inizio e una di fine
12:47
Speaker 2: e il pacchetto gestisce tutto il resto. Scarica i file
12:50
Speaker 2: pertinenti dall'archiviazione di Azure, li elabora e ti restituisce un
12:53
Speaker 2: dataframe pandas. Tutto qui. Tre righe di codice ai decenni
12:57
Speaker 2: di dati meteorologici pronti per essere analizzati. Funziona da Jupyter Notebook,
13:00
Speaker 2: VS Code o qualsiasi ambiente Python tu preferisca. All'interno di
13:04
Speaker 2: Azure Machine Learning il processo è ancora più fluido. Apri
13:07
Speaker 2: l'area di lavoro, vai alla sezione dati, fai clic su
13:08
Speaker 2: Crea e scegli tra i set di dati aperti di
13:11
Speaker 2: Azure Apparirà un catalogo che mostra tutto ciò che dispone. Sfoglialo,
13:16
Speaker 2: scegli il set di dati che desideri, filtralo per intervallo
13:18
Speaker 2: di date o area geografica e registralo nella tua area
13:20
Speaker 2: di lavoro. Una volta registrato, Azure ML genera automaticamente uno
13:24
Speaker 2: snippet di codice da usare in qualsiasi pipeline o esperimento,
13:27
Speaker 2: così non devi ricordare i percorsi di archiviazione o la
13:28
Speaker 2: sintassi di importazione. E tutto è gestito per Power BI.
13:32
Speaker 2: Qui le cose si fanno interessanti per gli analisti che
13:34
Speaker 2: non scrivono codice. Puoi usare il connettore Azure Globe Storage
13:37
Speaker 2: in Power BI e puntarlo agli URL di archiviazione pubblici
13:39
Speaker 2: che Microsoft documenta per ogni set di dati. Quindi, se
13:42
Speaker 2: vuoi importare i dati dei taxi di NYC in una dashboard,
13:44
Speaker 2: trovi l'URL di archiviazione nella pagina di panoramica dei set
13:47
Speaker 2: di dati, lo inserisci in Power BI e inizia a
13:49
Speaker 2: creare visualizzazioni. Dati meteorologici, corse in taxi, incidenti di sicurezza pubblica,
13:54
Speaker 2: tutto disponibile direttamente nei tuoi report senza alcuna ingegneria dei
13:56
Speaker 2: dati intermedia. Per chi preferisce SQL c'è Azure Synapse. Puoi
14:00
Speaker 2: interrogare i set di dati aperti usando la funzione OpenROS
14:03
Speaker 2: sui percorsi blocco pubblici. Si tratta di SQL Serverless, il
14:06
Speaker 2: che significa che non è necessario eseguire i provisioning di
14:07
Speaker 2: alcuno storage in anticipo. Scrivi semplicemente una query e Synapse
14:10
Speaker 2: va a leggere i dati direttamente dove risiedono. Vuoi sapere
14:13
Speaker 2: quante corsi in taxi ci sono state il giorno di
14:15
Speaker 2: Natale del 2019? Scrivi una query in SQL e ottieni
14:18
Speaker 2: la risposta in pochi secondi. E se usi Azure Databricks,
14:20
Speaker 2: lo stesso SDK Python funziona nei notebook Databricks, ma puoi
14:23
Speaker 2: usare i dataframe Spark invece di Pandas, il che è
14:26
Speaker 2: importante quando lavori con set di dati più grandi. I
14:30
Speaker 2: dati dei taxi di NYC contengono un milione di record.
14:32
Speaker 2: Pandas può gestirli, ma Spark li gestisce meglio. Stessa importazione,
14:36
Speaker 2: stessa sintassi, solo con Spark sotto il cofano. Ecco il
14:38
Speaker 2: filo conduttore di tutti questi metodi. Microsoft pubblica gli URL
14:42
Speaker 2: degli account di archiviazione per ogni set di dati e
14:44
Speaker 2: tali URL sono più. Chiunque può accedervi da qualsiasi strumento.
14:47
Speaker 2: L'SDK di Azure Open Data Sets è solo un livello
14:49
Speaker 2: di comodità aggiuntivo. Se volessi potresti scrivere il tuo codice
14:52
Speaker 2: per leggere i file perché grezzi direttamente da quegli URL
14:54
Speaker 2: di archiviazione. L'SDK semplifica semplicemente il tutto gestendo il filtraggio
14:57
Speaker 2: delle date e la conversione per te. La questione dei costi.
15:00
Speaker 2: È davvero gratuito? Questa è la domanda che tutti pongono.
15:03
Speaker 2: È davvero gratuito? La risposta breve è sì, ma anche no.
15:06
Speaker 2: Ecco perché la risposta è ambivalente. In realtà i dati
15:09
Speaker 2: in sé sono completamente gratuiti. Microsoft paga sempre per l'archiviazione.
15:14
Speaker 2: È parte integrante del design del servizio. Loro ospitano i
15:16
Speaker 2: dati e pagano i costi e tu accedi senza spendere
15:18
Speaker 2: un centesimo per i dati stessi. Ma è qui che
15:20
Speaker 2: entrano in gioco i costi. Paghi per i risorsi di calcolo.
15:23
Speaker 2: Ciò significa che se avvii una macchina virtuale per elaborare
15:25
Speaker 2: i dati, paghi per quella VM, paghi per quella... Se
15:27
Speaker 2: usi un cluster Databricks per analizzare milioni di corsi in taxi,
15:29
Speaker 2: paghi per quel cluster. Se usi Synapse SQL Serverless, paghi
15:32
Speaker 2: per le query che esegui. Questi sono costi standard di Azure.
15:36
Speaker 2: Non sono specifici per i set di dati aperti. o
15:38
Speaker 2: c'è l'Egress, ovvero Cittadini. Questo può coglierti di sorpresa. Se
15:41
Speaker 2: sposti i dati tra regioni Azure o li sposti fuori
15:43
Speaker 2: da Azure, paghi i costi di Egress. Il prezzo tipico
15:47
Speaker 2: è di circa 8-9 centesimi per gigabyte. Non sembra molto
15:50
Speaker 2: finché non inizi a spostare terabyte. Alcuni di questi set
15:53
Speaker 2: di dati sono enormi. I soli dati meteorologici coprono decenni
15:56
Speaker 2: in numerose stazioni meteo. Leggerli tutti da una regione diversa
15:58
Speaker 2: fa lievitare rapidamente i costi. C'è anche il costo della
16:00
Speaker 2: tua archiviazione. Magari copi i dati nei tuoi account di
16:03
Speaker 2: archiviazione perché vuoi conservarli in una copia o trasformarli Paghi
16:06
Speaker 2: per quell'archiviazione alle tariffe standard di Azure. Microsoft è trasparente
16:09
Speaker 2: al riguardo. Se un set di dati prevede costi di egress,
16:11
Speaker 2: lo troverai documentato nella pagina panoramica. Nessuna bolletta sorprende. Tuttavia
16:15
Speaker 2: devi controllare prima di estrarre grandi quantità di dati tra
16:17
Speaker 2: le regioni. Ecco il consiglio fondamentale per i principi. Mantieni
16:20
Speaker 2: le risorse di calcolo nella stessa regione sedile. Ogni set
16:22
Speaker 2: di dati ha una regione specifica in cui è ospitato.
16:25
Speaker 2: Se la tua VM o il cluster Databricks si trovano
16:26
Speaker 2: nella stessa regione, eviti del tutto i costi di egress.
16:29
Speaker 2: I dati restano locali, le query sono più veloci e
16:31
Speaker 2: il tuo conto rimane basso. Vediamo due scenari reali per
16:33
Speaker 2: rendere il concetto concreto. Scenario 1. Sei un principiante che
16:36
Speaker 2: estrae un piccolo campione di dati meteo in un dashboard
16:38
Speaker 2: Power BI. Poche migliaia di righe, magari pochi megabyte. Il
16:41
Speaker 2: tuo costo di calcolo è zero perché se ne occupa
16:43
Speaker 2: Power BI. Il costo di egress è zero perché non
16:45
Speaker 2: stai spostando molto. Questo non ti costa nulla oltre a...