Latest / M365.FM – Podcast de Microsoft 365, Copilot e IA en español / Azure Open Datasets explicado: datos públicos gratis y limpios para machine learning, Power BI y Python (Doblaje IA)

Transcript

Azure Open Datasets explicado: datos públicos gratis y limpios para machine learning, Power BI y Python (Doblaje IA) · M365.FM – Podcast de Microsoft 365, Copilot e IA en español

0:00
Speaker 2: Listo para 10 días de Microsoft 365, Copilot y Azure
0:04
Speaker 2: y las personas que dan forma al futuro del trabajo.
0:06
Speaker 2: Este enero, M365 con regresa y venimos a lo grande.
0:12
Speaker 2: Unas a nosotros para sesiones en vivo, demostraciones reales y
0:15
Speaker 2: conocimientos prácticos de MVP y expertos de la industria en
0:17
Speaker 2: todo el mundo. Nada de diapositivas genéricas, nada de palabras
0:20
Speaker 2: de moda interminable. Abordaremos los desafíos reales. Copilot Studio, agentes
0:25
Speaker 2: de IA, Fabric, Seguridad, Gobernanza y Automatización. Ya sea usted
0:30
Speaker 2: un profesional de TI, desarrollador o líder empresarial, hay sesiones
0:33
Speaker 2: diseñadas para usted. Con 10 días completos, puede explorar múltiples
0:37
Speaker 2: tecnologías y conectar con una comunidad global. Ve a las
0:41
Speaker 2: sesiones en vivo y lleve perspectivas prácticas de regreso a
0:43
Speaker 2: su organización. Enero de 2027. 10 días. Una sola comunidad
0:48
Speaker 2: de Microsoft. El registro ya está abierto. Reserve su lugar
0:54
Speaker 2: hoy mismo. ssm365com.net Únase ahora en m365.com.net y nos veremos
1:03
Speaker 2: en vivo en enero. Bienvenidos a otro episodio de Microsoft
1:06
Speaker 2: Knowledge Nugget. Soy Mikko Pitt. El tema de hoy es
1:09
Speaker 2: uno con el que casi todos los que aprenden ciencia
1:10
Speaker 2: de datos o aprendizaje automático se topan. Ha visto algunos tutoriales,
1:13
Speaker 2: conoce los conceptos básicos, pero hay algo que lo detiene
1:16
Speaker 2: en seco. No tiene datos interesantes con los cuales practicar.
1:20
Speaker 2: Comienza a buscar conjuntos de datos públicos y es cuando
1:22
Speaker 2: empiezan los problemas. Encuentra un sitio web gubernamental con datos climáticos,
1:25
Speaker 2: lo cual es genial, pero los archivos están en un
1:27
Speaker 2: formato extraño que nunca había visto. Los nombres de las
1:29
Speaker 2: columnas no tienen sentido y faltan la mitad de los valores.
1:32
Speaker 2: Pasa horas intentando abrir el archivo y para cuando lo
1:34
Speaker 2: ha limpiado lo suficiente como para usarlo la emoción ha desaparecido.
1:36
Speaker 2: He estado ahí y es frustrante. El episodio de hoy
1:39
Speaker 2: elimina esa barra por completo. Al final de este episodio
1:42
Speaker 2: sabrá qué es Azure Open Datasets y cómo obtener datos
1:45
Speaker 2: gratuitos y listos para usar en minutos sin scraping, limpieza
1:48
Speaker 2: ni dolores de cabeza. Comencemos.¿ Qué es realmente Azure Open Datasets?¿
1:54
Speaker 2: Qué es exactamente Azure Open Datasets? Aquí tiene la definición
1:57
Speaker 2: más simple. Es una biblioteca gratuita de conjuntos de datos
1:59
Speaker 2: públicos que Microsoft ya ha limpiado y alojado en Azure.
2:02
Speaker 2: Piénselo como una biblioteca donde alguien más ya revisó cada
2:04
Speaker 2: página rotas, corrigió los errores ortográficos y puso todo en
2:07
Speaker 2: orden alfabético, para que usted solo entre y tome lo
2:09
Speaker 2: que necesita. Ahora bien, esto es importante. No es un
2:13
Speaker 2: servicio pago por separado al que deba suscribirse ni un
2:15
Speaker 2: complemento primo. Son simplemente datos almacenados en Azure a los
2:18
Speaker 2: que puede acceder. Eso es todo. Microsoft ha tomado conjuntos
2:20
Speaker 2: de datos públicos de lugares como la NOAA, la Oficina
2:22
Speaker 2: del Censo de... UU. y gobiernos municipales. Ya he realizado
2:25
Speaker 2: todo el trabajo difícil de normalizar los esquemas, corregir inconsistencias
2:28
Speaker 2: y establecer calendarios de actualización para que los datos se
2:31
Speaker 2: mantengan actuales. Contraste eso con la vieja forma de hacer
2:34
Speaker 2: las cosas. Encontrabas un conjunto de datos en algún sitio gubernamental,
2:38
Speaker 2: descargabas un archivo zip lleno de archivos CSV, cada uno
2:40
Speaker 2: con un formato diferente, los abrías y encontrabas valores faltantes,
2:43
Speaker 2: formatos de fecha extraños y columnas que no coincidían entre archivos.
2:46
Speaker 2: Luego pasabas horas, a veces días, escribiendo código. Para limpiar
2:49
Speaker 2: todo eso. Y para cuando terminabas, ni siquiera estabas seguro
2:52
Speaker 2: de haberlo hecho bien. Microsoft se encarga de todo eso.
2:55
Speaker 2: Normalizan los datos en esquemas consistentes, corrigen los vacíos y
2:57
Speaker 2: los almacenan en formato parquet, un formato de almacenamiento en
3:00
Speaker 2: columnas que hace que las consultas sean increíblemente rápidas. Si
3:03
Speaker 2: alguna vez has intentado consultar un archivo CSV gigante y
3:05
Speaker 2: esperas de una eternidad que cargue, apreciarás lo que hace parquet.
3:08
Speaker 2: Está optimizado para análisis, por lo que tus consultas se
3:10
Speaker 2: ejecutan mucho más rápido de lo que lo harían con
3:12
Speaker 2: archivos de texto. Aquí está el punto clave. Los datos
3:14
Speaker 2: en sí son gratuitos y Microsoft paga por el almacenamiento siempre.
3:17
Speaker 2: Solo pagas por la computación si procesas los datos y
3:19
Speaker 2: hablaremos de eso más adelante. Pero los datos alojados en
3:21
Speaker 2: el almacenamiento de datos no te cuestan. Permíteme darte una
3:23
Speaker 2: analogía para concretar esto. Imagina que te mudas a un
3:26
Speaker 2: nuevo edificio o oficina. En la vieja forma de hacer
3:28
Speaker 2: las cosas, recibirías una pila de madera, paneles de yeso,
3:30
Speaker 2: cableado y accesorios de plomería y tendrías que construir cada
3:33
Speaker 2: habitación tú mismo desde cero. Así es como se siente
3:36
Speaker 2: trabajar con datos públicos sin proceso. Azure Open Datasets es
3:39
Speaker 2: lo opuesto. Son salas de datos preconstruidas a las que
3:41
Speaker 2: puedes entrar. La sala del clima ya está amoblada. La
3:44
Speaker 2: sala de censo tiene todo etiquetado y organizado. No tienes
3:47
Speaker 2: que ensamblar nada. Simplemente entras y empiezas a trabajar. El
3:51
Speaker 2: problema que resuelve Open Datasets Entonces,¿ por qué Microsoft construyó esto?
3:54
Speaker 2: El problema estaban tratando de resolverlo. Vamos a desglosarlo. Descubrimiento
3:57
Speaker 2: es el primer problema. Necesitas datos públicos confiables, pero encontrarlos
4:00
Speaker 2: lleva tiempo. Hay cientos de sitios web gubernamentales, repositorios académicos
4:03
Speaker 2: y portales de datos ahí fuera. Algunos están bien mantenidos,
4:06
Speaker 2: otros están abandonados y algunos te obligan a llenar formularios
4:08
Speaker 2: o aceptar licencias antes de que puedas descargar algo. Solo
4:11
Speaker 2: encontrar un conjunto de datos limpio y utilizable podría consumir
4:14
Speaker 2: días de búsqueda. Luego está el problema de la preparación.
4:16
Speaker 2: Los datos sin procesar de fuentes gubernamentales son desordenados, inconsistentes
4:19
Speaker 2: y estén llenos de vacíos. Tomemos los datos meteorológicos de
4:21
Speaker 2: la Proviene de miles de estaciones meteorológicas de todo el mundo,
4:24
Speaker 2: cada una reportando en formatos ligeramente diferentes. Algunas estaciones reportan
4:27
Speaker 2: la temperatura en Celsius, otras en Fahrenheit, algunas registran precipitaciones,
4:31
Speaker 2: otras no. Y algunas tienen años de datos limpios, mientras
4:33
Speaker 2: que otras tienen grandes brechas cuando el sensor estaba roto.
4:36
Speaker 2: Limpiar eso a mano es un trabajo miserable. La escala
4:38
Speaker 2: es otro problema. Algunos de estos conjuntos de datos son igual.
4:41
Speaker 2: Los datos meteorológicos cubren décadas. Los datos de taxis de
4:43
Speaker 2: NYC tienen cientos de millones de viajes. Las imágenes satelitales
4:46
Speaker 2: ocupan petabytes. Mover tanta cantidad de datos a tu entorno
4:49
Speaker 2: de cómputo es lento y costoso. Si ejecutas un modelo
4:52
Speaker 2: de aprendizaje automático en una máquina virtual en la nube,
4:54
Speaker 2: no querrás pasar horas descargando datos antes de poder empezar
4:56
Speaker 2: a entrenar. Y finalmente, la reproducibilidad importa. Cuando realices experimentos,
5:01
Speaker 2: necesitas que tus datos sean consistentes. Si descargas un conjunto
5:03
Speaker 2: de datos hoy y tu colega la próxima semana, necesitan
5:06
Speaker 2: obtener lo mismo. Los conjuntos de datos curados y documentados
5:08
Speaker 2: hacen que los experimentos sean repetidos. Puedes publicar tus resultados
5:11
Speaker 2: y alguien más puede verificarlos usando exactamente los mismos datos.
5:14
Speaker 2: Ahora aclaremos un mito. La mayoría piensa que el aprendizaje
5:17
Speaker 2: automático es solo sobre el algoritmo, pero la verdadera perspectiva
5:19
Speaker 2: de Microsoft es que la mayoría de los problemas de
5:21
Speaker 2: aprendizaje automático son impactados por factores del mundo real, clima,
5:23
Speaker 2: días festivos del mundo real, clima, días festivos, demografía, condiciones económicas.
5:26
Speaker 2: Si intentas predecir ventas, saber si es un día festivo
5:28
Speaker 2: o un martes lluvioso marca una gran diferencia. Si predeces
5:31
Speaker 2: el consumo de energía, la temperatura y la hora del
5:33
Speaker 2: día importan. Si modelas riesgos de seguros, la demografía del
5:36
Speaker 2: vecindario es crítica. Sin estas señales externas, a tu modelo
5:39
Speaker 2: le falta contexto. Es como intentar predecir patrones de tráfico
5:42
Speaker 2: sin saber qué hora del día es. Podrías acertar algunos patrones,
5:45
Speaker 2: pero perderás la visión de dinero. Y ese es el
5:47
Speaker 2: núcleo del problema de tiempo a dato. Puede llevar semanas
5:49
Speaker 2: de trabajo simplemente obtener datos utilizables. Semanas de buscar, descargar,
5:53
Speaker 2: limpiar y validar. Para cuando los datos están listos, la
5:56
Speaker 2: pregunta de negocios podría haber cambiado. Azure Open Datasets colapsa
5:59
Speaker 2: ese cronograma de semanas a minutos.¿ Qué hay en Catálogo?
6:02
Speaker 2: Clima y Día Festival. Profundicemos en lo que realmente contiene
6:05
Speaker 2: este catálogo. El primer conjunto de datos que casi todos
6:07
Speaker 2: consideran útil es el de datos meteorológicos. Microsoft aloja el
6:09
Speaker 2: conjunto de datos meteorológicos a él. Le brinda lecturas históricas
6:12
Speaker 2: y casi en tiempo real de estaciones meteorológicas de todo
6:14
Speaker 2: el mundo. Hablamos de temperatura, precipitación, velocidad del viento, presión barométrica.
6:19
Speaker 2: El tipo de datos que afecta a todo, desde lo
6:20
Speaker 2: que la gente compra hasta cuánta energía utilizan. Y cubre
6:23
Speaker 2: décadas de datos actualizados, regularmente. Así que, si quieres analizar
6:27
Speaker 2: patrones meteorológicos de los 90 o consultar las lecturas de
6:29
Speaker 2: la semana pasada, todo está ahí. Los datos meteorológicos son geniales,
6:32
Speaker 2: pero aquí está el detalle. Hay otro conjunto de datos
6:34
Speaker 2: que combina perfectamente con ello. Los días festivos. Microsoft tiene
6:37
Speaker 2: un conjunto de datos de días festivos que cubre 38
6:39
Speaker 2: países desde 1970 hasta 2021. Por lo tanto, puedes mirar
6:42
Speaker 2: hacia atrás para realizar análisis históricos o hacia adelante para verificar.
6:45
Speaker 2: Te proporciona indicadores de días festivos específicos por país para
6:47
Speaker 2: cualquier rango de fe.¿ Necesitas saber si un martes determinado
6:50
Speaker 2: es día festivo en Japón? Ahí lo tienes.¿ Quieres verificar
6:52
Speaker 2: si es el 9 de agosto el día festivo bancario
6:54
Speaker 2: en el Reino Unido? Con una consulta lo obtienes.¿ Por
6:57
Speaker 2: qué son tan potentes estos dos conjuntos de datos? El
6:59
Speaker 2: clima y los días festivos mejoran drásticamente las predicciones de
7:01
Speaker 2: series temporales. Piensa en la previsión de ventas minoristas. Si
7:04
Speaker 2: intentas predecir cuántas unidades de un producto venderás la próxima semana,
7:07
Speaker 2: saber que es festivo y que va a llover puede
7:09
Speaker 2: reducir tu error de predicción en dos dígitos. Eso no
7:12
Speaker 2: es una mejora pequeña. Es la diferencia entre tener demasiado
7:14
Speaker 2: inventario estancado en un almacén y quedarse sin existencias de
7:17
Speaker 2: tu artículo más vendido. Y este es el punto. La
7:20
Speaker 2: mayoría de las empresas no tienen estos datos internamente. Tienen
7:23
Speaker 2: sus datos de ventas claro, pero no tienen una fuente
7:25
Speaker 2: limpia y confiable de historial meteorológico o calendarios de festivos.
7:29
Speaker 2: Así que o los crean ellos mismos lo que toma
7:30
Speaker 2: tiempo o prescinden de ellos lo que perjudica sus predicciones.
7:33
Speaker 2: Azure Open Dataset les proporciona esa pieza faltante al instante.
7:36
Speaker 2: Pero el clima y los días festivos son solo comienzos.¿
7:39
Speaker 2: Qué hay en el catálogo? Datos de censos, demografía y
7:41
Speaker 2: datos socioeconómicos. La siguiente categoría es importante si estás construyendo
7:45
Speaker 2: modelos que predicen algo sobre las personas. Se trata de
7:47
Speaker 2: datos censales y demográficos. Microsoft alberga datos del censo D, U,
7:51
Speaker 2: que cubren población, ingresos, niveles educativos y distribución por edad.
7:55
Speaker 2: Y están disponibles en diferentes niveles geográficos, estado, condado e
7:58
Speaker 2: incluso sector censal. Así, puedes obtener el ingreso familiar medio
8:01
Speaker 2: de un vecindario específico o el desglose de población por
8:04
Speaker 2: grupo de edad para un estado completo. Y también existe
8:06
Speaker 2: el conjunto de datos de estadísticas de fuerza laboral de él,
8:09
Speaker 2: que te brinda tasas de empleo, número de participación laboral
8:11
Speaker 2: y desglose por industria. Puedes ver cuántas personas trabajan en
8:14
Speaker 2: manufactura frente a servicios en una región determinada o cómo
8:17
Speaker 2: ha cambiado el desempleo con el tiempo.¿ Por qué es
8:19
Speaker 2: esto importante para los principiantes? Porque si quieres construir un
8:22
Speaker 2: modelo que prediga algo sobre las personas, este es el
8:24
Speaker 2: lugar perfecto para comenzar. Aquí hay un ejemplo real. Imagina
8:27
Speaker 2: que estás construyendo un modelo para una compañía de seguro.
8:29
Speaker 2: Tienes datos de reclamos, edades, montos, pero tu modelo no
8:32
Speaker 2: es preciso porque te falta contexto sobre dónde viven estas personas.
8:35
Speaker 2: Entonces enriqueces esos datos con estadísticas sensales de ingresos y educación.
8:39
Speaker 2: De repente el modelo detecta patrones que han pasado por él.
8:42
Speaker 2: Las personas en áreas de menores ingresos presentan reclamos distintos
8:45
Speaker 2: y mayores niveles de educación cambian los perfiles de riesgo.
8:47
Speaker 2: El modelo mejora porque tiene más información sobre el mundo real.
8:50
Speaker 2: Eso es lo que hace que los conjuntos de datos
8:52
Speaker 2: abiertos de Azure sean valiosos. No necesitas ser un ingeniero
8:54
Speaker 2: de datos para integrar datos sensales en tu proyecto. Ya
8:56
Speaker 2: están limpios y listos. Combínalo con tus propios datos y
8:59
Speaker 2: tu análisis ganará una profundidad que no tenía antes.¿ Qué
9:02
Speaker 2: hay en el catálogo? Movilidad, seguridad pública y atención médica.
9:06
Speaker 2: El favorito clásico de los principiantes es el conjunto de
9:08
Speaker 2: datos de viajes en taxi en NYC. Es uno de
9:10
Speaker 2: los conjuntos de datos públicos más conocidos, con millones de
9:12
Speaker 2: registros de viajes que incluyen horarios de recogida y entrega,
9:14
Speaker 2: ubicaciones y tarifa. Cada viaje en taxi amarillo a Nueva
9:17
Speaker 2: York genera un registro, donde subieron, donde bajaron, cuánto costó
9:20
Speaker 2: y cuánto tiempo tomó. Es un excelente conjunto de datos
9:22
Speaker 2: para aprender análisis de datos, porque les encanta a los principiantes.¿
9:25
Speaker 2: Por qué es interesante y visual? Encárgalo en Power BI
9:27
Speaker 2: y comience a crear mapas de dónde viaja más la gente.
9:30
Speaker 2: Observa cómo cambian las tarifas a lo largo del día.
9:32
Speaker 2: Identifica patrones.¿ Qué vecindarios se ocupan más en hora punta?¿
9:35
Speaker 2: Qué aeropuertos generan la mayor cantidad de viajes?¿ Cómo el
9:37
Speaker 2: clima afecta el volumen de viaje? Cuenta una historia, por
9:39
Speaker 2: lo que aprender se siente como resolver un rompecabezas, no
9:42
Speaker 2: como hacer la tarea. Los siguientes son los datos de
9:43
Speaker 2: seguridad pública. Microsoft aloja los datos de seguridad de San Francisco,
9:46
Speaker 2: que registran incidentes delictivos con tipo ubicación y marca de tiempo.
9:50
Speaker 2: De nuevo, perfecto para principiantes, porque los datos son significativos
9:52
Speaker 2: de inmediato. Crea mapas de puntos críticos y analiza patrones
9:54
Speaker 2: delictivos por hora del día. muestra cómo los datos abiertos
9:57
Speaker 2: apoyan proyectos cívicos reales. Los planificadores urbanos y la policía
10:00
Speaker 2: los usan para decidir dónde desplegar recursos. Luego está el
10:03
Speaker 2: lago de datos de COVID-19. No es solo un conjunto
10:05
Speaker 2: de datos. Combina múltiples fuentes, resultados de pacientes, pruebas, capacidad hospitalaria,
10:09
Speaker 2: políticas y movilidad. Durante la pandemia, los investigadores lo usaron
10:13
Speaker 2: para rastrear el virus, modelar su propagación y evaluar intervenciones.
10:16
Speaker 2: Eso demuestra cómo los conjuntos de datos abiertos pueden tener
10:18
Speaker 2: un impacto real cuando son accesibles. Estos tres conjuntos de datos,
10:21
Speaker 2: viajes en taxi, seguridad pública y COVID-19, comparten algo importante.
10:25
Speaker 2: No son abstractos. No necesitas ser un experto para entenderlos.
10:27
Speaker 2: Los datos tratan sobre personas, lugares y eventos reales. Eso
10:30
Speaker 2: facilita el aprendizaje. También hay conjuntos de datos de referencia
10:33
Speaker 2: para quienes aprenden ML específicamente. Que hay en el catálogo.
10:36
Speaker 2: Conjunto de datos de referencia para ML. Entonces tienes todos
10:39
Speaker 2: estos datos del mundo real de la sección anterior.¿ Pero
10:41
Speaker 2: qué pasa si tienes un tutorial y solo necesitas un
10:43
Speaker 2: conjunto de datos limpio y sencillo para practicar una técnica específica?
10:46
Speaker 2: Azure Open Datasets también te cubre ese aspecto. Piénselo como
10:49
Speaker 2: una caja de herramientas. Tienes herramientas eléctricas para trabajos grandes,
10:51
Speaker 2: pero a veces solo necesitas un martillo simple para aprenderlo básico.
10:53
Speaker 2: Para eso sirven estos conjuntos de datos referentes. Tomemos el
10:56
Speaker 2: conjunto de datos de diabetes, con 442 muestras y 10 características.
11:00
Speaker 2: Es un problema clásico de regresión que verás siempre en
11:02
Speaker 2: libros de texto y tutoriales y está disponible en Azure
11:04
Speaker 2: Open Datasets listo para cargar en Azure ML. Si estás
11:09
Speaker 2: aprendiendo ML automatizado, este es un excelente conjunto de datos
11:11
Speaker 2: para comenzar. Lo suficientemente pequeño para iterar rápido, pero lo
11:14
Speaker 2: bastante real para enseñarte el flujo de trabajo. Luego está
11:17
Speaker 2: el conjunto de datos de noticias de Microsoft, llamado MIND
11:19
Speaker 2: para abreviar, que es para quienes se interesan en sistemas
11:21
Speaker 2: de recomendación. Es una referencia a gran escala, con interacciones
11:24
Speaker 2: de usuarios, contenido de noticias y metadatos. Si quieres conocer
11:28
Speaker 2: un motor de recomendaciones de noticias, como el que alimenta
11:30
Speaker 2: la sección Recomendado para ti en sitios web de noticias,
11:33
Speaker 2: este es el conjunto de datos propio. Es el mismo
11:35
Speaker 2: tipo de datos que usan los sistemas de recomendación reales
11:37
Speaker 2: e incluso hay un conjunto de datos simulado de ventas
11:40
Speaker 2: de jugo de naranja diseñado para mostrar cómo escala Azure ML.
11:43
Speaker 2: Puedes entrenar miles de modelos simultáneamente con estos datos, lo
11:46
Speaker 2: cual es una gran forma de entender el procesamiento paralelo
11:48
Speaker 2: y el ajuste de hiperparámetros. Aquí está el detalle. Si
11:51
Speaker 2: sigues un tutorial de Azure ML y necesitas datos, probablemente
11:54
Speaker 2: ya estén en este catálogo. Microsoft se ha asegurado de
11:57
Speaker 2: que los conjuntos de datos usados en su documentación y
12:00
Speaker 2: rutas de aprendizaje estén disponibles a través de Open Datasets
12:03
Speaker 2: para que no tengas que buscar el archivo exacto que
12:05
Speaker 2: usa el tutorial. Ya está ahí. Pero tener un gran
12:09
Speaker 2: catálogo es inútil si no puedes obtener los datos. cómo
12:12
Speaker 2: acceder a Open Datasets, Python, Power BI, Azure ML y
12:15
Speaker 2: Azure ML. Ya viste lo que hay en el catálogo,
12:18
Speaker 2: pero ahora la verdadera pregunta es cómo obtienes realmente estos datos.
12:22
Speaker 2: La respuesta depende de la herramienta que uses, pero hay
12:24
Speaker 2: múltiples caminos. Y algunos ni siquiera requieren una cuenta de Azure.
12:28
Speaker 2: Vamos a analizarlo. La opción más sencilla, Python. Desde cualquier
12:31
Speaker 2: entorno de Python no se necesita cuenta de Azure. Microsoft
12:33
Speaker 2: publica un paquete de Python llamado Azure ML Open Datasets.
12:36
Speaker 2: Instales con pip y luego importas cualquier conjunto de datos directamente.
12:39
Speaker 2: Por ejemplo, from Azure ML, Open Datasets, Import, No, AA, Weather.
12:45
Speaker 2: Especificas una fecha de inicio y una de finalización, y
12:47
Speaker 2: el paquete se encarga del resto. Descarga los archivos relevantes
12:50
Speaker 2: de Azure Storage, los procesa y te devuelve un dataframe
12:53
Speaker 2: de pandas. Eso es todo. Tres líneas de código y
12:56
Speaker 2: tienes décadas de datos meteorológicos listos para analizar. Esto funciona
12:59
Speaker 2: en Jupyter Notebook, VSCode o cualquier entorno de Python que prefieras.
13:03
Speaker 2: Dentro de Azure Machine Learning el proceso es aún más sencillo.
13:06
Speaker 2: Abres tu área de trabajo, vas a la sección de datos,
13:08
Speaker 2: haces clic en crear y eliges entre los Azure Open Datasets.
13:13
Speaker 2: Aparece un catálogo que te muestra todo lo que está disponible. Navegas,
13:16
Speaker 2: eliges el conjunto de datos que quieres, lo filtras por
13:18
Speaker 2: fecha o área geográfica y lo registras en tu área
13:20
Speaker 2: de trabajo. Una vez registrado, Azure ML genera automáticamente un
13:24
Speaker 2: fragmento de código que puedes usar en cualquier pipeline o
13:26
Speaker 2: experimento sin tener que recordar rutas de almacenamiento, sintaxis de importación.
13:30
Speaker 2: Todo se maneja por ti.¿ Qué pasa con Power BI?
13:32
Speaker 2: Aquí es donde las cosas se ponen interesantes para los
13:34
Speaker 2: analistas que no escriben código. Puedes usar el conector de
13:36
Speaker 2: Azure Web Storage en Power BI y apuntar las URL
13:38
Speaker 2: de almacenamiento público que Microsoft documenta para cada conjunto de datos. Entonces,
13:42
Speaker 2: si quieres extraer datos de taxis de NYC a un panel,
13:44
Speaker 2: buscas la URL de almacenamiento en la página de inscripción
13:46
Speaker 2: general y la conectas en Power BI para empezar a
13:48
Speaker 2: crear visualizaciones. Datos meteorológicos, viajes en taxi, incidentes de seguridad pública,
13:54
Speaker 2: todo disponible directamente en tus informes sin ingeniería de datos intermedia.
13:58
Speaker 2: Para el grupo de SQL está Azure Synapse. Puedes consultar
14:01
Speaker 2: los conjuntos de datos abiertos usando la función Open Routeset
14:03
Speaker 2: contra lo que te aplicas debajo. Esto es SQL sin servidor,
14:06
Speaker 2: lo que significa que no necesitas aprovisionar almacenamiento de antemano.
14:09
Speaker 2: Solo escribes una consulta y Synapse va y lee los
14:11
Speaker 2: datos directamente de donde residen.¿ Quieres saber cuántos viajes en
14:14
Speaker 2: taxi hubo el día de Navidad de 2019? Escribes una
14:17
Speaker 2: consulta SQL y obtienes tu respuesta en segundos. Y si
14:19
Speaker 2: usas Azure Databricks, el mismo SDK de Python funciona en
14:22
Speaker 2: los notebooks de Databricks, pero puedes usar DataFrames de Spark
14:25
Speaker 2: en lugar de Pandas, lo cual importa al trabajar con
14:27
Speaker 2: grandes volúmenes. Los datos de taxis de NYC tienen millones
14:31
Speaker 2: de registros. Pandas puede manejarlos, pero Spark lo hace mejor.
14:35
Speaker 2: Misma importación, misma sintaxis, solo con Spark funcionando internamente. Este
14:38
Speaker 2: es el hilo conductor en todos estos métodos. Microsoft publica
14:41
Speaker 2: las URL de las cuentas de almacenamiento para cada conjunto
14:44
Speaker 2: de datos, y esas URL son públicas. Cualquiera puede acceder
14:46
Speaker 2: a ellas desde cualquier herramienta. El SDK de Azure Open
14:48
Speaker 2: Datasets es solo una capa de conveniencia adicional. Si quisieras,
14:51
Speaker 2: podrías escribir tu propio código para leer los archivos Spark
14:53
Speaker 2: sin procesar directamente desde esa URL. El SDK simplemente lo
14:56
Speaker 2: hace más fácil al manejar el filtrado de fechas y
14:58
Speaker 2: la conversión por ti. La cuestión del costo. Realmente gratis.
15:02
Speaker 2: Esa es la pregunta que todos hacen.¿ Es realmente gratis?
15:05
Speaker 2: La respuesta corta es sí y también no.¿ Y el
15:07
Speaker 2: por qué funciona de ambas formas? En realidad los datos
15:09
Speaker 2: en sí son completamente gratis. Microsoft paga por el almacenamiento siempre.
15:12
Speaker 2: Es una promoción y no oferta por tiempo limitado. Está
15:14
Speaker 2: integrado en el diseño del servicio. Ellos lo alojan, ellos
15:17
Speaker 2: pagan las cuentas y tú accedes sin gastar un centavo
15:19
Speaker 2: en los datos. Pero aquí es donde entran los costos.
15:21
Speaker 2: Tú pagas por la computación. Eso significa que si necesitas
15:24
Speaker 2: una máquina virtual para procesar los datos, pagas por esa VM,
15:26
Speaker 2: pagas por esa... Un clúster de Databricks analizando millones de
15:29
Speaker 2: viajes en taxi, tú pagas por ese clúster... Si usas
15:31
Speaker 2: Synapse SQL Serverless, pagas por las consultas que ejecutas. Esto
15:34
Speaker 2: es un costo estándar de Azure. Los específicos de los
15:36
Speaker 2: conjuntos de datos a ver. Está la salida de datos.
15:39
Speaker 2: Esto puede tomarte por sorpresa. Si mueves datos entre regiones
15:42
Speaker 2: de Azure o los sacas de Azure por completo, pagas
15:44
Speaker 2: cargos por salida. El precio típico es de unos 8
15:47
Speaker 2: o 9 centavos por gigabyte. Eso no parece mucho hasta
15:50
Speaker 2: que mueves terabytes. Y algunos de estos conjuntos de datos
15:53
Speaker 2: son enormes. Los datos meteorológicos por sí solos cubren décadas
15:56
Speaker 2: y múltiples estaciones. Leer todo esto desde una región diferente
15:59
Speaker 2: suma rápidamente. También está el costo de tu propio almacenamiento.
16:01
Speaker 2: Quizás copias datos a tus propias cuentas de almacenamiento porque
16:03
Speaker 2: quieres guardar una instantánea o transformarlos. Pagas por ese almacenamiento
16:06
Speaker 2: las tarifas estándar de Azure. Microsoft es transparente al respecto.
16:10
Speaker 2: Si un conjunto de datos tiene cargos de salida, lo
16:12
Speaker 2: encontrarás documentado en la página de resumen, sin factura sorpresa.
16:15
Speaker 2: Pero debes verificar antes de extraer grandes cantidades de datos
16:17
Speaker 2: en tu región. Aquí está el consejo clave principal. Mantén
16:20
Speaker 2: tu computación en la misma región que el conjunto de datos.
16:22
Speaker 2: Cada conjunto de datos tiene una región especificada donde está alojado.
16:25
Speaker 2: Si tu VM o clúster de Databricks está en esa
16:26
Speaker 2: misma región, evitas los cargos de salida por completo. Los
16:29
Speaker 2: datos se mantienen locales, las consultas son más rápidas y
16:31
Speaker 2: tu factura se mantiene baja. Veamos dos escenarios reales para
16:33
Speaker 2: hacer esto concreto. Escenario 1. Eres un principiante extrayendo una
16:36
Speaker 2: pequeña muestra de datos meteorológicos a un panel de Power BI.
16:39
Speaker 2: Unos miles de filas, quizás unos pocos megabytes. Tu costo
16:41
Speaker 2: de computación es cero porque Power BI lo maneja. Tu
16:44
Speaker 2: costo de salida es cero porque no estás moviendo mucho.
16:46
Speaker 2: Esto no te cuesta nada más saber de