Latest / Entre Chaves / A engenharia de dados não é mais só técnica

Transcript

A engenharia de dados não é mais só técnica · Entre Chaves

• 0:00
  Então, assim, o que que, o que que mudou?
• 0:01
  Bem, na prática, mesmo assim de ferramentas é de habilidades
• 0:07
  necessárias na visão de vocês. Pensando em ferramentas, a gente
• 0:10
  sempre teve aí pra engenharia de dados.
• 0:12
  As validações são os testes, é sejam unitários que a gente vai
• 0:15
  avaliando. Aí é a qualidade de dados ao
• 0:17
  longo até ao longo do da pepeline, até entregar uma
• 0:20
  tabela final. Só que a partir do momento que a
• 0:22
  gente tem agentes consumindo esses dados, a gente.
• 0:27
  Passa a ter ter uma necessidade de uma de tipo diferente de
• 0:31
  avaliação que elas passam, por exemplo, por testes que são é Oo
• 0:35
  Eval, por exemplo, que avaliam de forma qualitativa as ações
• 0:40
  dos agentes. Então a gente passa a ter um
• 0:42
  novo nível de análise, que é muito menos quantitativo, muito
• 0:46
  menos sim ou não, e passa a ser. É muito mais subjetivo mesmo.
• 0:50
  E aí outros outros conhecimentos que são extremamente relevantes,
• 0:53
  né? Quando a gente tá falando da IA
• 0:54
  dentro da engenharia de dados, é você.
• 0:57
  Prover é esse esses mecanismos de consumo que fogem do do das
• 1:03
  estruturas convencionais de data.
• 1:04
  Lake de doutor House então a gente já começa a falar de
• 1:07
  bancos vetoriais para as ragues, né?
• 1:10
  Para servirus em bedings a gente tá falando de grafos, é onde a
• 1:13
  gente vai ter bases de conhecimentos que vão ser
• 1:15
  estruturados em bancos de grafos como os newford j da vida.
• 1:19
  E aí sobre essa questão da rag é, não é trivial, né, Luís?
• 1:23
  Você desenvolver uma rag. Hoje.
• 1:25
  Não, até porque quando a gente para pra pensar no na função da
• 1:29
  engenharia de dados, a rag pode ser literalmente qualquer coisa,
• 1:33
  né? A rag é um código fonte, outras
• 1:36
  coisas, estou migrando um sistema legado e estou refazendo
• 1:40
  ele, uma tecnologia mais nova. O código fonte original é uma
• 1:43
  rag, estou mexendo com imagens, eu posso ter um banco de
• 1:46
  imagens, estou mexendo com textos com AO base de
• 1:50
  conhecimento da minha empresa, é, eu tenho um wikipedia
• 1:53
  qualquer, aquilo pode ser uma rag.
• 1:55
  Então, o engenheiro de dados, eu acho que se ele vai ter, né?
• 1:57
  Que conhecer não só como lidar com texto, pensa.
• 2:01
  Até 1015 anos atrás, o foco era conhecer SCL, tabelas da banca
• 2:07
  nacional, tabelas com colunas com linhas e cagou.
• 2:10
  Agora a gente tem vetores. É então assim, eu acho que a
• 2:13
  questão da ampliação do conhecimento do engenheiro de
• 2:16
  dados hoje, comparando com 1015 anos atrás, é brutal, né?
• 2:20
  Hoje o engenheiro tem que ser capaz de lidar com.
• 2:24
  Tipos de arquivos, formatos de dados dos mais diversos
• 2:28
  possíveis. E se você não tem uma rague bem
• 2:31
  estruturada que ela vai ser útil para sua iate tirar informações
• 2:34
  ali é o famoso garbage ingarba de Audi tem você tem lixo na
• 2:38
  rague, você vai receber lixo como resposta.
• 2:40
  É então assim, Oo engenheiro de dados.
• 2:43
  Hoje ele tem que conseguir lidar com uma variedade de tipos de
• 2:47
  informação muito grande de uma maneira efetiva.
• 2:51
  E que aqui eu realmente seja útil para mim e a utilizar
• 2:54
  vocês, engenheiros de dados, como é que vocês estão lidando e
• 2:57
  enxergando isso hoje? O quanto isso trouxe de
• 3:00
  complexidade e dificuldade na vida de vocês?
• 3:03
  Traz muita complexidade. Esses são os problemas que eu
• 3:06
  digo de downstream comparado ao pipeline.
• 3:08
  Tem o pipeline, problemas de especialista técnico e os
• 3:12
  problemas ainda de cima que a gente nem falou.
• 3:14
  Você tem gestão de stakeholders que você tem que fazer.
• 3:16
  Tem que ver se os dados estão chegando atrasados, porque se
• 3:19
  você tem csvs. Mal formado.
• 3:21
  Se você tem parquês que não estão sendo emitidos por algum
• 3:24
  motivo, então tem 11 gama de atividades também, que antes ela
• 3:28
  nem era tanto do engenheiro de dados e agora ela passou a ser.
• 3:31
  Porque como o avanço da IA fazendo coisas operacionais que
• 3:35
  o engenheiro de dados não precisa preocupar mais, ele
• 3:37
  consegue. É ter uma visão muito mais de
• 3:40
  negócio também, trazer essa visão, ser o dono do dado, ser
• 3:43
  alguém que a liderança vai procurar no momento de aperto.
• 3:46
  Momento que o pipeline quebra. Passar essa confiança num
• 3:49
  contexto corporativo acho que é essencial também.
• 3:52
  Então são coisas que se complementam.
• 3:54
  A gente falou dos aspectos técnicos, do do crescimento, do
• 3:59
  do cardápio de um engenheiro de dados e ainda tem muito mais.
• 4:02
  É então assim, é um cenário desafiador, mas não desanimem
• 4:06
  assim também, porque é muito. É muito legal, é muito
• 4:10
  recompensador. Quando você continua aprendendo
• 4:12
  uma coisa que você nunca ouviu falar e agora você está
• 4:14
  conseguindo mexer. Traz um pouquinho do tema que eu
• 4:17
  estava falando, da adaptabilidade, o engenheiro de
• 4:19
  dados. Ele não pode ficar refém de um
• 4:21
  steck. Ele tem que estar sempre aberto
• 4:23
  a novas inovações, novas ferramentas, tentar entender
• 4:27
  como que as ferramentas elas se relacionam também.
• 4:29
  A função que eu digo, que é fundamental, é core.
• 4:33
  É e na verdade é isso que vai fazer com que engenheiro de
• 4:36
  dados não fica absolvido e não, né?
• 4:38
  Igual a gente estava quando é igual, a Rafa começou
• 4:40
  comentando, né, OOO papel do do dinheiro de dados, morreu ou vai
• 4:44
  morrer? É o contrário, se animem, porque
• 4:48
  é justamente esse aumento de complexidade que garante assim,
• 4:52
  gente, não dá pra ficar sem o engenheiro de dados, é, é está
• 4:56
  mudando, está evoluindo o papel, mas não é exatamente isso.
• 5:00
  Então assim, em vez o pessoal fala assim, não, não fico com
• 5:02
  medo, cara, fiquem, fiquem felizes com isso, que que desse
• 5:05
  aumento de complexidade.