Latest / Entre Chaves / Snippet #29 Pilares para estruturar dados antes de aplicar IA

Transcript

Snippet #29 Pilares para estruturar dados antes de aplicar IA · Entre Chaves

• 0:00
  Olá a todos. Está começando mais um snippet.
• 0:02
  Meu nome é Marcelo. Eu sou analista de dados da DTI
• 0:05
  digital e hoje vamos falar sobre critérios de aceite no
• 0:09
  desenvolvimento de AA qualidade de qualquer aplicação de ti está
• 0:13
  diretamente proporcional a qualidade de dados que ela está
• 0:17
  aplicada hoje. Vou mostrar na prática como
• 0:20
  aplicar critérios de qualidade para dados em AE.
• 0:24
  Como estruturar isso em uma arquitetura robusta?
• 0:27
  Desses projetos, de acordo com AAWS, houve uma mudança de
• 0:30
  paradigma no uso de a antigamente, conceito de AE
• 0:36
  aplicação de toda inteligência artificial para projetos era
• 0:40
  algo muito mais. É voltado para cientes de dados,
• 0:43
  onde ele teria que montar um código do zero e estruturar toda
• 0:47
  a cadeia. Hoje, modelos de agem
• 0:49
  legislativa estão disponíveis para qualquer empresa e para
• 0:52
  qualquer tamanho. Se o meu concorrente tem as
• 0:54
  mesmas ferramentas. De a que eu possuo, o que me faz
• 0:58
  ter vantagem do mercado? A resposta é simples, o meus
• 1:00
  dados proprietários. Mas quando falamos de dados, não
• 1:03
  é apenas a quantidade de dados, mas principalmente a qualidade
• 1:07
  deles para garantir que os nossos dados estejam prontos
• 1:10
  para aplicações IA. Ele não pode ser tratado de
• 1:12
  maneira gerérica, mas sim como fundamental para o nosso
• 1:15
  projeto. AEBM define a qualidade de dados
• 1:18
  através de 6 critérios essenciais.
• 1:20
  Vamos analisar cada um deles e ver como ele afeta em cada um os
• 1:23
  nossos modelos. O primeiro critério é exatidão,
• 1:26
  o dado precisa representar a verdade.
• 1:28
  Ao tratar um dado de um cliente, os dados castrais deles estão,
• 1:31
  corrompidos, AIA. Ela vai tomar as decisões
• 1:34
  precipitadas e não vai saber de forma correta como analisar
• 1:38
  aquele dado completude. O dado precisa estar completo na
• 1:42
  sua totalidade, ao lidar com uma estrutura de a que olha padrões
• 1:45
  financeiros para orçamento e gastos.
• 1:48
  Se não tivermos todos os dados sobre o financeiro, AEA pode
• 1:53
  muitas das vezes tomar decisões erradas e muitas das vezes
• 1:55
  perigosas. Consistência o dado precisa se
• 1:58
  dizer a mesma coisa em sistemas diferentes.
• 2:01
  Por exemplo, se no CRMO cliente está como ativo, porém no
• 2:05
  faturamento ele está como inativo.
• 2:07
  Aí ela vai ficar confusa na hora de tratar esses dados, uma vez
• 2:11
  que ela não sabe se o cliente está ativo ou inativo.
• 2:14
  Atualidades o dados precisa estar fresco de acordo com o que
• 2:18
  você quer olhar. Não adianta eu aplicar o
• 2:20
  conceito de ar para determinado item, sendo que a minha base
• 2:23
  está com a levacidade muito grande.
• 2:25
  Então devemos estar de acordo com o contexto explicado o mais
• 2:29
  atualizado possível, pois qualquer erro pode ser fatal.
• 2:33
  Validade e unicidade o dado precisa ser válido e único.
• 2:37
  Dados duplicados podem dar viés para IA para tomar decisões.
• 2:40
  Sabendo disso, como saiu da teoria pra prática?
• 2:43
  A resposta não está em um único esforço para tratamento dos
• 2:46
  dados inicialmente, mas SIM 1 esforço contínuo sustentado por
• 2:50
  3 pilares, que são eles, governança de dados ativa.
• 2:54
  O dado precisa ter um dono, precisa saber para quem ele é
• 2:57
  usado e precisa saber de onde ele vem.
• 3:00
  Isso nos garante conformidade. De acordo com as regras da LGPD,
• 3:03
  para que não me ligue, dados com risco para a camada semântica,
• 3:06
  quebras de silos de informação, dados isolados imperaquiáter
• 3:10
  todo o paralelo do conceito. Então, ao invés de utilizar
• 3:14
  vários silos para poder aplicar os dados em várias camadas
• 3:18
  diferentes, o ideal é colocar tudo isso num ambiente só, como,
• 3:21
  por exemplo, um data Lake permite que a informação fluir
• 3:24
  por uma camada só. Observação contínua assim como
• 3:27
  nós monitoramos se os servidores estão ativos ou não.
• 3:31
  Os dados precisam ser tratados da mesma forma, validando sempre
• 3:34
  a qualidade desses dados continuamente com pipeline
• 3:37
  robustas na qual informa caso tenha algum dado corrompido ou
• 3:42
  algum dado fora do padrão sejam informados diretamente, para AIA
• 3:46
  poder tratar isso de maneira correta.
• 3:48
  Diante de tudo isso, a qualidade de dados não é um projeto onde
• 3:52
  tem início e o fim, mas SIM 1 processo contínuo onde cada vez
• 3:57
  mais. Devemos avaliar a qualidade dos
• 4:00
  dados e vemos se ele está de acordo com a realidade de hoje,
• 4:02
  pois se queremos automatizar os nossos processos com segurança
• 4:05
  para tomar decisões mais confiadas e rápidas e projetos
• 4:09
  bem robustos, precisamos confiar muito na nossa matéria prima.
• 4:12
  Uma grande estrutura, sem dados limpos, consistentes e exatos é
• 4:16
  como construir um alicerce sobre Areia e qualquer tipo de erro,
• 4:19
  nesse caso, pode ser fatal. Bom, hoje foi mais um snippet
• 4:23
  falando sobre os critérios essenciais para a qualidade de
• 4:25
  dados no uso de ar. Nos erros da próxima, até mais.