Latest / Entre Chaves / #280 O engenheiro de dados virou AI Engineer?

Transcript

#280 O engenheiro de dados virou AI Engineer? · Entre Chaves

0:00
E está começando mais uma entre chaves, o seu podcast
0:03
desenvolvimento de software. Eu sou a Rafa e hoje vamos falar
0:06
sobre as transformações que o papel do engenheiro de dados vem
0:09
sofrendo nos últimos anos, ou melhor, meses, né?
0:13
É, mas assim, na verdade, a discussão ela gira em torno
0:16
disso, será se esse papel na verdade não morreu e a gente
0:19
está aqui em negação, é ir pra isso.
0:21
Eu estou de preto, mais um 11 coisa que a gente está
0:24
enterrando aqui no entre chaves. É e para me ajudar na necropsia
0:28
da engenharia de dados, estou aqui com meu colega de bancada,
0:30
Luiz. Oi pessoal, oi todo mundo.
0:32
Prazer estar aqui com vocês sempre.
0:33
Bom, Luís, tem uma coisa que a gente tem visto, né?
0:35
Com a inha em produção é que um dos principais gargalos, né, que
0:38
existem é o. É o próprio dado em si, né?
0:41
Mais especificamente o pipeline de dados que leva o dado até a
0:45
ponta final, esse novo consumidor que é AIAE esse dado,
0:49
ele precisa estar limpo, ele precisa estar governado e
0:52
principalmente confiável. Mas nos últimos anos, né, a
0:55
gente tem visto, é um ator que tem substituído, né?
0:59
OOO analista ali tradicional, eu ficava olhando para Obi.
1:02
E esse ator é nada mais nada menos que os agentes.
1:05
E esse novo consumidor. Ele foi o principal responsável
1:08
por essa mudança no papel do engenheiro de dados, de ser
1:11
apenas alguém que vai mover dado de um de 1 a pra b, pra ser
1:16
alguém que vai ter um papel crucial, na verdade, na fundação
1:19
de dados que aqui a gente está chamando de plataforma, ei,
1:23
ready. E é interessante a gente pensar,
1:25
né? Que como qualquer profissional
1:27
da área de ti, hoje ele também está sendo empoderado pela IA.
1:31
Mas ele também, né? De uma forma meio meta,
1:35
linguística. Ali ele também é um papel que
1:37
viabiliza, né? Que AIA possa ter essa
1:40
finalidade. Bom, antes de mais nada, eu
1:42
também sou engenheira de dados EE.
1:44
Mas eu também trouxe aqui comigo 2 colegas para o debate, né?
1:47
O Pedro alanje e o Pedro Dourado, que também são
1:50
engenheiros de dados aqui na dti, bem vindos.
1:52
Boa tarde, pessoal. Quem fala é Pedra longe.
1:55
Tô na DTI há quase 4 anos agora. Olá.
1:57
Pessoal, eu sou o Pedro Dourado, eu sou engenheiro de dados na
2:00
DTI há 2 anos. Bom, e pra alinhar o ouvinte que
2:03
não é na área de dados, né? Eu queria trazer um breve
2:05
contexto, que foi o maxin bushman, né?
2:08
Que que é um engenheiro bem conhecido aí na área,
2:11
trabalhando No No f, No No Facebook, no Yahoo.
2:15
E ele escreveu um artigo que muitos consideram como manifesto
2:18
da engenharia de dados, que é o the Rise.
2:20
Of the date engineer e lá nesse artigo ele conta que ele entrou
2:24
no Facebook em 2011 como engenheiro de BIE.
2:27
Ele saiu em 2013 como engenheiro de dados, né?
2:30
E não por promoção ou por decisão, né?
2:33
Ele fala que esse papel simplesmente surgiu de forma
2:35
orgânica, porque o trabalho que eles faziam tinha sido muito
2:39
além do que era o papel do BIE. Esse artigo, ele também define
2:43
esse papel como alguém que escreve código de pipeline de
2:46
dados, cuida da modelagem, da visualização.
2:48
Mas também constrói infraestrutura, utiliza
2:51
frameworks, serviços em nuvens com propósito da engenharia de
2:55
dados, né? E por isso é um papel que ele é
2:58
muito mais próximo da engenharia de software do que da análise de
3:02
dados. Mas eu, particularmente, eu
3:04
gosto de definir o engenheiro de dados como um back end developer
3:08
que é. Nada mais, nada menos do que um
3:10
especialista em dados. E desde então esse papel a gente
3:12
vê que foi evoluindo, né? Com as ferramentas, drag drop,
3:16
com a chegada de dados mais complexos, semi estruturados
3:19
imagens, muitas outras necessidades surgiram, né?
3:23
Além do BI, como o real time machine learning.
3:26
E o papel ele foi é mudando, né? Ao longo, ao longo desse tempo.
3:30
E agora a gente tem um pânico generalizado sobre o papel do
3:33
engenheiro de dados. É, mas assim, quem que vai ficar
3:36
obsoleto? Quem que não vai, né?
3:38
E esse também é um debate aqui para nossa área.
3:40
E aí eu queria entender de vocês que que entraram nessa área há
3:44
anos atrás, né, assim como eu. É como que era o dia a dia do
3:48
engenheiro de dados EEO? Que que mudou de lá para cá?
3:52
Quando em 2017, o maxine escreveu esse artigo pra hoje,
3:56
quase 10 anos depois? Pois é, Rafa, eu acho que
3:59
existem verdades que elas são atemporais, no caso, esse artigo
4:03
de anos atrás, ele se aplica hoje em dia, o mercado ele
4:06
transforma muito rápido, né? É, a velocidade já é vertiginosa
4:09
às vezes, e nesse quase um ano e meio que eu estou no mesmo
4:13
projeto, as ferramentas, elas vão, elas voltam, é
4:16
considerações a mais, elas vêm. E a verdade, ela continua sendo,
4:21
que não existia a boa com dado ruim.
4:23
É isso aí. Eu acho que é insuperável e é a
4:26
razão da gente existir dentro de um contexto de uma empresa.
4:29
O mercado dele demanda esse tipo de coisa.
4:31
É um responsável pelo dado, o dono do problema.
4:34
E é pra isso que a gente. Está lá.
4:36
Mas uma coisa que não muda é a responsabilidade, né?
4:38
Então é, as ferramentas podem mudar.
4:41
O jeito que a gente trabalha muda, mas a.
4:43
A engenharia, a qualidade, a governança continua sendo
4:47
responsabilidade nossa. Então, no fim das contas, a
4:49
gente pode estar programando menos de trabalhando, menos
4:52
digitando o código, mas a responsabilidade daquilo que
4:56
está sendo criado e é criado de uma forma mais fácil hoje, eu
4:59
acho, é nossa, então esse é o grande a grande questão.
5:02
E relacionado a essa questão de responsabilidade, tem um
5:06
agravante que a Barreira técnica caiu, né?
5:09
Então, por exemplo, a engenharia do dos velhos.
5:12
Do do velho testamento, lá onde você construir aquelas procídeos
5:15
na mão de 1000 linhas de de de SQL, isso não existe mais.
5:19
Então na verdade, né, isso já não existe.
5:22
Isso já estava obsoleto antes da IA, porque antes da IA a gente
5:26
já tinha, por exemplo, o no code, né, o low code vindo,
5:30
então isso já estava ficando obsoleto, mas agora com a IA a
5:33
Barreira caiu 100%. Então assim, agora todo mundo
5:36
pode construir um SQL, pode construir. 11 código em Python e
5:41
aí uma coisa que me preocupa, né, é o que que é esse código de
5:45
de engenharia de dados, né, que a IA tá gerando porque uma IA
5:48
sem supervisão ela pode gerar full scans desnecessários.
5:52
Existem questões quando está é desenvolvendo pipeline de dados
5:56
que são invisíveis pra IAP, como por exemplo, se as suas
5:59
partições tem date skill, então como é que a IA vai saber se as
6:03
partições do seu dado está desbalanceado, né?
6:05
Então aí você vai terminar com. Lá no Spark job, lá com um
6:10
worker fazendo 90% do trabalho e as próprias alucinações em
6:14
dados, que eu acho que é o ponto mais grave que vocês comentaram
6:17
também brevemente, sobre fazer uma engenharia de contexto ruim.
6:20
Ali você vai ter a sua e a é alucinando, principalmente
6:23
quando a gente está trabalhando com números, né?
6:25
Porque AIA, ela tem algumas limitações.
6:27
Coisas às vezes até relacionadas, por exemplo, a
6:29
segurança. Você tem a base de dados em em
6:32
produção. E você tem uma base de dados de
6:34
teste, você tem uma base de dados de desenvolvimento.
6:36
Se você não tem alguém que tenha o conhecimento ali realmente
6:39
para julgar o que que é, o que eu posso estar fazendo?
6:42
Cópia de dados sensíveis e pessoais de produção
6:45
disponibilizada em deve. Onde vai todo mundo ter acesso,
6:48
se anonimizar. Sem preocupar, são coisas
6:51
básicas, tipo assim, que pra pra pra quem é engenheiro de dados,
6:54
pra vocês acho uma coisa tão trivial, vocês nem falam assim,
6:56
pô, é tão automático, se eu vou tirar dados de produção vou
6:59
jogar pra deve, eu vou nanimizar, eu vou cortar, eu vou
7:01
diminuir, eu vou, eu tenho uma base que está ocupando 200 GB em
7:05
produção, eu não preciso de 200 GB em deve, eu posso, preciso só
7:08
de um pedaço de cada tabela em deve, são coisas muito simples e
7:12
que que acontece, o engenheiro de dados, ele vai usar iar pra
7:15
facilitar esse trabalho Pra Ele né, tipo assim?
7:18
É hoje você não vai ficar gastando seu tempo escrevendo
7:20
muito script a IA fazer isso pra você, mas quem tem o
7:24
conhecimento, tipo assim, eu preciso fazer isso?
7:27
Eu, eu tenho tal tabela, eu só preciso de um pedaço dela.
7:31
Eu tenho essa tabela aqui, ela tem dados sensíveis e eu vou
7:34
anonimizar. Quem toma a decisão e manda a ya
7:38
fazer é um engenheiro de dados. Se você não tiver um dinheiro de
7:41
dados pra mandar fazer e deixar a ya tomar a decisão por conta
7:44
própria, não vai ser feito. Vira um carro sem suspensão.
7:47
Sim, e aí você vai sentir o impacto e é o cliente que vai
7:49
sentir o impacto. Então não é muito legal EAIA.
7:53
Realmente ela vem evoluindo uma velocidade muito rápida, ela
7:58
escreve e ficam muito bem. Mas eu acho que no nosso caso
8:02
específico ali na empresa, o que ela não consegue fazer é
8:06
exatamente o que está definindo a nossa responsabilidade, a
8:08
nossa profissão, o nosso cargo, que é assinar embaixo da
8:12
qualidade do dado, garantir que ele está chegando para o modelo.
8:15
Tratado limpo, organizado. As regras estão implementadas,
8:19
regras de negócios, regras de negócio, contexto, contexto,
8:23
tudo. Tudo envolvido ali, né?
8:24
Exato. O maior erro que a gente pode
8:27
ter nesse cenário é usar IA para tudo e achar que a escala a
8:30
qualquer custo vale a pena. Porque esses erros silenciosos
8:33
que eles vão passando no pipeline, geralmente, se um
8:36
fator humano não pega, a IA não consegue pegar.
8:38
E isso mesmo as as interações mais recentes, mais modernas,
8:42
mais capazes. Daí é.
8:43
Até mesmo a própria questão do erro que você comentou, né,
8:46
Pedro? O que é um erro?
8:47
Se você chegar no nível de granularidade de de código,
8:50
mesmo a cada linha que tiver escrita, vai estar sendo feita
8:53
uma decisão ali, um tayd off. Será que esse, esse isso poderia
8:56
ser feito dessa forma? Será que isso poderia ser feito
8:59
de uma forma de valorizar outro, seja custo, seja é uma visão
9:03
mais ampla, é a partir de uma escolha de de código mesmo.
9:06
Então, essas escolhas a partir do momento que você deixa de
9:10
fazê las, a visão do negócio não está sendo contemplada nelas,
9:13
né? Então é um ponto de observação
9:14
também. Eu gosto dessa discussão em que
9:16
vocês trouxeram sobre o que é o erro, porque assim o pipeline
9:19
funcionou. Mas e aí, quanto tempo que ele
9:21
gastou pra fazer o processamento de dados?
9:23
Será que teve data data spill ali no meu jobs Park?
9:26
Será que teve data skill, como eu comentei?
9:28
Então vários problemas ali podem estar acontecendo, que eles
9:32
estão é silenciados porque o pipeline funcionou e o dado
9:35
apareceu lá. Exato.
9:37
E às vezes a pergunta certa não é, se a Kerry rodam um cloud,
9:40
por exemplo, você tem um custo do.
9:42
Do processamento se. Tem uma coisa que escala.
9:48
É custo, então? Pois é, às vezes ela dá um full
9:51
scan. Fazer um review o dia inteiro do
9:53
pipeline inteiro pode ser cortado em uma escala decimal de
9:58
esforço e tempo e custo com o olhar humano ali em cima.
10:02
EE ainda enfatizando sobre essa questão do erro, porque quando o
10:06
erro é algo que estoura na sua frente, o banco lançou uma
10:09
exceção. Você tentou fazer uma operação e
10:11
deu erro? Beleza, é a Coisa Mais Linda do
10:13
mundo, porque você tá me impediu você de fazer uma bobagem e você
10:16
tá vendo o erro. Você teve o.
10:17
Feedback real aí o. Feedback real o grande problema
10:20
é quando o erro é silencioso. É aquela questão, AA paip rodou,
10:24
só salvou os dados todos errados, só bagunçou tudo, mas
10:27
rodou, não deu erro nenhum, entendeu?
10:28
E aí você tá? Foi dormir, foi na saia ou
10:31
sexta-feira à noite, caiu a caneta, foi embora na hora que
10:34
você chegou o segundo de manhã, rodou o final de semana inteiro,
10:37
sei OE Commerce com alguma coisa lá que estava errado, salvando
10:40
alguma coisa errada, e aí você só vi aqui em uma segunda-feira.
10:43
É uma responsabilidade essa questão do da da engenharia de
10:46
dados, que vai muito além do que o que está ali na cara, né?
10:51
O quando o erro estoura ali Na Na sua frente, beleza, essa
10:55
parte é fácil. Né?
10:57
O problema é é o silencioso, é o que está ali por baixo dos
11:00
panos. Geralmente é o mais grave, que
11:02
ele só estoura na ponta quando alguém olha e o número não faz
11:04
sentido. E aí sobre isso, tem até um
11:06
estudo do state of the data Quality de 2026 da Monte Carlo,
11:09
que fala que 74% das vezes é um negócio que acha o erro
11:14
primeiro, né? Então qual que é o problema
11:16
então? Será que os engenheiros de dados
11:17
não estão preocupados, né, com a governança, com a qualidade de
11:22
dados? Isso só está chegando lá na
11:23
ponta. O que é, o que que está
11:24
acontecendo? Olha, eu acho que, ressalta.
11:26
A importância do cargo primeiro, então, já é um cenário que eu
11:30
acho que a culpa não é do profissional, acho que a culpa é
11:32
da falta de processo mesmo. É o The Bug.
11:35
Oo olhar em cima dos dados, ele não pode ser só por fazer só
11:41
para inglês ver. Assim, digamos, você tem que ter
11:43
uma atenção especial ali o tempo todo, senão você vira vítima da
11:47
estatística igual o estudo mostrou.
11:48
E eu acho que vai também esse, esse número crescente.
11:51
Ele vai justamente nesse, nesse contexto nosso de facilidade de
11:56
fazer, de criar códigos de depois de lançar pipelines.
11:59
É justamente isso, é um é um efeito disso.
12:01
E a gente tem agora código que está sendo gerado não validado
12:05
devidamente. Que acarreta em mais erros,
12:08
sendo identificados no negócio antes de uma validação devida na
12:12
própria pipeline automatizadamente.
12:15
Isso é legal você trazer, porque a gente sempre fala aqui o
12:18
quanto AIA amplifica os problemas existentes.
12:20
Então, se o processo está bom, AIA também vai amplificar o que
12:24
é bom, mas também o que é ruim. Então a engenharia de dados é é
12:27
engenharia de software. Então tudo o que a gente fala
12:30
aqui no entre chaves sobre isso, isso vale pra gente também.
12:33
Só que tem esse fator, né? Esse agravante que a gente está
12:36
também lidando com os dados que muitas vezes vão ser utilizados
12:39
para tomar decisões estratégicas e que esses dados de alguma
12:43
forma eles estão sendo transformados por ya, então
12:46
assim, demonstra essa importância muito maior de ter
12:49
uma governança bem aplicada. Ferramentas de monitoramento não
12:52
só OOO profissional ali durante o desenvolvimento testando, mas
12:57
também ferramentas que de fato faregem, né, de forma
13:00
automatizada, essa qualidade de dados.
13:02
Fica claro que será que a gente não está falando de uma
13:04
transformação do cargo e não dar uma morte porque observabilidade
13:09
ainda é necessário? O mercado demanda isso.
13:11
A nossa própria existência aqui, nos nossos contextos diferentes
13:14
de negócios, mostra isso. Mas vamos lá, então.
13:16
Assim, o que que, o que que mudou?
13:18
Bem, na prática, mesmo assim, de ferramentas.
13:21
É de habilidades necessárias na visão de vocês?
13:25
Pensando em ferramentas, a gente sempre teve aí pra engenharia de
13:28
dados. As validações são os testes, é
13:30
sejam unitários que a gente vai avaliando.
13:32
Aí é a qualidade de dados ao longo até ao longo do da
13:35
pipeline, até entregar uma tabela final.
13:37
Só que a partir do momento que a gente tem agentes consumindo
13:41
esses dados, a gente. Passa a ter ter uma necessidade
13:45
de uma de tipo diferente de avaliação que elas passam, por
13:48
exemplo, por testes que são é Oo Eval, por exemplo, que avaliam
13:54
de forma qualitativa as ações dos agentes.
13:57
Então a gente passa a ter um novo nível de análise, que é
14:00
muito menos quantitativo, muito menos sim ou não, e passa a ser.
14:04
É muito mais subjetivo mesmo. E aí, outros outros
14:07
conhecimentos são extremamente relevantes, né?
14:09
Quando a gente tá falando da IA dentro da engenharia de dados, é
14:12
você. Prover é esse esses mecanismos
14:17
de consumo que fogem do do das estruturas convencionais de
14:20
data. Lake de daytor House então a
14:22
gente já começa a falar de bancos vetoriais para as ragues,
14:26
né? Pra serviços em badins.
14:27
A gente tá falando de grafos, é onde a gente vai ter bases de
14:31
conhecimentos que vão ser estruturados em bancos de grafos
14:33
como os new for j da vida. E aí é sobre essa questão da
14:37
rague. É, não é trivial, né, Luís?
14:39
Você desenvolver uma rague. Hoje.
14:42
Não, até porque quando a gente para pra pensar no na função da
14:46
engenharia de dados, a rag pode ser literalmente qualquer coisa,
14:49
né? A rag é um código fonte, outras
14:53
coisas, estou migrando um sistema legado e estou refazendo
14:56
ele, uma tecnologia mais nova. O código fonte original é uma
14:59
rag, estou mexendo com imagens, eu posso ter um banco de
15:02
imagens, estou mexendo com textos, com a base de
15:06
conhecimento da minha empresa, é, eu tenho um wikipedia
15:09
qualquer, aquilo pode ser uma rag.
15:11
Então, o engenheiro de dados, eu acho que se ele vai ter, né?
15:14
Que conhecer não só como lidar com texto, pensa.
15:17
Até 1015 anos atrás, o foco era conhecer SQL, tabelas da banca
15:23
nacional, tabelas com colunas com linhas e cabou.
15:26
Agora a gente tem vetores. É então assim, eu acho que a
15:29
questão da ampliação do conhecimento do engenheiro de
15:32
dados hoje, comparando com 1015 anos atrás, é brutal, né?
15:37
Hoje o engenheiro tem que ser capaz de lidar com.
15:40
Tipos de arquivos, formatos de dados dos mais diversos
15:44
possíveis. E se você não tem uma rague bem
15:47
estruturada que ela vai ser útil para sua iate tirar informações
15:50
ali é o famoso garbagi engaba de áudio.
15:53
Tem, você tem lixo na rague, você vai receber lixo como
15:56
resposta. É então assim, Oo engenheiro de
15:59
dados. Hoje ele tem que conseguir lidar
16:01
com uma variedade de tipos de informação muito grande de uma
16:06
maneira efetiva. E que aquilo realmente seja útil
16:09
pra mim e a utilizar vocês engenheiros de dados, como é que
16:12
vocês estão lidando e enxergando isso hoje?
16:15
O quanto isso trouxe de complexidade e dificuldade na
16:18
vida de. Vocês traz muita complexidade.
16:21
Esses são os problemas que eu digo de downstream comparado ao
16:24
pipeline. Tem o pipeline problemas de
16:27
especialista técnico e os problemas ainda de cima que a
16:29
gente nem falou. Você tem gestão de stakeholders
16:31
que você tem que fazer. Você tem que ver se os dados
16:34
estão chegando atrasados, porque se você tem csvs.
16:37
Mal formado. Se você tem parquês que não
16:39
estão sendo emitidos por algum motivo, então tem 11 gama de
16:43
atividades também, que antes ela nem era tanto do engenheiro de
16:45
dados e agora ela passou a ser. Porque como o avanço da IA
16:49
fazendo coisas operacionais que o engenheiro de dados não
16:52
precisa preocupar mais, ele consegue.
16:55
É ter uma visão muito mais de negócio também, trazer essa
16:57
visão, ser o dono do dado, ser alguém que a liderança vai
17:01
procurar no momento de aperto. Momento que o pipeline quebra.
17:04
Passar essa confiança num contexto corporativo acho que é
17:07
essencial também. Então são coisas que se
17:10
complementam. A gente falou dos aspectos
17:12
técnicos, do do crescimento, do do cardápio de um engenheiro de
17:16
dados e ainda tem muito mais. É então assim, é um cenário
17:20
desafiador, mas não desanimem assim também, porque é muito.
17:25
É muito legal, é muito recompensador.
17:27
Quando você continua aprendendo uma coisa que você nunca ouviu
17:30
falar e agora você está conseguindo mexer.
17:31
Traz um pouquinho do tema que eu tava falando, da adaptabilidade,
17:35
o engenheiro de dados, ele não pode ficar refém de um steck.
17:37
Ele tem que estar sempre aberto a novas inovações, novas
17:41
ferramentas, tentar entender como que as ferramentas, elas se
17:44
relacionam também. A função que eu digo, que é
17:47
fundamental, é core. É e na verdade é isso que vai
17:51
fazer com que engenheiro de dados não fica absolver e não,
17:53
né? Igual a gente estava quando é
17:55
igual, a Rafa começou aumentando, né?
17:57
OOO, papel do do gênero de dados, morreu ou vai morrer?
18:01
É o contrário, se animem, porque é o é justamente esse aumento de
18:06
complexidade que garante assim, gente, não dá pra ficar sem o
18:10
engenheiro de dados, é, é tá mudando, tá evoluindo o papel,
18:14
mas não é exatamente isso. Então assim em vez, o pessoal
18:17
fala assim, não, não fico com medo, eu falo, cara.
18:19
Que que fiquem felizes com isso, que que desse aumento de
18:22
complexidade. Bom, e vocês trouxeram aí o tema
18:24
dessa ampliação de cardápio pro engenheiro de dados poder
18:27
trabalhar. Mas vai além disso e vai também
18:29
do vai muito para a questão do volume.
18:32
Não só do volume de dados trabalhados, mas também de
18:35
requisições lá na frente. Downstream mesmo, né?
18:38
De de muito mais serviços sendo criados, EE demandados com base
18:44
nesses nesses dados que não param de crescer.
18:46
Então. É uma, é um problema que pode
18:49
escalar exponencialmente mesmo, a depender da nossa
18:52
implementação de qualidade ou não, aí dentro desse sistema,
18:55
né? E só complementando, né?
18:58
Além do garba de in, garba de out, ainda tem a questão de a
19:02
gente estar trabalhando lá ainda tem Oo perigo da alucinação,
19:05
pode gerar transtornos assim, muito mais difíceis de mensurar,
19:09
porque a gente não não tem tanto controle que está sendo feito.
19:12
E relacionado a essa complexidade, a gente fala, né,
19:15
o tempo todo que a IA amplifica os.
19:16
Problemas eu estava aplicando os problemas e um dos problemas que
19:20
foram foi resolvido lá na década de 90, com o surgimento do dator
19:24
House, que é justamente os silos de dados.
19:27
Eu vejo que isso está se intensificando agora, porque
19:30
existe esse conceito de shadoway AI, né?
19:33
Que está sendo falado, porque hoje, gente, a Barreira técnica
19:36
realmente caiu, então todos os profissionais da sua.
19:39
Da sua organização, eles conseguem resolver os seus
19:42
próprios problemas com o IA. Aí você imagina a pessoa que não
19:45
está sendo atendida pela plataforma de engenharia de
19:47
dados ou que não está sendo bem atendida, bem servida pelo SAS,
19:51
e aí começa a construir os seus próprios pipelines ali, o seu
19:54
próprio Excel, o seu próprio banco access ali.
19:58
E a gente pensa que todas essas pessoas agora estão empoderadas
20:01
por IA. Então todas elas têm a
20:03
capacidade de construir pipeline de dados.
20:05
Mas isso intensifica justamente o problema que ODW resolveu
20:09
atrás, que são os siglos de informação.
20:10
Então agora você pode, além de todos esses problemas que a
20:13
gente falou, você pode terminar com ter várias verdades
20:17
espalhadas por aí. Desorganização e dado.
20:22
Tá tudo que é lado ali, sem muita governança do que que
20:26
existe. EE pior, né?
20:28
Você ter as suas decisões estratégicas sendo tomadas a
20:30
partir disso. Ainda nisso que você trouxe, né,
20:33
Rafa? De ter vários takeholders
20:35
trabalhando com eventualmente bases diferentes de formas
20:38
diferentes e às vezes tentando chegar em resultados similares,
20:41
às vezes um cálculo de um número, você não tem essa, essa
20:45
garantia. Então existem algumas
20:47
ferramentas que a gente pode usar, seja o.
20:49
É, por exemplo, a camada semântica mesmo, pra chegar,
20:52
chegar ali e falar a partir daqui, a partir daqui, os dados
20:55
são esses, sigam essa, esse, essa conformidade, porque caso
21:00
contrário, você vai ter é realmente é o caos, né?
21:03
É o. Problema das 2 verdades, né?
21:04
Que, como eu falei, já foi resolvido lá atrás.
21:07
Mas é. Antes esse problema era muito
21:09
limitado, porque as pessoas dependiam muito do engenheiro de
21:12
dados ali, de cada área, mas hoje todo mundo pode.
21:16
Atuar um pouquinho como engenheiro de dados, mas eu acho
21:19
que isso só mostra a importância da plataforma de dados dentro de
21:22
uma organização. E isso é relaciona diretamente
21:25
com o que as últimas pesquisas falam, por exemplo, a state of
21:28
data com parceria da bem. A última versão já apontou que
21:32
assim, mais de 90% dos profissionais de dados já usam.
21:35
E a generativa olhando só essa estatística, você fala nós,
21:38
então é uma ferramenta ou tá substituindo?
21:40
Já gera essa indagação. Mas todos os fourcasts futuros
21:44
mostram a expectativa de salário de um engenheiro de dados.
21:47
Ela vem aumentando a demanda pelo cargo?
21:49
Ela vem aumentando. Então a gente tem esse paradoxo.
21:51
Engraçado que é todo mundo pode ser engenheiro de dados, mas o
21:55
mercado está valorizando e está pagando muito bem pro engenheiro
21:57
de dados. Bom, então assim.
22:00
Dá pra existir uma realidade com tudo isso junto?
22:03
Envelopado acho que dá. Eu acho que o ponto é que
22:06
eventualmente esse custo aparece, né?
22:08
Que é justamente quando você precisa escalar alguma coisa,
22:11
quando você precisa produtizar algum pipeline, quando a
22:14
auditoria bate na porta e você vê esse caos, né?
22:17
E aí é onde você recorre a um engenheiro de dados pra ir pra
22:21
uma plataforma, né? E não ter essa descentralização
22:24
maluca dos pipelines. E muitas decisões de
22:28
arquitetura. Talvez as mais importantes são
22:31
em dizer não para uma ferramenta que ela pode estar no hype, ela
22:35
pode estar em alta, mas um engenheiro de dados que tem
22:37
experiência, ele vai conseguir olhar para aquilo e falar, Hum,
22:39
talvez isso não vai ser aplicável para nossa realidade,
22:42
que é agora. E agora uma curiosidade que eu
22:44
tenho aqui, né? Eu jogo a pergunta para os
22:46
engenheiros de dados da da mesa. É o que que muda quando eu tenho
22:51
AIA como consumidor de dados. Porque assim, né?
22:54
Só Oo contexto até para quem está acompanhando a gente.
22:57
Quando você está escrevendo o software, quando você tem 11
23:01
produção de software ali, 100% autônomo, ou que seja, com um
23:06
grande auxílio da IA. A estrutura muda porque aí está
23:10
escrevendo um software que não é para o humano ler, é para IA
23:13
ler. AIA tem que entender, AIA tem
23:16
que produzir e depois AIA vai manter aquilo, vai alterar, vai
23:18
evoluir. Então muda se a forma de
23:21
escrever para de uma maneira que seja otimizado para IA interagir
23:25
e lidar com aquilo e. Como que funciona quando a gente
23:27
fala de dados, onde na verdade eu tenho AIA como consumidora
23:32
dos meus dados e não humano? Bom, Luis, é daí que surgem
23:36
novas estruturas de consumo, né, que fogem um pouco do do
23:39
tradicional, que é data Lake House, data lakes, que são os
23:43
bancos é vetoriais e os bancos de gráfos, né?
23:47
O banco vetorial, ele armazena vetores, né dimensionais?
23:52
E cada dimensão ali tem um significado semântico.
23:55
Então, o modelo de embed, ele consegue compreender cada um
23:58
daqueles números ali dentro de um vetor e interpretar aquilo
24:02
pra gente. E aí, no caso do banco de grafo,
24:04
é justamente a forma como ele armazena os dados, porque ele
24:07
armazena a relação entre entidades ali de forma muito
24:11
mais explícita. Então ela é capaz de pegar uma
24:14
entidade e criar. É conexões ali de vários níveis,
24:18
ali da de relações que aquela entidade tem com várias outras
24:21
informações. E também pelo caráter
24:23
semestruturado, né? Dessa desse tipo de onde você
24:26
pode armazenar textos ali dentro e transformar esses textos ali
24:30
em realmente mapas mentais, que aí ela vai conseguir capturar
24:33
esses níveis de informação. E extrair somente o que ela
24:37
precisa para responder a pergunta.
24:39
Então, é justamente essas novas estruturas que surgem que o
24:42
engenheiro de dados ele precisa de atualizar ali a caixinha de
24:45
ferramenta. Né, e até mesmo a rádio que você
24:47
trouxe, né, Luís? Que envolve toda uma estratégia
24:50
de tranquilização, de de indexação também, para para que
24:54
a gente tenha um produto que seja econômico e assertivo ao
24:58
mesmo tempo, porque são pilares que a gente tem que seguir aí,
25:01
como dinheiro de dados. Né, bom, pessoal?
25:03
E sobre equipes, como é que é? Elas estão se reorganizando com
25:07
essas mudanças. Vocês estão vendo alguma mudança
25:09
de papel? Junção de papéis, talvez?
25:12
Uma coisa que eu percebo, Rafa, é justamente assim, o cargo de
25:15
engenheiro de dados acaba que eventualmente ele ainda fica um
25:18
pouco distante do negócio. Acaba que seja a daira Science
25:22
ou elix, ainda fica muito mais próximo da da tomada de decisão
25:25
e muitas vezes da do direcionamento, de onde e para
25:29
que vão. Os dados vão ser encaminhados e
25:31
você acaba tendo aí uma sobrecarga no engenheiro de
25:34
dados. De funções mesmo de EIA,
25:36
engineer, learys engineer, ml engineer, tudo que que envolve
25:41
uma série. De unicórnios, né?
25:43
Dos famosos unicórnios? É exato e mostra que é um
25:46
ecossistema muito vivo que ele tá se consolidando.
25:49
É até mesmo a nomenclatura. Muda muito?
25:51
É. Você tem às vezes funções que
25:54
tem uma interseção. É, por exemplo, EIA engineer
25:57
como date engineer com analytics engineer.
25:59
É uma sopa de letrinhas, mas. Eu acho que o core ainda ele
26:04
prevalece. Eu acho que você tem que
26:06
valorizar a sua adaptabilidade, a sua proatividade.
26:10
Você tem que conseguir correr atrás dos problemas e ser dono
26:12
dos problemas. É.
26:14
Eu acho que a liderança é independente da consolidação do
26:17
mercado. Ela vai valorizar skills que.
26:19
Elas podem ser aplicadas para qualquer cargo.
26:21
É, e aqui Na Na dti a gente fala muito da formação inteiro,
26:24
engenheiro de dados, né, onde ele tem uma base mais geral ali
26:28
de conhecimento e tem AA perninha do t, onde seria sua
26:32
especialização na área de engenharia.
26:34
Mas eu sinto que isso está mudando, sabe?
26:36
Eu acho que você EAIA também, ela tira um pouco essa Barreira
26:39
do especialista, é acaba que você precisa ter um conhecimento
26:43
quase, quase que full Stack ali mais aprofundado em mais áreas.
26:47
Eu pelo menos estou sentindo isso.
26:49
É, pelo menos é eu. Eu tive tive que ter muito
26:52
contato com a área de ciência de dados assim ultimamente e
26:56
principalmente com a área de m wops, que ficou muito mais
26:59
relevante pra mim do que era antes.
27:01
Então realmente eu sinto que tem essa megazordização do gênero de
27:06
dados. É pra criar esse full Stack.
27:09
Mas eu acho que isso ainda é um pouco tópico, né?
27:12
Tem até algumas pessoas na nas redes sociais ali que falam que
27:15
isso é o unicórnio que o RH tá procurando e que isso ainda não
27:18
existe. Mas é isso, né?
27:20
Então acho que encerramos por aqui.
27:23
É, a gente entendeu que o papel do dinheiro de dados ele não
27:27
morreu. Talvez esteja mudando de nome,
27:29
né, pra um EIA e date engineer, um full Stack date engineer, mas
27:34
ele ainda existe e ele na verdade está muito mais
27:38
fundamental, né? Agora, com toda essa
27:40
amplificação de problemas gerados por ya que estamos
27:44
vendo. É, e essa dependência dos dados,
27:46
né? Então, ainda não morreu.
27:48
Estamos estamos aqui, eu estou de preto, mas estamos aqui.
27:53
Então é isso, pessoal, até a próxima.
27:55
E valeu pela participação. Muito mais pessoal, valeu?