Latest / Entre Chaves / #240 Como o novo Databricks simplifica a integração de dados e IA

Transcript

#240 Como o novo Databricks simplifica a integração de dados e IA · Entre Chaves

0:02
Está começando mais um entre chaves, o seu podcast
0:06
desenvolvimento de software. Eu sou a Rafa e hoje a gente vai
0:09
falar de data brics sim, novamente, mas hoje vai ser
0:13
muito especial porque a gente tá com um convidado aqui que é o
0:17
Lucas brabo, veio lá de São Paulo aqui pra falar com a gente
0:20
sobre data brics e ele que vai trazer aí as novidades que que
0:24
tiveram no evento, né, que teve recentemente, que foi o daes,
0:28
né? O data summit 2000 e. 25, que
0:30
assim mostrou que a data bricks está revolucionando
0:33
completamente. Aí, né?
0:35
Novamente, porque já teve uma primeira revolução com a data
0:38
bricks. Deixou de ser a the data
0:40
lakehouse e platform para ser a the date intelligence platform,
0:44
né? E aí?
0:45
Trazendo agora várias novidades No No no evento que eu estou
0:49
ansiosa para saber e para falar sobre isso também estou aqui com
0:52
a minha parceira Fernandinha. E aí, galera?
0:55
Pois é, estou animada para falar mais uma vez aqui sobre dados
0:59
sobre acne. Como a gente fala aqui, né?
1:01
Impossível atualmente falar de software sem falar sobre essas
1:05
outras 2 coisas que estão intimamente ligadas hoje, como a
1:09
gente desenvolve software, desenvolve, enfim, produtos aí
1:12
digitais. Então estou muito animada.
1:14
Bora lá, Rafa. E aí, Lucas, obrigada por ter
1:16
aceitado o convite e. Aí pessoal, tudo bem,
1:18
primeiramente um prazer estar aqui com vocês, cara, tô feliz e
1:22
nervoso, né? Pô, o primeiro podcast que eu tô
1:24
gravando então tá aqui com vocês, é legal, mas ter as
1:27
câmeras aqui é sempre um pouco complicado pra mim.
1:29
Bom, eu sou o Lucas brabo, é, estou na deira brics, fez um
1:32
ano, agora que eu tô na dera brics, mas já atuo com a
1:34
plataforma já há alguns anos, né, então fui inclusive um dos
1:36
primeiros clientes aqui no Brasil, eu era cliente né, um
1:38
dos primeiros clientes no Brasil eu IA implementar o Unity
1:40
catala, ih, bom, vamos falar um pouquinho sobre o Daesh, né?
1:43
Daesh é um evento que acontece finalmente na dera brics, né?
1:45
Mas geralmente ali, todos os anos até agora foram em São
1:47
Francisco. Cara, é um evento onde a gente
1:49
faz o nosso samba, a gente faz a liberação ali da maioria das
1:52
features que vão vir ou estão vindo ou que vão ser lançadas,
1:56
inclusive ali durante o evento, enquanto tem algum hoster
1:59
apresentando. Esse ano a gente teve muitas
2:00
Apresentações diferentes, então a gente teve apresentação de
2:03
produtos como lakebase, o agente brics, a gente teve rebringins,
2:06
por exemplo. Então a gente viu que ODLT, ele
2:08
entrou na estec do lakeflow, passou a se chamar lakeflow,
2:12
declarativo pipelines, que pode mexer um pouco com a cabeça aí
2:15
da. Mas a gente está aqui também
2:16
para poder ajudar isso dentre outras coisas, né?
2:19
A daira brics cada vez mais, como a Rafa colocou muito bem,
2:21
se posicionando cada vez mais a frente do mercado é de dados e,
2:25
principalmente, focado mais na sua estratégia em inteligência
2:28
artificial. Agora, né?
2:29
Então, inclusive, a gente pode ver isso no nosso na nossa
2:31
última rodada de investimentos, né?
2:32
A gente acabou de ter o anúncio aí da faz umas 23 semanas que a
2:36
gente fez o anúncio da series k da série de investimento cada
2:38
daira brics. Que trouxe o nosso valor eixo
2:40
agora para um pouco mais de 100 bilhões de dólares, né?
2:43
E muitas dos das reviews que a gente vê, isso está fortemente
2:46
atrelado a nossa estratégia de e a agora para o mercado.
2:48
Muito legal. Eu estava lendo justamente sobre
2:50
isso, né? Sobre essa última série, né?
2:52
De investimentos. Essa última rodada de
2:54
investimentos é e eu vi que basicamente a the brics quer
2:57
utilizar esse capital para acelerar mesmo essas coisas de
3:00
a, né? Principalmente.
3:01
É nessas últimas que você falou aí do agent bricks e do do
3:05
lakebase, né? E vi também que um dos objetivos
3:07
da data bricks é de simplificar e democratizar, né?
3:10
O acesso a dados EAE, enfim, é ajudar as empresas aí a se
3:15
tornarem mais competitivas nesse nesse, nesse segmento, né?
3:18
A criar gentes agora com essas últimas novidades, enfim.
3:21
E aí eu tenho 11 curiosidade aqui, né?
3:24
Com esses tantos lançamentos que foram feitos, né, nesse no da TI
3:28
summit, como que vocês estão vendo é os clientes e a
3:32
necessidade deles e como que a data break está reagindo a isso,
3:36
né? Porque a gente está vendo,
3:38
claro, estamos num contexto gigantesco de agentes, né?
3:41
As as empresas atualmente, tudo o que elas querem, né, tudo que
3:44
elas estão buscando. É agentes de a, né?
3:47
Essa palavrinha aí é virou realmente um trending topics em
3:51
2025. E empresas?
3:53
Assim como a Microsoft, o gartener é a própria Deloitte
3:56
também. Eles estão posicionando a gente
3:59
numa era bem diferente do que estávamos antes, né?
4:03
A deloitt, por exemplo, fala de uma era de empresas autônomas,
4:07
onde as empresas realmente vão criar agentes autônomos e, né,
4:12
conseguir se posicionar muito mais.
4:13
Nesse nesse sentido, o Gartner fala sobre que até 2028 é 1/3
4:19
das aplicações. Vão ser agentic based, né?
4:22
Vão ser front end agenticos. Já AA Microsoft fala de.
4:27
De um termo que chama Frontier firms, né?
4:29
Que é basicamente as empresas de Fronteira, que são empresas que
4:33
vão redesenhar os seus processos colocando os agentes no centro.
4:36
Então, assim, dado todo esse contexto em que a gente se torna
4:40
um negócio extremamente importante para o 2025.
4:43
E claro, né, não tem como fazer 11 agente muito bom, muito
4:46
assertivo, sem a gente falar de fundação de dados.
4:49
Dado todo esse contexto, como a data brics está vendo nesse
4:53
movimento dos clientes e como ela está se revolucionando?
4:56
Com isso, eu acho que você colocou.
4:57
Perfeitamente, tá. E assim eu vou dar um pouco da
5:00
visão da daira brics. Eu vou dar um pouco da minha
5:01
visão pessoal também do mercado, que vai de encontro também a
5:04
visão da daira brics. Mas eu sou até um pouco mais
5:05
crítico quanto a isso. Eu acho que uma coisa é o hype,
5:08
e eu acho que o hype ele é importante e eu acho que é
5:10
inegável AO como AIA, principalmente AIA, generativa o
5:14
como ela transformou a nossa vida, principalmente nos últimos
5:17
2 anos e meio. E é inegável que a gente sabe
5:19
também. O quanto ela vai transformar
5:21
daqui a 1 mês e o quanto ela vai transformar daqui a um ano e
5:24
possivelmente nos 5? Só um, só um gancho.
5:26
A gente fez um episódio aqui recentemente sobre 11 relatório,
5:30
não sei se você viu, chama IA, é iae 2027, né?
5:33
Iae to taus and twenty seven, que ele faz um tanto de
5:36
previsões para daqui a 2 anos, uma coisa assim e é cada coisa
5:40
que então quem não ouviu esse episódio?
5:42
Gente, eu toda hora a gente fala aqui desse episódio, porque
5:44
realmente ele é. Semana que vem já é ele, é
5:47
diferente ele. Realmente bagunça na nossa
5:49
cabeça, mas. Então, só para trazer o gancho
5:51
para vocês ouvirem esse episódio, porque ele vale
5:53
bastante a pena, né? Desculpa, pode continuar.
5:55
Perfeito. E assim, pegando esse gancho, eu
5:57
vi um post esses dias no LinkedIn que eu acho que é é
5:59
muito interessante, né? Que se eu não me engano, em
6:01
2015, Oo elonaski, ele falou que nos próximos 2 anos toda a nossa
6:06
frota aqui vai ser de veículos autônomos, né?
6:08
E ali antes de 2020, não se ou de alguma empresa que eu não
6:11
lembro o nome agora ele falou, nos próximos 6 anos a gente não
6:14
vai ter mais radiologistas, não vai ser mais necessário ter o
6:17
radiologista, Ah, a gente está em 2025 e a gente tem os radios.
6:20
Ideologistas presos no trânsito com seus carros perfeitamente
6:23
normais. Então assim é esse.
6:24
Esse é ótimo, porque assim, de fato existe os seus.
6:27
Microfones. Pois é, e assim é fato que AIA
6:30
ela está mudando nossa vida e ela vai mudar todos os dias,
6:32
cara. Um texto que eu fazia antes, por
6:34
exemplo, que eu demorava 3 dias para produzir, hoje eu produzo
6:36
em 15 minutos com AIA, depois de uma validação minha, por
6:39
exemplo, ou validado até por uma outra IA, quem sabe?
6:41
Mas é fato que AA esmagadora maioria das empresas, ela não
6:44
está, principalmente aqui no Brasil, e eu vejo muito isso no
6:47
meu dia a dia. Elas não estão preparadas para
6:48
essa realidade. Você tem empresas que estão.
6:50
Falando muito de AE eu recebo, eu percebo isso de diversas
6:54
empresas diferentes, que é, cara, eu preciso falar de a eu
6:56
quero falar de a eu quero colocar AIA lá na ponta, muitas
6:59
vezes uma a, por exemplo, customer facing, e você olha
7:02
para o parque tecnológico, principalmente para o parque de
7:04
dados daquela empresa, e não existe uma maturidade adequada
7:08
para você conseguir trabalhar SA com qualidade lá na ponta.
7:11
Então, o que o que Eu Acredito que a daira break está trazendo
7:13
de muito legal para o mercado. E é assim, é um pouco assim que
7:15
a gente se posiciona é, eu estou entregando a visão de como eu
7:18
construí as cada vez mais. Fácil, de forma mais
7:21
simplificada para o meu usuário lá na ponta e aqui.
7:24
Entenda tanto para o meu analista de dados, com meu
7:26
engenheiro e com meu cientista, quanto para um usuário, por
7:28
exemplo, que ele quer fazer um self service i entre muitas
7:32
aspas, né? Mas também a gente cabe cada vez
7:35
mais evolui nossa esteck de engenharia e governança de dados
7:38
para que essas para que as informações que cheguem para
7:41
essas e as na ponta consigam estar cada vez mais trabalhadas.
7:45
Mas é importante a gente lembrar também que o beta brics, ele é
7:48
uma ferramenta, uma plataforma que.
7:50
E vai te apoiar a você chegar nesse nível de maturidade.
7:54
Mas os processos, eles ainda precisam ser construídos, né?
7:58
Então, por exemplo, a gente tem o winut catland, que na minha
8:00
visão é uma das ferramentas mais incríveis do mercado.
8:02
Eu fui um dos primeiros clientes aqui no Brasil a fazer a
8:04
implementação no Unity. É uma ferramenta incrível, sem
8:07
sombra de dúvida, e hoje é a espinha dorsal do darabrix.
8:09
É uma ferramenta para quem não conhece muito bem Unity é uma
8:12
ferramenta de governança de dados 100% integrada a
8:15
plataforma e você vê muitos clientes, por exemplo, que por
8:18
estarem no Unity, eles acreditam que eles.
8:20
Estão num nível elevado de governança, mas não o Linux.
8:23
Ele é a ferramenta. Ele vai te facilitar a adesão AA
8:26
uma boa governança de dados. Ele vai te facilitar trazer os
8:29
melhores padrões de mercado. Só que se você não tem os
8:31
processos adequados, tanto de engenharia quanto de governança,
8:35
o que vai chegar lá na ponta pra iar é algo completamente
8:38
desgovernado. E quando a gente fala de uma IA,
8:40
por exemplo, customer facing, ou até uma IA, por exemplo, que é
8:44
interna, mas atende um processo de RH, um processo de
8:46
Controladoria, um processo de suprimentos de compras, por
8:49
exemplo, cara, o que você vai ver é 11 quantidade de falhas
8:51
absurdas. E aí você cai naquele velho
8:53
problema do projeto, vai à produção, ele fica tão ruim que
8:57
ele morre rápido. Ou então hoje fica tão defasado
9:00
com o passar do tempo que eu não consigo controlar isso, que ele
9:03
acaba morrendo também. Então isso é o que a gente vê
9:05
muito. E a dayara brixell tem evoluído
9:07
cada vez mais nessa direção em ajuda.
9:09
Dar os clientes a montar um parque ideal tecnológico para
9:12
engenheiros de dados e montar um parque tecnológico ideal também
9:16
para o time de governança e para as pessoas, para os para as
9:18
pessoas que trabalham com a governança poderem montar e
9:21
idealizar seus processos dentro dele.
9:23
Cara, isso é muito legal. Assim, eu vi o Yuri de cataloga
9:25
e nascer também. E eu cheguei a fazer algumas
9:27
migrações, né? Das raives, das metas
9:29
tradicionais. E hoje vê que Oo Yuri de
9:32
cataloga. Ele está indo muito mais além
9:34
ali de de trazer informação sobre os seus dados, né?
9:37
Agora ele fala dos. Modelos, né?
9:39
Tem toda a integração com o modelo, com com as features, com
9:43
o seu processo lá dentro. A line age dos dados, né?
9:46
É muito legal. E isso que você falou é muito
9:47
interessante, porque às vezes a gente olha para o Unity, a gente
9:50
acha que o Unity, ele é uma ferramenta de catálogo de dados.
9:53
E o nome, às vezes dá essa. Exato, sendo que o Unity, ele de
9:56
fato é um catálogo, mas ele é uma.
9:58
Ele é um catálogo de asset de dados e não só de dados,
10:01
efetivamente. Então não é que eu vou colocar
10:03
uma só uma tabela dentro do Unity, não.
10:05
Eu posso colocar o modelo, eu posso colocar, por exemplo, 1 o
10:08
volume eu posso colocar. Agora, mais recentemente que a
10:10
gente chama de Matrix ou uc Matrix, que é uma forma da gente
10:13
ter, por exemplo, métricas pré calculadas, dimensões
10:16
registradas já dentro do do hino de catalog, dentre outras coisas
10:19
que eu posso fazer e pensando nisso, com todo aquele modelo de
10:22
governança que eu posso criar com a linhagem integrada, por
10:24
exemplo, todo o meu modelo de governança de acessos pode estar
10:27
diretamente integrada da plataforma.
10:29
Então ele é muito mais amplo do que um catálogo que governa só
10:33
dados ou só tabelas. Mas uma coisa que eu achei muito
10:36
interessante no que você falou, né?
10:37
Do discurso aí da data brics. Em relação ao momento atual, é
10:40
que ela é muito condizente, né, ao o que a gente aqui na dti
10:44
também está se posicionando no mercado em relação ao momento
10:47
atual, né? Tem uma pesquisa do gartener que
10:49
fala que só 33% das empresas estão prontas, né?
10:53
Em relação à sua fundação de dados, justamente para surfar
10:55
nessa onda dos agentes e enfim, na onda da inteligência
10:59
artificial. E aqui na dti a gente está
11:00
justamente falando sobre essa arquitetura.
11:02
EI, Red, né? Essa, o que é necessário para os
11:06
clientes para encontrar essa esse i Red, né?
11:09
Se realmente tirar o valor real das das inteligências
11:12
artificiais e que para isso ele precisa muito mais, né?
11:16
Primeiro, preparar a sua fundação de dados, sua
11:19
plataforma de dados, mas também a sua governança.
11:22
Igual você falou, né? A parte de observabilidade que é
11:24
muito importante, a parte de segurança, né, a parte de cloud
11:27
de nuvem, enfim, tem muita coisa para a própria parte de de
11:30
aplicações, né, que nem sempre também estão prontas para serem
11:34
consumidas por agente de a, por exemplo, né?
11:37
Enfim, a gente tem até um episódio aqui.
11:39
Deixar as falando sobre OAI, redness, né?
11:41
E a importância de tudo isso que eu estou falando aqui para que
11:44
realmente as empresas surfem aí na onda da IA.
11:46
Então achei muito interessante, porque é justamente eu acho que
11:48
esse esse é o discurso que faz completo sentido e que enfim,
11:53
né, as empresas estão caminhando para ele mesmo, né?
11:55
Bem legal, mas. Assim, né?
11:57
Vamos vamos falar agora da. Do evento.
11:59
Do evento. E das coisas das mulheres?
12:01
Eu quero saber do Lake mesmo, porque assim foi, das coisas que
12:04
trouxeram, que foi para mim a mais.
12:06
É interessante porque eu já já cansei de.
12:09
Precisar de de ter um banco ali transacional pra alguma questão,
12:12
por exemplo, acho que pra disponibilizar, por exemplo, o
12:16
resultado de um modelo pra uma aplicação.
12:18
Então, por exemplo, já tive às vezes aqui uma dor de cabeça de
12:21
ter que configurar ali 11 conexão, né?
12:24
De 1/01/1 aplicação pra acessar dados ali direto no Lake House,
12:30
enfim, aí agora com Lake base, cara, eu posso criar um banco
12:35
transacional dentro do data brics, é isso?
12:37
Sim, é exatamente isso. Na verdade, Rafa, assim o
12:40
lakebaze, ele é um Marco interessante para a data brics,
12:42
né? Porque até então a gente vinha
12:44
muito forte falando do da da parte de de warehouse, né, da
12:47
parte de engenharia, a gente lança o data break seps, ele
12:50
também muito voltado a atender um público mais de dados e o
12:53
lakebaze ele acaba sendo um Marco na data brics, no sentido
12:56
d estamos oficialmente entrando no mercado OLTP, isso é um Salto
13:01
gigantesco, é um mercado gigantesco que a gente passa a
13:04
atacar nesse momento, né? A gente obviamente não ataca do
13:06
zero, né? A gente comprou a nion.
13:09
Esse ano foi um anúncio aí um pouco antes do Daesh, que
13:11
aconteceu a Mion. É uma empresa, né?
13:13
É uma empresa que já trabalhava toda essa visão do Paul Street
13:17
servels, onde eles têm toda a camada de computação e storage
13:21
separada, eles podem escalar é separadamente.
13:24
Só que a deira brics já vinha trabalhando com a Mion há
13:26
bastante tempo, né? Então boa parte do que existe
13:28
por baixo do lakebase foi desenvolvendo em parceria com a
13:31
Mion. Então a gente trouxe uma
13:32
expertise muito forte para desenvolver isso com a gente.
13:34
Então, respondendo a pergunta diretamente, sim, hoje em dia
13:36
você já tem um banco OLTP relacional, é um post Rice,
13:40
cara, é um cavalo, né? Praticamente no caso um
13:43
elefante, né? Para dizer em tamanho, a gente
13:45
sabe que o post Rice, ele é muito forte, é um banco de dados
13:48
que ele tem muitas extensões também em algumas delas a.
13:51
Comunidade do post Rice é muito fiel, né?
13:53
Acho que é o banco é o banco mais popular hoje, né?
13:55
O banco transacional. Eu, eu, eu, cravo que sim, eu.
13:58
Eu truco que sim também. Mesmo eu cravo mais.
14:00
O mais popular, mais que s Kelly servere acho, é.
14:03
Porque assim OSQ? Certo?
14:04
Ele tem muita que a visão dos da talvez dos projetos que
14:06
começaram há um tempo atrás, corporativos, talvez um projeto
14:10
começando hoje em dia, por exemplo, acho que talvez o post
14:12
seja um pouco mais ditado, mas. Vamos perguntar?
14:14
Acho que acho que vale o flex check, eu acho que é legal.
14:16
Fazer bom fazer, mas em questão, em questão de extensões, assim é
14:19
absurdo, né? E aí trabalhando com, por
14:21
exemplo, com projetos de Ah, de rague.
14:24
Já usei peedvector incontáveis vezes.
14:27
É inclusive o projetor. Ele já está integrado ao
14:29
likebase, né? Existem algumas extensões da
14:31
comunidade de open source do post que já estão integrado.
14:34
Ligadas No No lakebase, o page vector é uma delas, por exemplo.
14:37
Então hoje se você entrar No No lakebase e você tentar criar
14:41
alguma alguma coluna que que seja 11 vector store, você
14:44
consegue sem maiores problemas, você consegue indexar essa
14:47
coluna, você consegue consultar ela perfeitamente e como você
14:50
tem toda a capacidade de replicação, ida e volta para
14:53
dentro do índio, isso manter um ecossistema muito integrado, né?
14:55
Posso, por exemplo, inclusive acabei de receber uma mensagem,
14:58
isso que é bem legal aqui. Eu acabei de receber uma
14:59
mensagem que a parte de feature stories para o lakebase acabou
15:02
de entrar em public preview agora pela manhã.
15:04
Então fica aí a notícia em primeira mão, tempo.
15:06
Real cara, é legal assim. Eu acho que elimina uma grande
15:09
Barreira ali. Muitas vezes, quando você está
15:12
trabalhando em conjunto com time de desenvolvimento, né?
15:15
E esse time de desenvolvimento só tem conhecimento de bancos
15:18
transnacionais, né? E aí você quando você tem, por
15:21
exemplo, um Lake House ali que você está servindo essa
15:24
aplicação, que você tem que servir essa aplicação de alguma
15:26
forma, muitas vezes eu vejo uma Barreira ali que tem um atrito
15:30
com time de desenvolvimento, porque assim você tem que
15:32
entregar uma Piá Pra Ele. Deles, você tem que tirar os
15:35
dados da data brics, jogar isso num banco, enfim, isso gera um
15:38
atrito, né? E agora, pelo que estamos
15:40
falando, isso acabou, né? Eu consigo ter ali tudo, tudo
15:44
dentro. E ainda com separação de com
15:47
Pete story, né? Exatamente, perfeito é isso é
15:50
uma visão muito legal, porque isso aproxima um pouco os times
15:52
de dados com os times de engenharia de software, né?
15:54
Existem 2 features na verdade, que foram liberadas esse ano,
15:56
que na minha visão, eles servem muito para aproximar esses 2
15:59
times. Um é o é o lakebase, como a
16:00
gente falou aqui, cara, pô, o gerenciado, o teu time de
16:04
engenharia. E ele, com certeza, na maioria
16:05
das vezes ele vai estar acostumado a já trabalhar com
16:08
esse formato de banco. A replicação dele com o Unity é
16:10
muito fácil de você fazer. Então a aquela visão da tele
16:13
reverso, cara, eu tenho uma tabela aqui que eu, pô, fiz todo
16:15
o processo nele no meu Lake House e agora eu quero, por
16:17
exemplo, jogar esses dados para dentro de um banco OLTP para ser
16:21
consumido baixa latência pela minha aplicação.
16:22
A replicação disso já é relativa pelo Unity, então é muito fácil
16:25
de ser feita. E outra feature muito legal que
16:27
veio para trazer um pouco mais de integração entre esses 2
16:30
times está dentro da estech do Lake flow, que é o zero Bus.
16:33
É uma featture, basicamente. Mente que você cria um Ed point
16:37
para uma tabela, só que esse Ed point na verdade ele é um Ed
16:39
point de RPC para uma tabela Delta e as aplicações elas
16:42
conseguem basicamente enviar os dados diretamente para uma
16:45
tabela Delta usando esse Ed point de RPC.
16:47
São 2 features que foram anunciadas no eliminou AT.
16:50
L, né? Que você é, exatamente?
16:52
Você tem essa visão de encurtar um pouco, LTLE aproximar, que é
16:56
o meu sonho, na verdade. Precisar de uma latência muito
16:58
reduzida, né? 1 BRL time e.
17:00
Eu consigo trazer, repara que eu consigo trazer o meu time de
17:03
engenharia de dados muito. Muito mais próximo do meu time
17:05
de gerente de software, que na que é o meu sonho e cara, eu
17:08
acho que é o sonho de boa parte, tanto aí dos arquitetos quanto
17:11
dos techleads aí. Eu fiz aqui umas uns cheques
17:14
aqui para nós em relação ao que a gente estava falando do post e
17:17
do SQL serve, e realmente assim, né?
17:19
Eu vou pedir uma licença para olhar as coisas do ChatGPT, né?
17:23
Porque enfim, né, em tempo real é o que temos.
17:26
Depois a gente pode fazer 1111 cheque um pouco melhor, mas aqui
17:30
fala que numa pesquisa de 2024 da estatista, OSQL, serve, vinha
17:34
em. Terceiro lugar e o post gree em
17:36
quarto, mas no ranking da stakehover flow de 2025 mostra o
17:40
post gree liderando com 48% EOBSCOL server e com 25% mas.
17:46
No mundo corporativo, OSQL server é o mais utilizado
17:49
justamente porque, né? E muitas empresas, elas também.
17:52
Elas utilizam a stec, da Microsoft, né?
17:54
Então elas estão, enfim, elas acabam acabam preferindo, né?
17:58
Essa utilização, mas em ambientes modernos e de código
18:01
aberto. O post que tem ganhado bastante
18:03
força e tem se tornado o favorito.
18:05
Só para fechar o lakebase, você tem algum case, alguma algum
18:09
caso de sucesso? Cara, excelente pergunta.
18:12
É, a gente tem visto alguns cases de sucesso.
18:13
Na verdade, tem, por mais que o lakebase ele tenha sido lançado.
18:16
No Daesh, esse ano ele já já tem clientes principalmente lá fora,
18:20
que já vem trabalhando com o lakebase desde novembro do ano
18:23
passado. É então é uma fit que ela já vem
18:25
sendo utilizada já há algum tempo.
18:27
Aqui no Brasil tem alguns cases já sendo utilizados.
18:30
É, não posso citar nome de clientes aqui, porque não são
18:32
cases públicos ainda. Possivelmente vão virar ainda
18:35
esse ano, mas a gente tem clientes que estão utilizando
18:38
muito, como a visão de utilizar a parte do justamente do PG
18:42
vetor que a gente estava falando agora há pouco, beta, brics, ele
18:44
tem a sua vector store e ele também tem as online table, que
18:47
era muito uma visão de eu trazer a parte de features de features
18:51
store para dentro de uma visão de baixa latência.
18:54
E agora eu shifto um pouco essa mentalidade e eu começo a trazer
18:58
o meu vevetor store mais para próximo do.
19:00
Postwies que eu sirvo isso em baixa latência e eu também sirvo
19:03
essas online table que agora a gente está chamando de sync de
19:06
table, que são as minhas feature stories ali em baixíssima
19:09
latência. Então todos os casos que eu
19:11
tenho visto de clientes estão girando basicamente em torno
19:14
dessa dessa visão. Alguns cases que a gente tem
19:16
visto de sucesso também são justamente que você falou da
19:18
tele reverso, então eu consigo servir muito mais fácil ali dado
19:21
em baixa latência para uma aplicação.
19:23
Eu, inclusive, estou trabalhando numa proposta arquitetural nesse
19:27
exato momento, literalmente que tem o lakebase, então assim com.
19:30
Com a sua ajuda aí depois para dar uma olhada, eu acho que
19:33
espero que vire um case aí. Boa terminando aqui o podcast, a
19:36
gente troca uma. Ideia boa uma outra novidade que
19:38
eu fiquei bem empolgado aí que eu quero conhecer um pouco mais,
19:42
né? Que você nos conte.
19:43
É sobre o Mosaic agent brics. Então eu queria que você
19:47
contasse um pouquinho mais, né? Pelo que eu entendi, tem AA
19:50
intenção. Esse produto tem a intenção de
19:51
democratizar também a criação de agentes, né?
19:54
Feitos pela dentro da da da plataforma da date brics.
19:57
Estou animada, conta isso. Você e todo mundo, devo dizer,
20:00
porque assim o agent brics, ele é a featurkent.
20:02
Né, que como a gente falou, que alavanca muito aí a nossa, a
20:06
nossa, o nosso Gold marketing. Quando a gente fala de ei a
20:08
então assim, o agente brics, ele traz, ele traz uma visão muito
20:11
de muita facilidade para eu conseguir transformar os meus
20:15
modelos. Eles vão ser modelos de LLM em
20:17
modelos produtivos, né? Então a minha ideia aqui é
20:20
encurtar o ciclo de vida, de desenvolvimento, para eu
20:23
conseguir chegar a um resultado comum.
20:24
E aqui leia se tanto encurtar o ciclo de vida, de
20:27
desenvolvimento. Por exemplo, numa visão de
20:29
engenharia, cara, às vezes eu preciso extrair algo de um
20:32
documento. Documento da minha pipeline.
20:33
Esse documento, ele muitas vezes ele veio mal formado e eu
20:36
consigo trazer um text checkstractor ali de forma muito
20:39
mais simplificada. Ou, por exemplo, até se eu
20:42
precisar ter um nó de base um pouco mais formado para que
20:45
aliar de forma simples. Ou seja, eu não preciso
20:48
preocupar em pegar um PDF, aquele processo que a gente já
20:50
conhece. Cara, eu vou pegar um PDF, eu
20:51
vou escolher um formato de chunking ideal.
20:54
Ah, eu vou ter que passar por isso, por um processo de chank
20:56
em salvar isso numa tabela vetorizar, blá, blá, blá, blá
20:59
ficar. Experimentando com o chank
21:00
ficar. Experimentando com o chank aqui,
21:02
cara, desculpa a expressão, mas é um saco fazer isso no final do
21:05
dia, né? E o agente brics?
21:06
Ele traz muita facilidade para esse processo, então o objetivo
21:09
dele é realmente tornar o ciclo de vida da e a.
21:13
Até a produção de forma muito simplificada.
21:15
E isso mais uma vez reforça a nossa estratégia de EI, né?
21:18
Então eu trago as features que vão fazer toda a minha base de
21:22
engenharia e governança, e eu trago a feature que vai
21:24
facilitar eu entregar isso em produção.
21:27
Então a gente fecha um ciclo de vida muito legal, onde eu me
21:29
preocupo com o desenvolvimento do meu dado.
21:32
Eu trago 11 processo de qualidade também integrado para
21:34
aquele dado. E eu sirvo aquele dado de forma
21:37
muito simplificada para mim, EAE assim, isso tem uma visão.
21:39
Isso tem uma visão dupla, né? Tanto de facilitar a vida ali
21:43
dos cientistas de dados ou do engenheiro de machine learning,
21:46
por exemplo, que pode usar isso como um acelerador para
21:50
desenvolvimento das das suas reais, como por exemplo, para um
21:53
usuário de negócio que é um pouco mais letrado para poder
21:56
fazer, por exemplo, um self service.
21:58
EI, esse cara vai conseguir chegar muito mais rápido, de
22:00
forma muito mais controlada em produção.
22:02
Ação do que se ele precisar se desenvolver no notebook do zero,
22:04
por exemplo. Mas assim eu eu entendo, tá
22:07
assim, que esse é um dos produtos mais importantes e
22:10
assim, com certeza mais estratégicos, né?
22:12
Da data brics. Mas, na sua visão, quais são as
22:15
dores de fato, que hoje as pessoas têm de produtizar
22:18
agentes de ar? Eu posso dar um chute.
22:20
Eu acho que é a parte, é de pós, depois é quando você está.
22:24
Monitoramento. Monitoramento porque tem muito
22:26
risco exato envolvido, né? Eu?
22:28
Estou montando o pitch justamente nessa direção, porque
22:31
é o que a gente realmente vê, 11 dos maiores, uma das maiores
22:34
dores. E aí já vou começar a falar que
22:36
eu sou melhor falando em falando enquanto eu penso.
22:38
Acho que assim, uma das maiores dores que a gente vê dos
22:40
clientes hoje é beleza. Botei esse cara em produção.
22:43
Como que eu monitoro isso? Como que eu garanto que a
22:45
qualidade disso está efetiva uma vez que eu estou em produção?
22:48
Como é que eu variabilizo a versão do meu modelo?
22:50
Por exemplo? Como é que eu faço teste ABS com
22:52
modelos com modelos diferentes em versões diferentes, por
22:55
exemplo? Testando um Trump, né?
22:57
Testando. Um Trump, et cetera.
22:58
Então isso é muito complexo de se fazer, principalmente se você
23:01
está fazendo no braço, né? Se eu estou usando, por exemplo,
23:04
um lag Chen, alguma coisa assim edeira brics, ela traz 1#
23:07
unificada para você fazer isso, né?
23:09
Principalmente agora com a chegada do ml flow 3.
23:11
Isso é um Marco muito interessante.
23:13
Porque até porque até antes dessa versão a gente conseguia
23:17
trabalhar LMS até certo nível dentro do ml flow, mas agora com
23:20
um 3.0 a gente vai para um mundo completamente diferente.
23:23
Então a gente começa a falar de LL, isso é um trava-língua
23:26
excelente, né? LLM Ops nativo dentro da
23:29
plataforma. Então eu consigo trazer toda a
23:31
visão que eu já tinha para uma entre aspas, uma schinlering
23:34
tradicional utilizando AML flow para dentro da parte de LLMS.
23:37
Agora eles a jud, et cetera e com a nossa suíte do musé, que
23:41
AI do nosso geito e a gente consegue publicar.
23:43
Pra modelos, a gente consegue, por exemplo, ter um
23:46
balanceamento de carga entre esses modelos nativamente dentro
23:49
da plataforma. Eu posso migrar a versão de um
23:51
modelo, por exemplo, sem que eu tenha downtime no and point.
23:54
E isso me promove, por exemplo, fazer muitos testhab's, canar e
23:57
deplyment, por exemplo, que é uma coisa que a gente tira lá da
24:00
engenharia de software, mas que eu posso de certa forma trazer
24:02
aqui para o meu LLM off. É sem falar que dentro do gera
24:05
brics, com o mozek, AI você consegue criar um Gate onde você
24:08
consegue trabalhar tanto os guard rails que isso é uma das
24:11
coisas mais complexas de serem feitas.
24:13
Ou seja, como é que eu mantenho a minha LLM?
24:16
Como é que eu garanto que ela não vai, por exemplo, responder
24:18
como eu faço uma bomba? Caso clássico, né?
24:21
Mas também como é que eu crio uma LLM, por exemplo, voltada
24:24
para o cenário de people analytics, se ela não vai me
24:26
responder, por exemplo, coisas aleatórias sobre suprimentos?
24:29
Ou então responder alguma coisa, uma PI, né?
24:32
Algum, um dado sensível, alguma coisa que essa pessoa não
24:35
deveria ter acesso? Por exemplo, e no nosso eygato,
24:38
aí você consegue criar guard rails, onde você consegue
24:41
definir até onde. Uma EI, pode ir, isso é muito
24:45
legal, porque você consegue ir de forma muito simplificada com.
24:48
Reit limite também, né? Lembrei que agora.
24:50
Reit limite Infra stable. Ou seja, cara, quem falou com
24:53
AEIO que que essa pessoa falou? Qual foi a resposta da EIO que
24:57
que se passou no processo de pensamento dela?
25:00
Isso é muito interessante. Então eu entendi qual foi o
25:02
processo de tem que ali por trás da EI que levou ela aquela
25:05
resposta. Isso é muito legal para eu
25:06
conseguir, por exemplo, melhorar o processo dela futuramente ou
25:10
retroalimentar o meu and point OMLLML com esse processo de
25:13
melhorar esse processo de pensamento.
25:15
Legal. Eu vi também o prompt registre,
25:17
né? Que você consegue versionar os
25:19
prompts. Também achei isso bem legal,
25:21
porque é a é a principal dor, né, eu acho.
25:23
Quando você vai desenvolver 11, agente é você.
25:25
Você justamente fazer esse refinamento de prompt, né?
25:28
É, e isso é mais uma coisa, por exemplo, que também vem com ml
25:30
flow 3, né? Essa nova versão da ml flow e
25:32
cara, a gente pode sentar aqui e falar dias sobre essa nova
25:35
versão, porque ela é é uma mudança de paradigma muito
25:37
legal. Inclusive a gente teve OODNAEO
25:40
World tour, essa é a semana passada, e uma das Apresentações
25:44
do meu querido amigo Lucas rampim cara, foi justamente
25:46
falando sobre OML flow 31, apresentação que vai estar no
25:48
YouTube, acho que vale depois a gente linkar ela também, porque
25:51
tem muito material bom, cara, muita coisa boa que vem nessa
25:54
nova versão, então agora. Agora eu consigo fazer, por
25:56
exemplo, cara, se eu precisava de um e a esa de oDI, por
25:58
exemplo, no meio do meu processo, já é um processo
26:00
integrado. Hoje no ml, falou.
26:01
É muito fácil de ser feito. Uma outra dúvida que eu fiquei,
26:03
você falou um pouquinho aí de self CFC AI né e coisas assim,
26:06
essa ferramenta né, do agent brics, ele é pra pra eu
26:10
construir um agente é low code, no code alguma coisa assim ou
26:14
não, qual, qual que é o processo?
26:15
Simplicado, é isso que eu IA falar.
26:16
Eu sempre gosto de conversar sobre isso com meus clientes.
26:18
Porque o Dara brics existe uma visão um pouco mais clássica do
26:22
Dara brics. Existe a nova visão do Dara
26:24
brics a. Visão mais clássica do herabrix
26:26
é aquela visão de que eu vou utilizar código para fazer tudo.
26:30
E ficou um pouco esse estigma, né?
26:31
O herabrix, ele tem uma curva de aprendizado um pouco maior, mas
26:35
você vê que a plataforma, ela tem começado muito a vir para
26:37
uma visão de eu não vou dizer nem eu não vou dizer low code,
26:40
tá, e nem low code, mas eu vou te dizer que a quantidade de
26:43
código necessário para fazer as coisas hoje tem reduzido muito.
26:46
Então a gente vê, por exemplo, hoje, se eu estiver falando
26:49
dentro do agente brics, existe uma funcionalidade chamada nola
26:51
de base assistent, que é aquela funcionalidade que eu acabei de
26:53
falar, eu consigo subir um PDF, por exemplo, ele já faz o
26:56
processo de chanken automático para mim e já indexa isso num
26:59
vetor store, por exemplo. E eu consigo já conversar com
27:02
meu agente com base naqueles com base naqueles dados, isso é
27:05
ponte clique, eu faço algumas configurações básicas, mas eu
27:07
não preciso fazer nada a nível de código.
27:09
E o que é legal daira brics é que é uma plataforma, como ela
27:13
nasceu, do code first. Tudo que eu consigo fazer,
27:15
praticamente tudo que eu consigo fazer via interface, eu consigo
27:18
fazer via código. Então tem pros 2 mundos, isso
27:20
que é muito legal. Eu consigo atender desde o
27:21
usuário que é menos letrado em código, até o usuário que assim
27:25
como eu, por exemplo, eu não sou um tão usuário, tão rave de
27:28
interface, eu sempre vou mais pelo código, acho que isso é
27:30
muito. Interessante no tanto no na
27:32
plataforma geral. Você falou essa questão do Wake
27:34
flow, eu vi que eu vi num GIF, na verdade, né, no anúncio do
27:38
blog que tinha um GIF assim que você consegue criar Oo pipeline
27:42
ali no code usando linguagem natural, né?
27:44
Eu vi 111 pessoa digitando tipo num copayletzinho ali, faça um
27:48
Johnny da tabela tal com outra, ele vai lá e altera o diagrama
27:51
em tempo real. Assim, achei muito legal ao
27:53
mesmo tempo assustador, né? Que eu eu prefiro codar,
27:55
confesso, eu não não sei se eu IA gostar de ficar ali puxando a
27:59
setinha, então é muito legal que.
28:00
Que ainda há essa preocupação, né, com os 2 mundos aí, né, é?
28:04
E assim o pegando. Essa funcionalidade que você
28:06
falou é uma funcionalidade chamada Lake flow designer é uma
28:08
das meninas dos olhos de ouro. Agora que a gente vê depois do
28:11
último 10, né? Porque a gente sempre falou de
28:14
tentar trazer o low code ou no code para vender a brics.
28:17
Isso sempre talvez tenha sido uma realidade um pouco mais
28:19
distante, mas agora passa a ser algo concreto.
28:22
Então é uma funcionalidade que ainda não está disponível para
28:24
os clientes, mas todos os clientes estão em frenesi,
28:27
mandando mensagem porque é lindo.
28:29
E o que é legal da funcionalidade?
28:30
Do Lake flow designer é que você pensa numa numa visão low code
28:34
tradicional. Eu tenho as caixinhas, como você
28:36
mesmo falou, eu tenho as caixinhas, o arrasto de um lado
28:38
para o outro, isso no final do dia.
28:39
MG era o quê? Um Jason, um iemel?
28:42
Se eu quiser exportar, se eu quiser migrar, isso é muito
28:44
difícil. Então, muitas vezes eu fico
28:45
centrado numa visão de login. Quando eu escrevo o Lake flow
28:48
designer, o que tem por trás é SQL.
28:50
Ele transforma todas as caixinhas que você está fazendo
28:53
em SQL. Por trás do código é 100% SQL,
28:55
ida e volta eu altero no SQL, ele altera, no designer, eu
28:59
altero, no designer, ele altera, no SQL é o.
29:01
Oposto do que acontece no DLT Pape line, né?
29:03
Que você coda transforma no diagrama e isso é basicamente o
29:06
oposto, né? O inverso.
29:08
É o Lake flow Oo diagrama. A drag que ele gera ali é uma
29:11
visão muito mais viso. Uau, mas você escreve o código
29:14
por trás, aquele código ou código que você vai executar é o
29:16
código que você vai dar manutenção, então ele ele é uma
29:18
plataforma que você vai efetivamente kodar.
29:20
Quando a gente fala do designer, é de fato, cara, eu tenho ali
29:23
uma, eu tenho ali as caixinhas, eu arrasto, eu posso usar a
29:26
linguagem natural para ele gerar, por exemplo, um John, ou
29:28
ele fazer uma agregação, por exemplo, e por trás isso é
29:31
basicamente SQL que se integra ali, é o Lake flo pipeline ou o
29:34
antigo DLT. Agora, né, como?
29:36
Você mudou? Pra vocês é difícil pra gente.
29:39
Então que a gente tá com DLT na cabeça há anos, né?
29:42
Mas. Que é uma plataforma muito,
29:44
muito, muito poderosa, que está vindo para os clientes aí nos
29:46
próximos meses. Antes da gente aprofundar um
29:48
pouquinho mais No No Lake flow, né, nessa novidade que também
29:51
veio com o evento, eu queria só voltar no agent brics, né?
29:55
Na ferramenta do agent brics pra pra você contar pra gente um
29:57
pouquinho de algum case é importante que vocês tiveram
30:01
para para que os ouvintes também consigam materializar um
30:03
pouquinho mais, tangibilizar um pouco mais sobre essa
30:05
ferramenta. Boa esse case é legal porque
30:07
inclusive de um cliente meu, né? Na no setor de mineração, cara,
30:10
eles têm documentos dos mais diversos.
30:12
Que você possa imaginar desde o papel de pão até assinado, até
30:17
OPDF super bem estruturado, lindo, quase como uma fatura de
30:20
banco, por exemplo. E são mais de 100 GB de
30:22
documentos que eles têm que processar.
30:24
Cada PDF desse tem um pouco mais de 130 páginas.
30:28
Então como que eu faço uma pipeline?
30:30
E aí leia se tanto de engenharia quanto de DNA no final.
30:34
Mas como que eu coloco isso numa pipeline que vai conseguir ler e
30:37
relacionar esses dados entre eles?
30:40
A gente está começando a utilizar o.
30:42
A gente brics pra esse caso lá no cliente a gente tem visto
30:45
alguns resultados legais, porque pra você conseguir fazer esse
30:48
tipo de leitura de documentos do gente, brics é muito facilitado,
30:51
até como os exemplos que a gente colocou aqui anteriormente, os
30:53
resultados estão sendo bem promissores.
30:55
A gente tem que fazer muitos testes ainda, porque a
30:57
volumetria de dados é alta e cada documento em si é muito
31:00
grande. Bom, eu espero voltar com
31:02
resultados positivos desse caso de uso, mas assim, tem alguns
31:05
casos de uso que a gente tem visto no mercado, que tem sido
31:06
bem interessante também, de grandes farmacêuticas, etcétera,
31:09
alguns públicos. Como dar AstraZeneca, por
31:11
exemplo? Achei muito legal, né?
31:12
Esse exemplo, enfim, tudo que a gente conversou sobre sobre essa
31:15
ferramenta do agent brics, porque no final das contas, ela
31:18
parece que ela profissionaliza a criação de agentes, né?
31:20
Porque às vezes você fazer uma popzinha, você até consegue
31:22
fazer com algum desses prêmios. Ou pensou se enfim que existem
31:25
no mercado. Mas para você realmente colocar
31:27
um negócio em produção, que é o que a gente estava falando, né?
31:30
Dessa dificuldade de você ter agentes que são realmente
31:33
assertivos e que realmente conseguem reagir, né?
31:36
Em tempo real, enfim, com com todas as infinitas limitações,
31:41
infinitas dificuldades e guard railes que uma corporação
31:44
precisa. Uma ferramenta da gente brics
31:46
vem para isso, né? Achei bem interessante.
31:48
Excelente. E só para complementar um último
31:49
ponto, um ponto que você tocou que é muito legal, que é questão
31:51
de box, time to marketing hoje em dia, tudo se eu demoro muito
31:54
tempo para conseguir fazer. Minimamente uma poc, por
31:58
exemplo, trazer algum agente conectado aos meus dados, fazer
32:00
uma poc com isso eu posso estar perdendo meu meu tempo.
32:03
Eu posso perder um mercado, por exemplo, que eu poderia estar
32:05
atacando. Ter uma plataforma, uma
32:06
ferramenta que vai te auxiliar inclusive nesse cenário, trazer
32:11
essa visão muito mais rápida, muito mais cedo para você é um
32:14
diferencial de mercado? Com certeza.
32:16
E o agente brics, ele também entra nessa Seara, porque como é
32:18
muito fácil eu conseguir traduzir os meus requisitos,
32:22
traduzir os meus dados para uma IA, eu facilito muito a.
32:26
Barreira que existe entre eu começar a minha porta e eu
32:30
colocar isso em produção, então ele entra muito para preencher
32:33
esse gap que existe no mercado também.
32:34
Excelente, estou doido para testar já.
32:37
Ou mas assim agora falando mais o Lake flow, porque a gente
32:39
chegou a. Comentar, né?
32:41
Eu fiquei muito curiosa para entender o que que é é é uma
32:44
seria uma fêmea work de TL dentro da tabrix.
32:47
Sim, sim, posso dizer que sim. Na verdade, o Lake flow, ele é
32:50
dividido em 3 principais componentes, né?
32:52
Eu tenho o Lake flow connect. Eu tenho o Lake flow.
32:55
Esse connect ele é a parte em gestão, né?
32:57
Ele é a parte em gestão. Eu tenho o declarativo pipelines
33:00
e eu tenho o jobs, o Lake flow connect.
33:01
Ele é basicamente coadeira brics, posicionando no mercado
33:04
de gestão de dados. Então isso foi álcool, isso é
33:06
álcool. Eu eu pedi para a deira brics
33:08
desde que era cliente, né? Então é água, água.
33:10
A gente tá conseguindo trazer esse mercado, então a gente já
33:12
tem alguns conectores, por exemplo, aquele server Oracle
33:15
dinamics. É porque antes a gente tinha que
33:18
usar muito antes, né, de ter tudo isso, a gente tinha que
33:21
usar muito os conectores do Spark, né?
33:22
É, você tinha que usar os conectores do Spark e era muito
33:25
customizado, né? Você tinha que, por exemplo, eu
33:27
queria conectar num SQL server ou num post reis, eu tinha que
33:29
fazer uma conexão JDBC, por exemplo, que.
33:31
Tinha que configurar tudo ali. Configurar tudo do zero, o que
33:33
não era o fim do mundo. Sendo bem honesto, alguns casos,
33:35
eu faço isso até hoje. É, mas não é o ideal, né?
33:38
Se eu tiver uma plataforma que eu estou pagando, ela é
33:40
gerenciada, eu tendo os conectores ali para trafegar,
33:43
essa ingestão para mim é muito mais valioso e o conecte, ele
33:46
entra justamente nessa visão, então ele faz a ingestão para
33:49
você e ele consegue fazer até ingestão incremental, por
33:51
exemplo, desses dados, então você não precisa ficar se
33:53
preocupando, e o legal, e aí é onde eu acho que a coisa
33:56
realmente esquenta e fica interessante é que isso é está
33:59
como ele está dentro da estepe do Lake flow, isso se integra
34:01
muito bem ao Lake flow pipelines e o Lake flow pipelines, ele é
34:05
parafrasia do Michael humbersch, que é.
34:07
É basicamente o cara que escreveu o Delta, né?
34:10
E tá no time do do DLT desde então, a única implementação que
34:14
o Michael já viu interessante de CDC é do DLT, é do declarativo
34:19
pipelines, inclusive eu estava falando CDC aqui por algum
34:22
motivo, mas é SCD, né? Eu falei errado, muitas siglas,
34:24
né gente? E o que que é OSCD?
34:27
É slow change in theimention, né?
34:28
Eu tenho alguns tipos de slow change in theimention, né?
34:30
Eu tenho o os 3 principais ali, né, tipo um tipo 2, né, os 2
34:34
principais aí tipo um, tipo 2, tipo um, eu recebo um em.
34:37
É um incert eu recebo um update, eu vou fazer um update na minha
34:39
tabela de destino, eu recebo um delite, eu vou deletar o dado
34:42
tão simples quanto isso é que claro, eu estou falando de forma
34:44
muito breve o TIP two eu recebo um update, isso é um novo
34:47
registro na minha tabela é um novo registro e eu Cancelo, por
34:51
exemplo, o invalido, o registro anterior, um delite é um novo
34:54
registro, também é o invalido, o registro anterior, o incert a
34:56
mesma coisa é que falando de forma muito breve, você
34:58
trabalhar isso com a parte lá em engenharia é um caos, você vai
35:01
gerar tumbls estamos dentro da tua tabela de destino, é muito
35:04
complexo fazer isso ODLT ou no caso.
35:07
Agora o leite for declarativo pipelines, ele trabalha isso de
35:09
forma muito simplificada. Você tem 11 implementação de SCD
35:13
muito boa, porque literalmente você tem um comando que é o alto
35:15
CDC. Você vai pegar os dados de CDC
35:18
que estão vindo. A tua origem agora assim é OCDC,
35:20
agora é OCDC, você vai pegar os dados de CDC que vem na tua
35:23
origem que vieram através, por exemplo, do connect, e você faz
35:27
um alto CDC para dentro da tua tabela Delta, passando um SCD
35:30
type two, por exemplo, e ele já vai trabalhar por para você todo
35:33
o processo de invalidação de dados, criação de novos
35:36
registros. Et cetera.
35:37
Então toda aquela implementação que você teria que fazer antes,
35:40
agora é muito simples de ser feita.
35:41
E pegando um outro braço aqui do Lake flow, que é o jobs como
35:45
você tem, que é um rebranding do que a do que a gente chamava de
35:49
workflows dentro do daira brics, agora chama Lake flow jobs, você
35:52
consegue organizar tudo isso dentro de um único job no daira
35:56
brics. Então você tem todo o processo.
35:58
Como você falou, Rafa, é um processo, é um framework GTL,
36:00
agora que você tem completamente integrado fim afim na plataforma
36:03
e falando um pouco mais do Lake flow, declarativo piplines
36:06
também pensa que esse. Esse cara, além dele ser um
36:08
framework muito bom, que consegue fazer uma simplificação
36:11
muito boa do meu processo, ele também tem qualidade de dados
36:14
integrada, que é o nosso expectations.
36:16
Então, todo aquele processo que é muito complexo de fazer de
36:18
qualidade de dados que você pode trabalhar, ele na definição do
36:21
teu processo, GTLE não só isso. Quando você faz essa definição
36:25
da expectativa na tua pipeline, por exemplo, eu estou recebendo
36:28
uma tabela de clientes. Se eu estou recebendo uma tabela
36:30
de clientes? Cara OCPF não pode ser nulo, por
36:33
exemplo, é um exemplo bobo aqui. É similar como era no DLT
36:36
pipelines que você configurava as constrains.
36:39
É a mesma coisa, é a mesma coisa.
36:41
Perfeito. Você colocou muito bem e eu
36:43
consigo visualizar isso no meu diagrama.
36:46
Quando eu escrevo No No declarativo pipelins, eu vou ter
36:49
aquele mesmo diagrama que você já conhece do DLTE.
36:51
Eu consigo ver, por exemplo, registros que foram dopados
36:53
registros. Por exemplo, eu movi para
36:56
quarentena. Então você consegue ter um
36:57
controle muito mais granular da tua qualidade de dados, na tua
37:00
pipeline. E aí, voltando naquele assunto
37:03
que a gente falou agora há pouco da IA, cara, se eu tenho um
37:05
framur que me ajuda nesse nível, em tempo de No No meu Rent time,
37:09
cara, o dado que eu vou entregar para minha IA lá na ponta, ele
37:13
tende a ser muito mais conforme e atender as minhas expectativas
37:16
e principalmente, as expectativas do meu modelo.
37:18
Cara, e eu vi aqui que está no site da da brics, 85% de aumento
37:24
na velocidade de desenvolvimento, né, com todo
37:26
esse processo? No code tem o Lake flow connect
37:29
que você comentou que você tira toda essa dor de cabeça de ter
37:32
que ficar configurando na mão, você conectou esse parque JDBC,
37:35
então assim, é bem impressionante.
37:37
Aí agora a pergunta, mas e o e o cliente que ainda ele ainda está
37:42
ali, né? No No às vezes um legado dentro
37:44
da tua brics, onde ele ainda está Orquestrando os notebooks
37:47
dele ali com o código puro Python e Orquestrando com
37:50
workflows, é como é que essa esse cliente migra, né pro para
37:54
usar o Lake flow, qual que é a estratégia?
37:56
Já existe algo pensado para esse cenário?
37:59
É uma pergunta muito interessante, porque quando a
38:01
gente começa a falar de novas tecnologias, novas esteques ou
38:05
frameworks dentro da plataformas, é isso é uma
38:07
pergunta natural que os clientes fazem, né cara?
38:09
Vocês vão abandonar, por exemplo, eu vou, eu vou o meu
38:11
notebook, por exemplo, aqui que está fora do declarativo
38:14
pipelines, ele vai parar de executar.
38:16
AI meu Deus, Socorro, cara, não o Spark, ele é o core do
38:19
negócio, o Spark, ele, ele adeira brics, nasceu do Spark.
38:23
Até um certo momento a gente era de fato entre aspas e o Spark.
38:26
Gerenciado, então as suas pipelines em Spark, as suas
38:30
pipelines SQL, que no final do dia Spark também dentro da heda
38:33
brics, cara, elas vão continuar executando, você vai continuar
38:36
tendo sempre a integração que você teve Lake flow, que era
38:38
workflows, agora Lake flow jobs, você vai continuar podendo fazer
38:41
a orquestração dos teus, dos teus jobs, dos teus notebooks,
38:44
de outros workflows, por exemplo, nada muda para você.
38:46
Se você quiser migrar, beleza, aí é uma outra história, mas
38:49
você não tem a necessidade de migrar para utilizar ODLT,
38:53
desculpa o Lake flow declarativo fipelines, aí é difícil de
38:56
acostumar. A gente?
38:57
Já tem case aí que já, porque não é, já não sabe.
39:00
Que o Lake falou na? Verdade é mais antigo, né?
39:02
Cara, esse esse é o mais fácil de falar, porque tem cases
39:05
públicos de bastante tempo, porque era o antigo DLT, né?
39:07
Cara? Então, pô, o iFood é o é um dos
39:09
casos clássicos que existem assim do Lake flow declarativo
39:12
pipeline é um dos maiores cases do mundo, inclusive.
39:14
Cara, se você o momento que você entra no teu aplicativo hoje do
39:18
iFood. Toda telemetria de aplicação
39:21
passa para ODLT. Então é um case enorme do que a
39:25
gente tem de declarativo pipelines hoje, e é um caso
39:27
público também. Acho que vale a pena até a gente
39:29
anexar depois para galera dar uma lida.
39:30
Legal, a gente coloca na descrição.
39:32
Eu tô ouvindo, né? Vocês falando com muita
39:34
profundidade aqui de todos os lançamentos, né?
39:37
Do data high summit, que foi foram feitos pelo data brics.
39:40
E fiquei pensando assim, nesse contexto todo que a gente tá
39:43
isso eu posso fazer uma simplificação assim de todas
39:47
essas ferramentas. É num caminho que eu acho que é
39:50
de realmente de maturidade dos dados dos clientes, né?
39:53
Como se OE aí vocês me corrijam, por favor, se eu tiver falando
39:57
bobagem aqui, mas é como se Oo lakebase, então ele fosse, né?
40:01
É um banco de dados agora, transacional, de uma forma, né?
40:05
Até que traz uma mudança arquitetural significativa, né,
40:09
em relação aos outros bancos de dados, para ser mais preparado
40:12
talvez para essa era da IAE. Integrado, né?
40:15
Dentro do seu ecossistema de dados?
40:17
Exatamente, aí vem o. O Lake flow, né?
40:20
E os o que se a gente estava falando aí de declarativo
40:23
pipelines justamente pra pra que eu consiga dar mais
40:26
assertividade e trazer mais qualidade e trazer mais
40:29
automações pra trazer esse meu dado pra ser consumido, por
40:33
exemplo, por agentes ou coisas né, ou modelos ou enfim, o que
40:37
eu precisar de dados pra inteligência artificial.
40:40
E tem o agente brics, que eu venho com, com a criação de fato
40:43
desses agentes que eu posso consumir esses dados, enfim, que
40:46
foram disponibilizados com maior qualidade e et cetera e tal,
40:50
então é mais ou menos isso de forma simples.
40:53
Perfeito, ou seja, toda arquitetura e iread que a gente
40:56
vem falando, né? Isso dentro da data brics você
40:59
consegue implementar praticamente tudo, tudo de
41:01
dados. Exatamente.
41:02
Era nisso que eu queria chegar ali dentro.
41:04
Porque está tudo ali dentro, né? Então eu.
41:06
Estava na data com foi esse sábado agora, né?
41:09
Que a? É uma é um evento da devcon e
41:12
eles fizeram o data com foi lá em São Paulo, esse sábado é, pô,
41:16
o Luan Moreno estava lá, o Arthur luz tiveram Oo, Theo
41:19
Calvo tiveram vários palestrantes.
41:20
Foi muito legal o evento e uma das discussões das rodas que a
41:23
gente estava lá é sempre essa questão do cara, eu vou para o
41:26
pensorce, eu vou gerenciar isso daqui eu vou, porque sempre tem
41:29
aquela visão, a gente gosta de tecnologia, né, cara?
41:32
Então a. Ah, existe aquela necessidade do
41:34
cara, vou subir tudo no cobernets aqui eu vou estar
41:36
Spark no cobernets eu vou subir kaficando no cobernets eu vou
41:39
subir Deus e o mundo no cobernets eu vou gerenciar, eu
41:41
vou gerenciar tudo, eu vou fazer tudo na minha estrutura.
41:43
Maníaco do cobernets. Maníaco do cobernets e é legal,
41:46
é bacana, só que sempre pense assim, guerreiro é você e mais
41:49
quantos é você, mas qual exército para gerenciar isso?
41:52
Porque lembra do que eu falei aqui agora há pouco, cara, times
41:55
market, se eu tenho que me preocupar?
41:56
Poucas empresas têm uma estrutura tão grande a ponto de
42:00
conseguir suportar um cenário. Penso, ó, se eu falo isso porque
42:02
eu venho do mundo. Eu penso assim, cara, você tem
42:04
uma plataforma que consegue te entregar tudo isso já gerenciado
42:08
e aqui eu não estou entrando no mérito.
42:09
Isso vai ser mais caro ou mais barato, cara, vai, vai te dar o
42:12
resultado que você quer mais rápido, vai fazer o ponteiro da
42:15
tua empresa girar, você vai conseguir atender os casos de
42:18
uso que vão dar dinheiro na tua empresa mais rápido.
42:20
Porque no final do dia é isso que importa, se você tem a
42:22
melhor esteck do mundo ou ou pensar se cobernet está in
42:26
lindo, está incrível, tu está entregando 10% do que tu consome
42:29
mensalmente teu CE folha, ele está olhando o balancete, está
42:32
dando prejuízo. Exato, Fernandinha, aqui na DTIA
42:35
gente, muitas vezes a gente tem que lidar muito com legado, né?
42:37
O tempo todo está chegando cliente com legado e eu vi nas
42:40
novidades que existe 11 Lake Bridge, né?
42:44
Que é uma opção para você migrar o seu DW, legado, que eu acho
42:48
que era o meu sonho, porque assim quanto quanto monstrinho
42:52
que eu já tive, que monstrinho não, né?
42:53
Então tu usam prêmios, os DW, prêmios da vida, os monstrões.
42:57
Cara, então a gente a gente fez a compra da blade Bridge.
43:00
Esse ano, né? A blade Bridge era uma empresa.
43:03
Lady, Lady Bridge, eu falei Lady Bridge?
43:05
Tá certo, você falou correto, vou explicar, a gente fez a
43:08
conta, a gente fez a compra de uma empresa chamada blade Bridge
43:10
esse ano, a blade Bridge, ela era uma empresa que trabalhava
43:13
justamente essa visão de imigração de DW.
43:15
Quando a gente compra blade Bridge, a gente faz no daes
43:18
desse ano um rebranding ou um relançamento da estec blade
43:22
Bridge como lade Bridge, trazer um pouco ali mais próximo da
43:25
nossa suíte, né, Lake flow, et cetera, fica a carinha da beira
43:28
brics, né? E o que que Oo Lake Bridge, ele
43:30
é muito. Muito bom em 2 coisas, analisar
43:33
e converter são o tanto que ele tem o Lake breed analise e Lake
43:36
breed converter. Tem mais algumas coisinhas, mas
43:38
que eu acho que não vale a pena a gente entrar aqui agora.
43:40
Então pensa que, por exemplo, eu tenho a migração de um SQL
43:43
server pra fazer? Cara, a gente sempre fala de
43:45
imigração, de DWEA, gente sempre fala de dados abertos, dados
43:48
proprietários, et cetera. Cara, desculpa migrar.
43:51
O dado de um earhouse nunca foi a parte mais difícil.
43:54
A parte mais difícil de um earhouse é migrar código, migrar
43:57
dado é fácil, cara, migra código, pega um código.
44:00
Prego de um clique pega 11 procedier de 2000 linhas de um
44:05
SQL server vai migrar aquele troço é um inferno na Terra.
44:08
Estamos inclusive como exemplo atual aqui na DTI, que estamos
44:12
sofrendo com esse tipo de. Coisa é fácil, isso faz um
44:14
jobizinho ali ou você usa aquele?
44:16
Aquelas lógicas. Ou aquelas extensões do do post
44:19
Grease lá. Exato, é.
44:21
Não vou dizer que é muito simples, porque dependendo do
44:23
caso é é. É um pouco mais complexo, mas.
44:25
É a parte fácil da migração de VWEO Lake Bridge, ele entra para
44:28
preencher essa lacuna. A ferramenta para migrar dado a
44:32
gente já tem é o connect, por exemplo, a Lake flow connect, se
44:35
não tiver um conector do conecte, por exemplo, é uma
44:37
coisa customizada que você pode escrever em Spark em Python e
44:40
último caso, mas de migrar código sempre foi algo complexo
44:43
e o Lake Bridge, ele faz justamente essas 2 coisas, ele
44:45
faz uma análise do teu DW, ele faz uma análise do teu código e
44:48
ele tem um converter que ele faz justamente uma conversão desse
44:51
código para o ciclo para o ciclo ance do delebreak, se lembrando,
44:54
não. Ou o derabrix é um seco ANSI,
44:56
então é um padrão de mercado e ele faz justamente esse espaço
44:59
de imigração. A gente sabe que não é perfeito,
45:01
mas a perfeição nesse caso é quase impossível, né, cara?
45:03
Eu tô falando de um triggers, às vezes eu tenho proceatures,
45:06
cara, cetes, recursivas, uma série de coisas.
45:08
O derabrix tem cada vez mais lançado features para preencher
45:12
essas lacunas também dessas dificuldades de imigração.
45:14
Então hoje em dia a gente já tem Circle scripting, a gente já tem
45:16
proceder, a gente tem cetes, recursivas, então tudo isso que
45:20
era mais difícil da gente migrar também com Lake Bridge, por
45:23
exemplo, até na mão hoje em dia você já.
45:25
Tem funcionalidades no ciclo da Hera brics que te favorecem
45:28
trazer isso de forma mais simplificada, e o lakeburid é
45:31
mais uma ferramenta na hashtag da da herabricks para te ajudar
45:34
a matar esse DW legado. Bom, assim a gente sabe que tem
45:37
muitas outras novidades, né? E a gente vai ficar aqui até
45:39
amanhã gravando, se a gente fosse falar de tudo.
45:42
Mas tem alguma que a gente não falou aqui que você acha que é
45:44
indispensável comentar? Rafa, de fato, eu consigo ficar
45:47
pelo menos mais 3 dias aqui conversando com vocês o.
45:49
Evento foi enorme. Também isso, né?
45:51
Foi brincadeira e eu falo pra caramba também.
45:52
Mas cara, tem uma coisa que eu gostaria de falar.
45:55
E a que é mais também voltada para a comunidade, que é o free
45:57
Edition e já é algo pedido pela comunidade há muito tempo, né?
46:01
A gente tinha ali o comenty Edition, cara, é com os a gente
46:05
tem, na verdade comenty Edition com os cursos, mas você não
46:07
tinha muitas vezes ali, cara, um laboratório para testar, né?
46:10
Eu ficava sempre atrelada, sei lá, subia um beabriks ali na
46:12
region. Colocar um cartão de crédito
46:14
sempre foi um pouco de Barreira para a comunidade estudar
46:16
efetivamente. Com o free Edition, cara, você
46:18
não precisa nem colocar um cartão de crédito.
46:20
Aí sim, cara. Isso é muito legal, sabe porque
46:22
eu fiz o meu TCC no databrix community?
46:25
Jura? Sério?
46:26
Fiz. Que legal.
46:27
E aí hoje, com free Edition eu IA ter acesso a muitos recursos,
46:30
por exemplo, porque eu não consegui utilizar na época.
46:33
O que é interessante é que o free Edition, ele tem uma
46:35
paridade de features muito legal com o que um cliente Enterprise
46:39
tem. Por exemplo, cara, se você
46:40
quiser, por exemplo, você vai ter um cluster serveles ali você
46:42
consegue rodar teus notebooks. Se você quiser usar uma série de
46:45
features, é, pô, abac, por exemplo, é uma featu que demorou
46:48
bastante para sair da da brics. Cara, é uma featu que já está
46:50
disponível lá. Você pode interagir com o Unity,
46:52
é um ambiente muito parecido, então para você estudar para as
46:54
tuas. Certificações para você fazer os
46:56
teus testes, por exemplo. Cara, isso é uma funcionalidade
46:59
absurdamente legal. Muito massa.
47:00
E acho que isso vem também totalmente congruente com a
47:04
missão aí da detrobrix de democratizar e simplificar os
47:06
acessos, né? A dados e a e a exato.
47:08
Tem uma plataforma fria aí pra galera utilizar.
47:10
Bem legal assim. E é um discurso que eu sempre
47:12
trago pros meus clientes, né? Só fechando aqui porque por mais
47:15
que a gente fale da daira brics, é uma plataforma Enterprise, et
47:17
cetera, quando você vê a esteck da daira brics, que a daira
47:20
brics tem feito nos últimos anos, cara, ml, flow, opensor,
47:23
Spark opensors. Ah, mas Lucas, você acabou de
47:26
falar de Lake flo? Declarativo pipelines está nos
47:29
parque 4.0 público. Legal, não sabia?
47:32
Unity kathleb open source. Matei fez isso ao vivo no das do
47:36
ano passado. Então, assim, cada vez mais a
47:38
gente se posiciona como uma empresa que está pensando
47:41
diretamente na comunidade, em como a comunidade de dados
47:43
evolui. E contribuindo com open source
47:45
também, né? Exato, e isso é uma das coisas
47:47
que mais faz eu gostar de trabalhar na data.
47:49
Brics, cara. E com certeza faz a gente aqui
47:51
da DTI gostar muito de ser parceiro da data brics, né?
47:54
Mas aqui? Que também queria trazer os
47:56
nossos ouvintes, né? Que se vocês viram o evento ou
47:59
enfim ficaram sabendo, ou estudaram sobre, também deixe a
48:03
sua opinião. Se tem alguma coisa que a gente
48:04
não falou aqui, que vocês acharam que foi muito legal,
48:07
comentem no nosso Spotify, nas nossas redes sociais.
48:11
Ou também, se vocês acharam alguma coisa que a gente
48:13
comentou aqui, que vocês não concordaram ou que enfim querem
48:16
comentar, conversem mais com a gente.
48:17
Me chama no LinkedIn, galera, vamos trocar uma ideia?
48:19
A gente deixa o LinkedIn do Lucas aí no nas observações.
48:22
Lucas, mais uma vez, muito obrigada pela sua participação.
48:25
Acho que foi maravilhoso aqui, né?
48:27
A discussão, a conversa, e é isso.
48:30
Eu que agradeço meninas pelo pelo convite, foi ótimo.
48:32
É isso aí, valeu? Até a próxima.
48:34
Até a próxima, pessoal, tchau, tchau, obrigada.