Latest / Entre Chaves / #230 Como o Datadog está simplificando processos tradicionais de monitoramento

Transcript

#230 Como o Datadog está simplificando processos tradicionais de monitoramento · Entre Chaves

0:00
E está começando mais um entre chaves, o seu podcast
0:03
desenvolvimento de software. Eu sou a Rafa e hoje a gente vai
0:06
falar sobre data dog, né? Mais especificamente sobre as
0:10
novidades que estão rolando aí. Esse ano eu estou aqui com meu
0:12
colega Angelo para me ajudar a apurar.
0:14
E aí, pessoal, é uma honra gravar esse episódio hoje.
0:17
Estou empolgado, já vou dar spoiler aqui de falar isso antes
0:20
da Rafa, porque nós estamos aqui com a galera da data dog, né?
0:23
Então uma honra receber eles aqui.
0:25
Bora para o episódio. Algumas semanas rolou a
0:27
conferência, né? Anual da data dog.
0:30
Que é o dash que acontece todo ano, já faz bastante tempo.
0:32
E nada melhor do que falar sobre isso do que representantes a
0:36
deita dog, né? Em que inclusive estavam no
0:38
evento. Queria introduzir vocês aí o
0:40
Renan Menezes e o Juan Marins, bem vindos, obrigado por
0:43
aceitarem o convite. Bom, obrigado pessoal.
0:45
O prazer é nosso estar aqui, eu e o Juan.
0:47
A gente estava lá no evento, a gente acompanhou de perto todas
0:51
as novidades, até introduzindo um pouquinho da gente.
0:53
Meu nome é Renan. Trabalho aqui na data dog e vai
0:55
fazer quase 4 anos. A gente cuida hoje aqui de uma
0:57
parte de seasing, de neuring, para quem não?
1:00
S que é seus Engineering, basicamente é aquele papel de
1:02
arquiteto que ajuda os clientes a extraírem o melhor da
1:05
ferramenta em si. Eu hoje estou como senior seus
1:07
Engineering, e o Juan está como gerente aqui do time.
1:09
E aí a gente fica dentro de uma vertical aqui da empresa de
1:13
atendimento a grandes contas, tá?
1:14
Então a gente está dentro de uma estrutura de majors account que
1:17
a gente chama aqui e eu estou aqui como senior.
1:19
SE vai lá, Ruan. Boa, obrigado.
1:21
Renan. Até IA fazer AA piada aqui, né?
1:23
Que é uma dupla Sertaneja, né? Ruim.
1:24
E Renan, é um prazer aqui estar com com vocês também na DTI,
1:28
estar aqui na entre chaves até. Desembalei ali o meu microfone
1:31
para participar desse episódio, né?
1:32
Estava aqui brincando com com o Ângelo, estava ali pegando um
1:35
poeira, eu falei cara, por que não né?
1:36
Vamos lá passar conhecimento em 4K, né?
1:39
Mas é o que o Renan falou mesmo, a gente estava lá no dash, cara,
1:42
até para ressaltar aqui, já dando um pouco do spoiler do que
1:44
que a gente vai falar, é que de fato o maior foco né, do que que
1:47
a gente teve aí de lançamento esse ano foi tudo que engloba,
1:50
irá como um todo, né? Não só ALLM, né, é um dos pontos
1:53
Fortes aí que a gente vai acabar trazendo, mas algumas outras
1:55
coisinhas também para apoiar aí, principalmente, né?
1:58
Quem é? Deve aí a entender.
2:00
E esse está utilizando da maneira mais correta ou não, né?
2:02
Mas aí daqui a pouquinho a gente entra em mais detalhes.
2:04
Esse foco que você falou, né, acho que mostra um alinhamento
2:07
muito grande com o que a gente vê no mercado com essas
2:09
transformações, né? Do software 3.0 e há no negócio
2:13
e há no desenvolvimento. Simplificação dos times, né?
2:16
Eficiência. E eu queria entender o que que
2:19
vocês veem que mudou na necessidade do cliente de vocês
2:23
e o como que isso refletiu, né? No evento desse ano, no que foi
2:27
apresentado? Boa aí até um ponto curioso.
2:30
Pra quem não conhece um pouquinho, até falando um
2:32
pouquinho da empresa, né, a data dog, ela já tem aí 15 anos de
2:35
mercado, né? Ela nasceu em 2010 e uma das
2:37
coisas que a gente faz e um pouco do nosso DNA, na verdade,
2:41
que a gente nasceu de engenharia de software, como como um todo,
2:44
e a gente foi feito para engenheiros, né?
2:46
Então, diferentemente de outras empresas aí no mercado, que cara
2:49
você vê um Monte de marketing, um Monte de propaganda e et
2:52
cetera, a gente só investe basicamente cara, 1/3 da receita
2:55
em pesquisa e desenvolvimento, e grande parte disso é ouvindo
2:58
clientes, então tudo que a gente cria.
3:00
E é, hoje em dia é basicamente através de feedback que os
3:02
clientes vêm trazendo pra gente, né?
3:04
Respondendo à sua pergunta, basicamente o que que a gente
3:06
tem feito é adequar dores, né, que os clientes vêm trazendo pra
3:10
gente que a observabilidade tradicional não conseguia
3:12
alcançar, né? Então não adiantava a gente ter
3:14
ali, cara somente os 3 pilares, somente algumas coisas de
3:17
segurança, ficava sempre um gap ali de como é que eu monitoro
3:20
alguma coisa que você tem em ling Chen, por exemplo, qual que
3:23
é a melhor maneira de monitorar isso?
3:25
Como é que eu garanto que isso realmente está seguro, como é
3:27
que eu consigo garantir na ponta de que que.
3:30
Não tem nenhum usuário, por exemplo, tentando fazer 11
3:32
prompt injetion, tentando ali fazer alguma coisa maliciosa com
3:35
o chatbot da sua empresa, né? Então, baseado nisso, a gente
3:38
ouviu do mercado, trouxe para dentro de casa e começou a criar
3:42
soluções para resolver esses problemas e integrar com o resto
3:45
da observabilidade mais tradicional, né?
3:46
Digamos assim que a gente já tinha.
3:48
Então isso é um pouco da da origem, né?
3:50
Dessas novas funcionalidades que a gente vem agregando.
3:52
Pensando assim, pelo que a data dog já representava no mercado,
3:54
a data dog já é gigante global, já atende clientes aí no mundo
3:59
inteiro, mas. Dado esse essa informação que
4:01
você trouxe, vocês estão sempre ouvindo os clientes, fazendo
4:03
investimento em pesquisa, desenvolvimento tal com esse
4:06
dash que a gente viu que teve muita novidade.
4:08
Vocês acham que coloca a data dog num novo patamar ou assim já
4:12
falando em outras palavras, a data dog já saiu na frente assim
4:14
dos concorrentes e já tá fazendo coisas bem novidade.
4:17
Vocês lançaram aqui que eu nem imaginaria que já dava pra
4:19
fazer, sabe? Daqui a pouco a gente vai entrar
4:21
nos detalhes delas, mas você acha que a data dog já saiu bem
4:24
na frente assim dos concorrentes, cara?
4:26
Eu acho que sim. E acho que não.
4:27
Só isso, né? Na verdade, as coisas que a
4:29
gente. A gente vai criando, a gente já
4:31
viu isso no mercado de maneira geral, elas meio que se tornam
4:34
um padrão e a gente acaba elevando a maturidade da
4:37
comunidade de observabilidade como um todo, né?
4:39
Não é só uma funcionalidade que vai acabar diferenciando uma
4:43
ferramenta ou outra, né? Mas a gente acaba levando a
4:45
cultura pra um, pra um outro nível, onde aquilo ali se torna
4:48
Oo novo, normal, né? Hoje, quando a gente fala, por
4:50
exemplo, de 3 pilares, cara, todo mundo tem, mas se você olha
4:53
isso há 6 anos atrás, era uma coisa muito complicada de fazer,
4:56
né? E a e a que a gente vem
4:58
introduzindo, né, dentro do sistema.
5:00
Mas óbvio que a gente é um dos pioneiros a trazer isso, mas Eu
5:02
Acredito que apesar de ser um diferencial, vai ser um novo
5:05
padrão. Eu acho que daqui pra frente,
5:07
né? Assim como e há de maneira
5:08
geral, ela está se tornando isso na nossa vida dentro de
5:11
obsserbilidade, ela vai acabar se tornando o normal também, né?
5:14
Então esse caso clássico que a gente tem de cara ter que fazer
5:17
investigação manual o tempo todo, é uma pessoa só que você
5:20
tem no time, por exemplo, que sabe Oo contexto inteiro, e essa
5:23
pessoa sai da empresa, fica doente, você tem um incidente,
5:25
não consegue resolver facilmente, é uma das coisas que
5:27
a gente vê que cada vez vai ser. Menos frequentes de acontecer,
5:31
né? Porque IA consegue pegar esses
5:33
contextos mesmo de uma maneira muito rápida e já conectada com
5:36
tudo que está correlacionado ali no ambiente.
5:38
Eu acho que você falou na abertura que a gente investe
5:40
muito em pesquisa e desenvolvimento.
5:42
Isso é um fato. Então a gente de fato não é
5:46
porque hoje eu trabalho aqui, mas de fato a gente tem uma
5:48
postura bem agressiva. Quando a gente fala de novas
5:51
features, de novos desenvolvimentos, de compra de
5:54
empresas e tudo mais. Acho que é até para não cortar
5:56
um pouco aí o que a gente tem para falar hoje, mas muitas das
5:59
coisas que a gente. Te entrega e desenvolve é com
6:02
feedback desses clientes. E de fato, eu concordo
6:04
totalmente com Ruan e acho que daqui um tempo você vai ser o
6:06
novo normal. Começa você olhar para o mercado
6:08
hoje, assim, a gente está fazendo coisas já que elevam em
6:11
muito a maturidade de operações, em redução de tempo, de deteção,
6:17
de resposta, incidente e tudo mais, né?
6:18
E a gente viu o é ou ela lema, observar a hability, né?
6:21
Que ele basicamente muda a forma como que você monitora os
6:25
agentes possibilita que você lebugue o seu agente, né?
6:28
E eu queria entender o que que? Isso muda para colocar em
6:31
produção, né? Asias?
6:33
Agora está mais fácil a gente produtizar uma aplicação com IA.
6:36
Hoje realmente é o que você falou, então muitas pessoas usam
6:40
IAA. Gente, acaba sempre caindo no
6:42
exemplo do ChatGPT, tá, mas não é que a gente tem uma
6:44
preferência por uma tecnologia a ou b, mas é que cara é o grande
6:47
percursor, é o que mudou aí, algumas coisas da nossa
6:50
realidade. Então muitas pessoas usam hoje
6:52
no dia a dia para diversas tarefas, mas pouca gente sabe ou
6:56
quer saber como isso se comporta por trás.
6:58
Então basicamente você manda uma pergunta, cara.
7:00
Ele se vira lá do outro lado e te retorna ali.
7:02
Muitos pontos prontos, né? Agora, quando você traz isso
7:05
para um cenário Enterprise, quando você está dentro de uma
7:07
empresa e você precisa administrar uma solução que usa
7:11
modelos de a, isso acaba se tornando uma grande dúvida,
7:13
porque as pessoas ainda assim continuam achando que é cara,
7:16
você vai mandar para o modelo, ele vai se virar lá dentro.
7:20
Talvez você coloque alguns guard raios ali, né?
7:22
Por questão de de safety, mas as pessoas têm essa convicção de
7:25
que você vai mandar, ele vai se virar e ele vai voltar com a
7:27
resposta pronta, mas a gente sabe que em.
7:30
Tecnologia nem tudo é tão fácil, né?
7:31
Se fosse tão fácil que não estaria aqui.
7:33
Então a gente traz essa confiança para os times de
7:36
abrirem essa caixa preta e entender exatamente por onde o
7:39
workflow está passando, como que ele está fazendo as etapas ali
7:42
dentro, como que ele categoriza, como que ele organiza os tokens,
7:46
porque a gente sabe que uma chamada de LLMC, ela é uma
7:49
chamada não determinística, então a gente não consegue
7:52
garantir sempre a mesma resposta para o mesmo prompt e tudo mais.
7:55
Então isso acaba trazendo uma complexidade muito grande quando
7:59
a gente. E está analisando essas
8:01
aplicações e aí respondendo a pergunta, sim, hoje é mais fácil
8:04
de você produtizar, de você criar uma aplicação, porque como
8:07
que você vai dar suporte ou você vai dar melhorias para alguma
8:10
coisa que você não entende como está acontecendo por baixo?
8:12
Ah, eu achei uma PI lá da da anthrope que eu da open AI sei
8:15
lá, e ele me retorna, tá bom, mas você tá tendo gargalo com
8:18
isso, como que essa qualidade tá acontecendo ali dentro?
8:21
Então a gente traz essa essa capacidade de você abrir esse
8:24
cara e você conseguir entender exatamente o que ele está
8:27
fazendo dentro de cada etapa. E aí quando você entende isso,
8:29
você. Consegue melhorar a performance?
8:31
Enfim, vários pontos aí que a gente vai falar um pouquinho.
8:33
Mais para frente, só uma coisa que você falou, aí você falou
8:36
que ALLM ela é, não determina inística, né?
8:38
Vou trazer uma curiosidade aqui, o chá de GPT.
8:41
Toda vez que você pede para ele um número aleatório entre 1 e
8:43
50, ele te fala o mesmo número, que é 27.
8:47
Aí fica curiosidade para os ouvintes, aí depois você entra o
8:50
chá de GPTE, fala assim, me dá um aleatório, entra 1 e 50,
8:52
resposta 27. Isso vai render um episódio
8:54
aqui, eu tenho certeza. Mas então eu já queria que você
8:56
comentasse, aí nós estamos falando aqui basicamente da LR
8:59
Lemos observabi. Né?
9:00
E aí eu acho que essa pergunta vai, eu vou repetir ela várias
9:03
vezes durante o episódio. Essa é uma ferramenta dentro do
9:06
da da dog, que já existia e foi melhorada, e aí por isso que o
9:09
dash trouxe ou é uma ferramenta completamente nova.
9:12
Então acho que para todas as ferramentas, todos os recursos
9:15
que a gente comentar aqui hoje, a gente podia dar essa essa
9:17
noção aí também se é algo que foi melhorado ou se é algo
9:20
completamente novo, né? E aí você fica à vontade também
9:22
já para comentar os recursos mais legais aí que já tem dentro
9:25
do PLLM observability. Quando a gente fala do produto
9:28
em si, ele é um produto um. Novo, mas ele vem sendo
9:31
melhorado, então a gente lança alguns produtos em beta, porque
9:35
a gente não chama mais de beta aqui a gente mudou para perview,
9:37
né? Então a gente lança ali o
9:38
produto em perview para alguns poucos clientes testarem,
9:40
melhorarem e tudo mais, e a gente faz o lançamento no nosso
9:43
evento. Então, como é um perview,
9:45
basicamente a gente tem feature flex ali para habilitar dentro
9:47
de algumas contas ou não, então muitos dos clientes não sabem
9:50
que ele já existe, ele já está sendo testado ali, é óbvio que
9:52
dentro de um número menor de clientes, mas ele já existe e
9:55
tudo mais, então com essa parte do LLM não foi diferente, então
9:59
a gente já vinha melhorando. Já vinha testando, inclusive com
10:01
clientes aqui do Brasil, e a gente fez o grande lançamento,
10:04
ou seja, OGA de fato ali no dash, mas falando um pouquinho
10:07
dos problemas que a gente lida resolver com esse produto, né,
10:11
com esse módulo. Então, como a gente comentou, a
10:13
gente não tem, é algo determinístico, ou seja, é isso
10:16
que você falou, que é até algo interessante que eu não sabia.
10:18
Quando você pergunta alguma coisa, teoricamente a resposta
10:20
pode vir diferente, principalmente se você faz uma
10:22
pergunta muito complexa, você pergunta ela mais de uma vez por
10:25
um usuário diferente, que ele tem um contexto diferente
10:27
guardado, ele vai muito provavelmente de retornar um.
10:30
Um output diferente, né? Então vamos ser um pouco mais
10:32
técnico e vai te retornar um output diferente.
10:34
E acontece que a gente tem as famosas alucinações, então ele
10:37
pode inventar informações falsas, né?
10:39
Entre aspas, porque ele está tentando prever o próximo token,
10:42
né? Então é o modelo, como a
10:44
tecnologia funciona e por que que ela é tão revolucionária e
10:47
ele vai tentando prever os próximos tokens.
10:49
E acontece que nessa ele pode passar a ter uma alucinação,
10:51
retornar ou te falar sobre alguma coisa que não tem nada a
10:54
ver com o que você perguntou, ou até te trazer informações falsas
10:57
que a gente tem visto aí várias sanções no mundo, tem até um.
11:00
Caso bem interessante lá dos Estados Unidos, que tinha alguns
11:02
advogados usando OIA ali para levar para o juiz, e aí foram
11:06
descobertos porque eles começaram a fazer citações
11:09
falsas em defesa, as petições, enfim, eu não sou advogado aqui
11:12
para usar termos tão técnicos, né?
11:13
Mas enfim, ele estava usando informações falsas e aí ele
11:16
estava sofrendo penalizações, né?
11:18
Então, então a corte lá nos Estados Unidos, ele estava
11:20
estava penalizando alguns advogados por conta disso,
11:22
porque eles estavam usando EAIA, estava inventando alguns casos e
11:25
ele, em vez de revisar o que AIA estava trazendo para ele, né?
11:28
Em vez de usar isso como um. O piloto, ele estava só pegando
11:32
tipo control c control, VE os casos nem existiam, né?
11:35
Então é algo bem cuidadoso que a gente tem, que tem que lidar no
11:38
dia a dia e os custos também, né?
11:40
Acho que os custos é algo que a gente não pode deixar de
11:42
comentar, que a gente tem custos muito altos quando a gente usa
11:45
modelos mais novos, modelos mais superformáticos, se a gente abre
11:49
isso, por exemplo, Ah, eu sou de uma empresa de de rede de
11:52
farmácias aqui que eu tenho, sei lá, 2000 farmácias em todo o
11:55
Brasil, cara, eu abro isso para mar aberto, como que vai ser o
11:58
meu custo? Um modelo muito.
12:00
Performático. Então a gente trouxe uma
12:01
funcionalidade que a gente consegue fazer experimentos
12:04
dentro da ferramenta. Então você consegue pegar inputs
12:08
específicos e você rodar dentro da ferramenta, tá?
12:11
Com modelos diferentes, e você verificar como que está a
12:13
performance, como está a latência, como está o custo e
12:16
você fazer otimizações para que você rode com o modelo mais
12:19
performático para você. E nem sempre o melhor modelo é o
12:22
mais performático, né? Você tem sempre essa balança de
12:25
custo, performance, latência, segurança, et cetera, mas acho
12:29
que é. E por aí você comentou custos,
12:31
né? Eu vi que tem uma ferramenta de
12:34
monitoramento de GPU que eu achei muito legal, porque, de
12:37
fato, o custo hoje com OGPUE, com os modelos é o talvez e o
12:41
maior gargalo para você. O maior medo das pessoas também
12:45
de adotarem. O medo, né, de adotar um a
12:47
gente, o uso de agronegócio. É até um caso interessante.
12:50
A gente tem um programa interno aqui dentro da empresa, até para
12:53
a pessoa que está ouvindo conhecer um pouquinho sobre a
12:54
data dog se que acho legal, que é uma empresa global, uma
12:56
empresa Americana e tudo mais, né?
12:58
A gente tem um programa que chama da.
13:00
Que basicamente são conexões aleatórias que você faz com
13:03
pessoas do mundo, então você se coloca à disposição ou de papos
13:06
aleatórios ou de papos específicos, então a gente tem
13:08
um sobre IAA, gente tem um sobre segurança e tem o geralzão, você
13:12
coloca lá, então toda semana a gente conecta com uma pessoa
13:15
aleatória, 15 minutos, você entra com essa pessoa de n
13:17
lugares do mundo e você bate um papo, beleza?
13:19
E eu sempre participei disso, que é legal, que você conecta
13:21
com pessoas que estão entrando na empresa.
13:23
Agora a pessoa tem dúvida que você vê como que é e tal, enfim,
13:25
eu gosto disso. E aí certo dia eu escrevi um
13:27
site, só que do fundador da data dog, que hoje é o nosso.
13:30
Que é o Alex lecock, que é até 11.
13:32
Outro caso interessante, os nossos 2 fundadores, que é o
13:35
Olivier e o Alex lecock, eles ainda permanecem na direção da
13:38
empresa, mesmo depois do boom, mesmo, mesmo depois da empresa
13:42
se tornar bilionária, enfim, então eles ainda permanecem.
13:44
E eu recebi o invite do donut de um desses 2 caras, olhei,
13:48
chequei e tal, né? Eu falei, cara, beleza, né,
13:50
vamos lá, vamos bater um papo com ele, e aí eu falei, pô,
13:52
preciso levar algumas perguntas pra saber um pouco mais, né?
13:54
Tô tendo uma oportunidade aqui, muito legal, por mais que ele
13:56
seja um cara super aberto, né? Se você vai lá no escritório em
13:59
Nova Iorque, ele está. Tão lá pegando cafezinho, se
14:01
você chegar pra dar um oi e tal, falar com ele, eles são super
14:03
abertos. Mas sim, eu falei, Carlos, vou
14:05
aproveitar isso. E eu separei algumas perguntas e
14:06
uma delas foi como isso aí já tem, sei lá, talvez uns perto de
14:10
1 ano, tá mais ou menos isso. E aí eu perguntei assim, cara,
14:12
como que a data dog está olhando para o futuro com OIA?
14:15
Fiz essa pergunta Pra Ele, aí ele deu aquela pausa ali de
14:17
alguns segundos, respirou fundo, falou assim, AIA é algo que não
14:21
tem mais como a gente voltar atrás, né?
14:23
O mundo de TI como um todo, só que é algo muito interessante,
14:26
porque é um buraco sem fungo, então.
14:30
Se eu for imprudente, eu jogar todo o dinheiro da datadog
14:32
dentro de AA gente vai consumir todo o dinheiro, todo nosso
14:35
caixa, em todo nosso investimento, então é algo muito
14:37
legal, mas você tem que ter um certo receio de como você vai
14:41
fazer esses investimentos para e a que aí vem de encontro com a
14:43
pergunta que você fez, que é esse monitoramento de GPU,
14:46
enfim, esses custos, que de fato são coisas que às vezes travam
14:49
algumas iniciativas dentro das empresas.
14:51
A falta de previsibilidade não é o custo em si, mas como você
14:54
sabe o quanto você vai gastar ou de que você vai ficar dentro do
14:57
seu budget e et cetera, né? Tem vários pontos ali e ele
14:59
falou. Ou que é algo que a gente estava
15:01
indo, com certeza, e que ele estava, né, controlando isso
15:04
para que a gente fizesse os investimentos necessários no nos
15:06
momentos necessários. E é legal, porque dito isso, a
15:09
datadog, ela tem uma cultura de criar soluções para resolver o
15:13
próprio problema. Então hoje a gente tem mais de
15:15
30000 clientes no mundo todo, todos eles rodam em cima do
15:17
nosso Sales. Hoje a gente, se eu não me
15:19
engano, é o quarto ou quinto maior ambiente cubernets do
15:22
mundo. Então a gente tem diversos
15:23
problemas em escala muito grande que a gente cria, porque o nosso
15:26
ambiente é muito grande, né? E aí um desses problemas foi
15:29
isso, cara. Como que a gente monitore?
15:31
Como que a gente olha para esses custos?
15:32
Então a gente lançou essa feature para você olhar para
15:34
GPU, para você olhar para LLN como um todo, porque é algo que
15:37
a gente está indo para esse. A gente resolve o nosso próprio
15:39
problema. Depois a gente vende isso para
15:40
os clientes. O Renan, isso que você está
15:42
falando, que vocês têm vários problemas aí você um dos maiores
15:45
clusters de covernet do mundo e tal, e que vocês estão olhando
15:47
para esses problemas e gerando soluções com isso, né?
15:50
Isso quer dizer que a data dog, então, está presente em todos os
15:54
as etapas do desenvolvimento. Tipo eu, eu vi que vocês têm
15:57
algumas ferramentas que inclusive foram anunciadas no
15:59
deixa aí. Que ajudam na vida do
16:01
desenvolvedor antes de colocar as coisas em produção também,
16:04
né? Não é só depois, na parte de
16:06
monitoramento e observabilidade em si, tem várias etapas ali
16:09
antes de desenvolvimento, que a data dog já está contribuindo
16:12
também, né? Então isso se dá tanto por essa,
16:15
por essa dinâmica de observar os nossos problemas e propor
16:19
soluções, mas também por um posicionamento da data dog de
16:21
atuar em todo o ciclo de desenvolvimento.
16:24
Só um ponto. O próprio LM experimentes que
16:26
você falou? Isso é a etapa de
16:28
desenvolvimento, né? Antes de um.
16:30
Você produtizar 11 algoritmo de machine Lane, um modelo de LLM.
16:34
Existem esses experimentos que são feitos?
16:36
Boa, vamos lá respondendo a pergunta do do Ângelo tem.
16:39
E no final do dia, acho que essa é a é a grande magia aqui da
16:42
plataforma, né? Que tudo acaba se integrando
16:44
quando a gente fala de de observabilidade como um todo,
16:47
né? Óbvio que IA foi ali um dos
16:48
maiores focos do do dash, mas um dos 5 focos que a gente teve é
16:53
uma coisa que a gente chama shift left, né?
16:55
Que a gente de fato né, mover um pouco desse pensamento de que a
16:58
gente só monitora depois. Vez que alguma coisa realmente
17:01
está de produtizado ali, está em produção, rodando já e na
17:04
verdade a gente consegue ajudar desde quando o cara está com
17:07
vers code aberto, por exemplo, né?
17:09
A gente tem um plugin para de fato a gente ajudar, ou deve a
17:12
codar ali alguma coisa, ele já consegue identificar algum tipo
17:15
de problema de segurança, inclusive quando ele está
17:17
acordando ali, né? Ele vê assim, cara, essa maneira
17:19
que você está escrevendo a consulta aqui é passível de ter
17:21
um scale injection, né? No momento que o cara está ali
17:23
de fato desenvolvendo e a gente tem a possibilidade também, né,
17:26
quando a gente está com o ambiente monitorado, com o
17:29
datadog e o deve. Ele está acordando quando ele
17:31
começa a receber esses erros. Ele mesmo tem uma conexão, né,
17:34
com esse módulo de a dele para já prover melhorias para aquele
17:38
código, né? Então imagina que você tem um
17:39
cenário onde você tem uma aplicação que cara, ao invés de
17:42
você fazer uma consulta bem estruturada, né, você vai lá e
17:45
faz, sei lá, 200, 300 selects no banco e volta a cada hora com
17:50
com uma linha, né? Então toda hora você tem que
17:51
ficar indo e voltando, a gente consegue analisar isso e falar.
17:54
Ao invés de fazer isso, você pode fazer um select só e
17:56
reduzir seu tempo em x por cento naquela consulta a gente.
18:00
Naquela transação, né? Então o shift lept, ele vai
18:03
consistir para isso, né? A gente conseguir melhorar a
18:05
qualidade ali do que que está sendo entregado antes mesmo de
18:08
subir. Inclusive uma das possibilidades
18:10
que a gente tem é de ter um Gate de qualidade mesmo, né, baseado
18:14
em algumas condições que a gente consegue configurar, né?
18:16
Então você acaba utilizando o data dog como algo para
18:20
mensurar, né, a qualidade do que que você está entregando e se
18:22
for abaixo, você simplesmente não sobe para a produção.
18:25
Aquele código ali que pode estar ou vulnerável ou mal, mal
18:28
otimizado, né? São algumas das.
18:30
As coisas que a gente consegue fazer, sim.
18:31
Isso é aquele internal developer portou AIDP.
18:35
Não é, é, essa é uma outra parte e cara, tem e é uma coisa
18:38
engraçada, né? Até te falar aqui é que o Tatá
18:40
dog, ele acabou se tornando praticamente um Cláudia
18:42
provider, né? A gente atende todos os públicos
18:45
possíveis, né? Obviamente a gente está aqui
18:46
falando com um público mais deve, mas ele vai, cara, desde o
18:49
pessoal que cuida de rede, por exemplo, até o pessoal que cuida
18:52
de UX Na Na outra ponta lá OIDP ele vai ser uma outra parte que
18:56
a gente está lançando, que a gente lançou agora no dash no
18:59
dia. Vez de 10 e 11.
19:00
Está aí, Renan, e o Brito vai ter que falar.
19:02
Não bacana, até para complementar o Juan aqui, então
19:05
OIDP basicamente com uma galera aqui é deve pensa no backstage,
19:10
né? Então a gente tem o backstage
19:11
ali onde você consegue subir tudo que você tem e a ideia da
19:14
data dog foi os nossos clientes, a gente tem a gente basicamente
19:17
em tudo dos nossos clientes, então como a gente já tem muita
19:20
informação, a gente tem conexão com os cloud providers deles, a
19:23
gente tem a gente em tudo, a gente está coletando diversas
19:25
informações, por que que a gente não tem um IDP interno nosso, ou
19:29
seja, você? Consegue ter organizado tudo o
19:31
que você tem dentro da sua empresa, você consegue ter por
19:34
alnership, enfim, você consegue de fato colocar tudo dentro de
19:37
um único lugar. Porque pensa que eu sou uma nova
19:40
pessoa que entrou aqui no time do cliente, lojinha do seu Zé e
19:44
como que eu sei exatamente tudo que tem lá dentro, quais são os
19:46
serviços que eu tenho, quem que são os alners desse serviço,
19:50
como que está a performance desses caras?
19:51
É, a gente tem uma parte de score que é bem legal também
19:54
ligado a isso, enfim, então como que eu consigo olhar para como
19:57
que está o score desses serviços pensando em melhores práticas?
20:00
De observabilidade como um todo, né?
20:02
E não de LLM aqui só. Mas, por exemplo, Ah, eu tenho a
20:05
correlação do Tracy com o log, eu tenho a minha infraestrutura
20:07
sendo correlacionada também e a gente consegue colocar scores,
20:10
né? E a gente vai medindo de acordo
20:12
com scores e a gente vai tendo tudo.
20:14
Ou seja, antes a gente chamava esse cara de software catálogo,
20:16
inclusive tem um mastas bem legal que o início do
20:19
desenvolvimento desse produto veio do feedback de um cliente
20:22
brasileiro. Então a gente tinha um cliente
20:23
aqui do Brasil, ele precisava disso, então a gente conectou
20:26
com os PMs, sentamos todo mundo e os PM falaram, cara,
20:29
realmente. Faz sentido a gente ter uma
20:30
coisa assim na plataforma, eles começaram o desenvolvimento por
20:33
conta disso e a gente chamava de software catálogo, então a gente
20:36
foi melhorando e tal, enfim, vendo por onde o mercado estava
20:39
indo e hoje a gente renomeou isso para IDP, então vendo o que
20:42
o Ângelo comentou lá atrás, que é cara, não é um produto novo,
20:45
novo, novo, então é um produto que a gente está readaptando e
20:47
lançando aí de acordo com o que o mercado está está
20:50
necessitando. Então de fato é um portal
20:52
interno para os desenvolvedores, para todo o time ter tudo ali
20:55
dentro. Então pô, quais são as minhas
20:56
APIs? Enfim, eu tenho tudo ali dentro
20:58
desse portal. Bom, e aí?
21:00
E complementando aqui bem, bem rapidinho, né, até pro pessoal
21:03
aí mais de liderança. É uma das coisas bem legais
21:05
desse desse DP que a gente tem uma série de repórter em cima
21:08
disso, né? Então você consegue ver
21:09
exatamente como é que está Oo escore ali de cada time que você
21:13
tenha, né? Qual que é a pontuação de cada
21:15
um deles e se e se inclusive você quiser, né?
21:17
A gente consegue ter ali targets diferentes, né?
21:20
Para cada um desses esse aliodes você consegue ver, né, semana,
21:22
semana, como é que está a evolução deles ali, né?
21:25
Caso caso você tenha uma iniciativa de cara melhorar a
21:28
qualidade do time x em a. Até y por cento, né?
21:31
Então todo todo esse tipo de avanço, né?
21:33
Ao longo do tempo a gente consegue ver junto com algumas
21:35
outras métricas, né, quando a gente fala de esses SLOS de
21:38
maneira geral, né, não só a nível de qualidade, mas de
21:41
disponibilidade mesmo. Então qual que é Oo tempo ali?
21:43
Por exemplo, desde o último incidente, qual que é o tempo
21:46
médio para você conseguir ou reparar ou resolver ali algum
21:49
tipo de incidente por time que fica bem, bem legal, né?
21:51
Assim, você consegue saber exatamente onde direcionaria a
21:54
maior parte do esforço internamente.
21:56
Eu queria comentar que Juan ou Renan, não lembro, comentou.
21:59
Como que legal? Como que está?
22:00
Que as coisas se conectam assim, né?
22:01
Juan? Estava falando aí agora que
22:03
existe a ferramenta que monitora ali o código e te faz algumas
22:06
sugestões. Oo Renan comentando agora de
22:09
tudo da história do IDPE aí eu queria trazer uma coisa que tem
22:12
tudo a ver aí, que é o bits. AI deve a gente, né?
22:16
Que ele consegue perceber automaticamente que está
22:19
acontecendo alguma coisa errada, ele consegue achar lá no código
22:22
fonte onde está o problema, ele consegue subir um PR
22:24
automaticamente, né? Então acho que.
22:25
Se o deve vai virar um aprovador de PR, é isso eu?
22:27
Achei isso sensacional assim, cara, eu?
22:30
Isso foi uma das coisas que eu falei assim que é cara, as
22:32
ferramentas de de observabilidade estão evoluindo
22:34
numa velocidade absurda. Isso é bom, tá?
22:37
Eu acho isso maravilhoso. Não sei se deve vai virar
22:39
aprovador de BR igual a Rafa está falando aqui, mas eu queria
22:42
saber a visão de vocês isso. Boa, vamos lá.
22:44
É, na verdade, antes de falar do DFA, gente falando do bit CE
22:47
mesmo, né? Que foi alguma coisa que a gente
22:49
introduziu. Aí me corrigiu se eu estive
22:50
errado, realmente foi em 2023, ali, num num dos déficit que a
22:53
gente fez, que era a ideia de fato trazer de maneira bem
22:58
embrionária ali um e assim assim o.
23:00
Ultra simplificado aqui, né? Um chatbot para a gente
23:02
interagir com o contexto que a gente tinha de observabilidade,
23:05
né? Então a gente ali, cara, e
23:06
perguntava, pô, o que que está acontecendo com a minha
23:08
aplicação x? Ele IA lá, olhava os monitores e
23:10
falava, Ah, eu estou vendo que tem uma alta latência aqui numa
23:12
comunicação com esse cluster de post, por exemplo.
23:15
Então ele era muito mais um um assistente ali, né, que a gente
23:18
fazia algumas perguntas que eu não sabia mais o que fazer
23:21
alguma coisa nesse sentido. E ele foi evoluindo, né.
23:23
Então o bitsea, ele utiliza ali algumas partes da ferramenta,
23:27
né? Então imagina que existe 11
23:28
layer ali de língua. Imagem natural mesmo Pra Ele
23:31
saber o que que ele tem que buscar por trás, né?
23:33
E um deles é de fato o Watch dog, que foi um dos maiores que
23:37
a gente tem, que é o que carinhosamente aqui, né?
23:39
A gente chama de Watch dog e aí cara, tem um Monte de de piada
23:42
internas aqui, de cachorrada, enfim, mas a ideia desse cara,
23:45
ele conseguir identificar as coisas que estão sendo alteradas
23:48
No No ambiente ali em tempo real, né?
23:50
Então imagina que você vai lá e faz o depósito de uma versão
23:52
nova, né? Esse cara?
23:53
Ele consegue pegar automaticamente que essa versão
23:56
nova começou a introduzir erros que não aconteciam antes, por
23:59
exemplo, e por conta. Disso você tem um usuário XPTO
24:02
acessando o cara da savassi lá, que está impactado, né?
24:05
Então ele consegue fazer essa correlação, fim, fim.
24:07
O bitsea era um grande agregador disso e agora a gente está
24:10
começando a expandir as capacidades dele, né?
24:12
Então a primeira utilizando de fato, né, todo esse poder
24:15
computacional de LLM hoje em dia e dando mais contexto ali Pra
24:19
Ele conseguir identificar o que que está acontecendo.
24:20
Então, antes de falar do EVI, gente, né, tem OSRIA, gente, que
24:23
é o que que acho que é um, é um dos carros chefes aí que a gente
24:26
vai acabar tendo esse ano, que é de fato alguém que vai estar.
24:30
Auxiliando ali na resolução de problema.
24:32
Então, quando tem alguma coisa acontecendo, qual que é Oo
24:34
comportamento humano, né? A gente vê, cara, que sei lá,
24:37
tem um servidor com algum tipo de problema, seja um consumo
24:40
alto de de recursos, seja uma API, está respondendo com a
24:43
latência mais alta, uma taxa de erro alta.
24:45
A gente começa a olhar o entorno, né?
24:46
Então a gente vai ver, pô, se essa API está lenta, vou ver a
24:49
base de dados que ela está utilizando, eu vou ver as outras
24:51
APIs que elas chamam, vou ver as APIs que chamam ela, enfim, você
24:54
começa a fazer isso manualmente, né?
24:56
O que que OSREA gente faz ele olha exatamente.
25:00
Tudo isso de maneira automática, né?
25:02
Então ele começa de fato criar uma investigação interna e vai
25:05
olhando todas as hipóteses possíveis, né?
25:06
Então ele cria uma lista cara com 20 3040 hipóteses possíveis.
25:10
Ele vai ali executando algumas ações, né, de ir na própria
25:13
apelido tatadog para consultar e entender esse tipo de
25:15
comportamento. Ele pode executar ali algum tipo
25:18
de de ação, né? Então ele vai pegar exatamente o
25:20
comportamento humano EE replicar até de fato achar uma causa
25:23
raiz, e por Ventura, se possível, né?
25:25
Se ele conseguir de fato achar, já encadear até algum workflow
25:29
de alto. Uma ação para a correção, se for
25:31
o caso, e a ideia do DEVEA gente é bem semelhante, só que para
25:34
deb, né, é a gente de fato conseguir consolidar, né?
25:37
Você até brincou né? Se o deb ele vai virar ali um
25:39
aprovador de PRS cara, varia né? Depende, talvez porque o que que
25:43
ele vai acabar fazendo é aqueles erros que na no final do dia,
25:47
né? O usuário ficava trazendo pra
25:48
gente ali o que a gente ficava descobrindo o que cara por acaso
25:52
aparecia lá no sonorkilb e ficavam lá numa fila infinita de
25:56
coisas desfiorizadas, porque a gente tem outras metas para
25:58
bater e agora talvez elas. Sejam muito mais fáceis, né?
26:01
Muito mais ágeis da gente conseguir aprovar e colocar de
26:04
fato para funcionar, porque a própria e a ela já tem um
26:06
contexto ali, né? Ela sabe como você cobra, ela
26:08
sabe os padrões que você usa, ela sabe exatamente qual é a
26:11
arquitetura da aplicação inteira ou quais as arquiteturas das
26:13
aplicações que se comunicam. Então ele pega não só o código
26:16
puro, mas ele começa a pegar também todo o contexto do que
26:19
que já está sendo observado, né? Então acho que esse é o próximo
26:22
ponto, né, a gente pegar e não só ter ali de fato a parte de
26:25
erro EE melhorias, mas de fato começar a ter cara, como é que
26:28
eu posso reduzir o custo de? De Infra que você tem mudando a
26:31
arquitetura da sua aplicação por trás, né?
26:33
Então acho que aí ela vai começar a caminhar para esse
26:36
ponto e aí vai ser alguma coisa mais de de fato, né?
26:39
Otimização ali num nível mais mais extremo do que só a
26:43
resolução de problemas, porque hoje, mal ou bem, isso já tem
26:46
outras ferramentas que consigam fazer, né?
26:47
Então a nossa ideia está sendo mais caminhar pra pra esse
26:50
caminho. A gente vê uma tendência, né, da
26:53
da do uso de linguagem natural em várias ferramentas.
26:56
Eu acho que isso está mudando a configuração dos times, né?
27:00
Mas isso muda, na opinião de vocês, o perfil do usuário que
27:03
vai acessar a plataforma, né? E agora vocês têm assim, não é
27:07
só só a pessoa técnica que vai estar ali acessando, vai estar
27:10
usando que eu vi que vocês conseguem utilizar a linguagem
27:12
natural para analisar dados, conseguem criar o workflows com
27:16
linguagem natural com o apps, né?
27:17
O bit a apps, então assim muda Oo perfil da da pessoa que está
27:21
ali usando agora. Cara, já tudo bem que a gente
27:24
tinha sempre um público bem técnico, mas a gente sempre teve
27:28
bastante gente de negócio utilizar.
27:30
Usando o data dog, né? Porque como a gente captura as
27:32
coisas em tempo real, normalmente o pessoal de negócio
27:34
que quer ver ali alguma coisa sem ser t menos um, d menos 2,
27:37
dependendo d menos 7 da da quantidade de dados, a gente
27:40
consegue pegar isso, já que o data dog, ele faz esse streaming
27:43
ali automaticamente. A gente sempre teve bastante
27:45
gente de de produto mesmo, né? Porque a gente faz a parte de de
27:49
monitoramento aí de fato da aplicação até a nível de fronte,
27:52
né? Então por uma vertente mais de
27:54
segmentação de usuário e realmente da experiência, pra
27:57
você ver o richmap gráfico de sanque e esse tipo de coisa.
28:00
Então ele sempre foi dividido, a gente teve o pessoal que era
28:02
mais técnico e o pessoal mais negócio e produto.
28:04
Eu acho que ele não muda tanto, porque o que vai acabar
28:08
acontecendo é que esse próprio público, ele vai ser mais
28:11
habituado a utilizar prompts, do que extrair as informações ali
28:14
de maneira manual, né, que é uma coisa que já já acontece hoje.
28:17
Você pega aí, cara, deve ser dependendo do que que está, do
28:20
que que está fazendo, ele não vai lá e faz tudo na mão, ele
28:22
bota lá um trechinho para o GPT, para gerar e cola lá e tudo
28:25
certo, né? Então acho que é um pouco disso,
28:27
alguns caminhos dentro da plataforma que eram mais.
28:30
Trabalhosos entre aspas de de você chegar no resultado, acho
28:33
que hoje eles são mais simplificados ali, né?
28:35
Então você mesmo falou, Ah, para criar um workflow de alguma
28:37
coisa, então ao invés de você ir lá, apesar de ser low code ali,
28:41
você ir encaixando uns bloquinhos, cara, um comando em
28:43
linguagem natural é muito mais, muito mais fácil, né?
28:46
Principalmente quando a gente está impressa, né, quando a
28:48
gente quer fazer alguma coisa rápida e 2 em crise, né?
28:50
Então a gente quer testar alguma hipótese ali de maneira bem, bem
28:53
rápida, né? Então acho que é mais um
28:55
auxílio, né? Não sei se muda tanto assim,
28:57
cara, um outro público que vai utilizar a ferramenta, Eu
28:59
Acredito que não. Acho que você dá mais poder
29:01
também, né, para esse público que já acessa, né, igual você
29:04
falou que já era usuário. Dentro de tudo que a gente está
29:06
falando aqui do BID, a gente já falou do DVA gente, essa RREA
29:09
gente, e aí tem no security analist também dentro do BI, né?
29:14
E a gente sabe que segurança é um tema que não é tema até ser
29:18
um. Problema, né?
29:19
EE gente, é um ponto. Nenhum time tem uma especialista
29:23
em segurança, mas todo mundo precisa saber segurança.
29:26
Exatamente aquele problema que assim a gente vai evitando
29:29
quando a. Desce aí é que a gente corre
29:31
atrás, né?