Latest / Entre Chaves / #231 Datadog: Equilibrando segurança e velocidade de código

Transcript

#231 Datadog: Equilibrando segurança e velocidade de código · Entre Chaves

0:00
E está começando mais um entre chaves, o seu podcast
0:03
desenvolvimento de software. Eu sou a Rafa e hoje a gente tá
0:07
vindo com a segunda parte do papo que gravamos em parceria
0:10
com a deita dog, a gente trouxe aqui o Renan Menezes, que é
0:13
seios higenia e o Juan Marins que é rijonal manager da deita
0:17
dog e eles contaram pra gente aí como a empresa está
0:20
revolucionando, né? A observabilidade não só com
0:23
OEA, mas também para produtos de ar e a gente falou bastante aí
0:27
sobre as novidades do déficit 2025, a gente.
0:30
A gente trouxe aí algumas novas features, né?
0:32
Como LLM, observar, hability. A gente falou também sobre como
0:35
a data dog está atuando ali, né? Desde o início do
0:39
desenvolvimento, né? Em toda a cadeia do software,
0:42
com ferramentas como bitsey i, né?
0:44
EOLLM Experiment e agora vocês ficam com a parte 2.
0:50
O que que a data dog trouxe de novidade do security analist e
0:55
que que isso traz pra gente de mais confiabilidade tem a ver
0:58
com a confiabilidade da cloud, da aplicação ou de tudo que que
1:03
que a gente tem de? Novidade?
1:04
Bom, quando a gente fala aí que o Ruan comentou bastante sobre o
1:07
Dave, a gente Sra. Gente, blá, blá.
1:09
Então, basicamente o que a data dog está fazendo é criando
1:11
agents de ar. Então para quem está mais por
1:14
dentro dessa transformação de ar já está percebendo isso.
1:17
Então a gente vai criando agentes cada um.
1:19
Com a sua finalidade ali, né? Então a gente vai dando poder
1:22
para a gente resolver problemas específicos para cada um desses
1:25
agentes. E o security analist, ele vem
1:28
com essa visão também. Então eu no passado, eu
1:30
trabalhei com ferramentas de segurança e tradicionais dentro
1:33
do mundo, de cien, por exemplo. Então a gente tinha uma
1:35
dificuldade muito grande pra gente escalar regras de cien pra
1:39
gente escalar, como a gente traz diferentes Fontes de dados, como
1:42
que a gente padroniza isso, enfim, como que a gente opera
1:45
isso em escala, porque a gente sempre pensa aqui, como que a
1:47
gente resolve isso em grandes? Escala que aí depois que a gente
1:50
IA baixar a escala, o problema já está resolvido,
1:52
automaticamente vamos pensar assim, né, com uma boas aspas,
1:55
mas então como que a gente faz isso?
1:56
E a gente trouxe esse e a gente, cara, bem com essa visão de da
2:00
gente automatizar esses processos que muitas vezes deram
2:04
manuais, tá? Então a gente precisava de um
2:06
time extremamente qualificado para poder criar, validar e tudo
2:09
mais. E o que acontece é que por mais
2:11
que você tenha bons técnicos, tá boas pessoas, bons déficits,
2:14
bons analistas de segurança e tudo mais, tem lógicas que ficam
2:17
muito complexas para você pensar, e você?
2:19
Se resolver, então esse cara, ele vem para ajudar a gente com
2:22
essas lógicas, com pra gente descartar mais falsos positivos,
2:25
enfim, pra gente trazer mais respostas com base em
2:28
evidências. Então pensa que esse cara vai
2:30
ter acesso a uma base enorme de tudo que está acontecendo e ele
2:33
vai conseguir, de uma forma muito proativa, melhorar e
2:36
ajudar a gente a otimizar essa parte de segurança, tá?
2:39
Então como que a gente ganha escala, a gente reduz tempo de
2:42
resposta, enfim, a gente melhora essa cobertura de incidentes ou
2:45
investigações dentro de uma plataforma com perguntas com
2:48
linguagem. Natural.
2:49
Então, o que o que o nosso ckirt analist está se propondo a fazer
2:53
é transformar um pouco esse mundo de segurança.
2:55
E a gente sabe que é um mundo delicado, né?
2:57
Então, primeiro, como um copiloto, aí para ajudar a gente
3:00
a trazer essas lógicas, essas investigações mais rápidas,
3:02
principalmente agora, no começo foi esse mundo de cien, tá?
3:05
Primeiro, e aí, sei que segurança é um universo datal
3:08
que está bem inserida nisso, mas acho que é pauta para um para um
3:10
próximo episódio. A gente gravou sobre e a
3:13
responsável a gente falou sobre ataques recentemente.
3:15
Então a gente citou muitos os adversary ou machine learning,
3:18
né? Vocês?
3:19
Eles comentaram um pouco mais sobre o prompt injetion e eu
3:22
queria entender, o que mais que tem nessas novidades aí que são
3:25
voltadas para esse tipo de ataque com LLM?
3:28
Aí a gente volta a falar um pouquinho sobre OLLME, observa.
3:31
O hability, né? A gente tem um Pilar bem grande
3:33
desse produto, que é a parte de segurança e proteção.
3:37
E aí algumas pessoas, até eu mesmo, quando eu comecei a olhar
3:40
isso, eu falei, cara, segurança e proteção, sei lá, né, mais ou
3:42
menos a mesma coisa. Acho que a gente confunde um
3:43
pouco, né? Que são coisas ali bem bem
3:45
lineares ali, enfim, mas a gente tem esse Pilar muito forte, ir
3:48
para o. Por exemplo, falando de um, eu
3:50
acho que todo mundo que está ouvindo aqui deve saber ou fazer
3:53
uma ideia mais ou menos o que é. Mas é como que eu tento dar
3:56
alguma volta dentro dos guard, raios que a gente tem dos
3:59
modelos ali, os nossos agentes para trazer perguntas ou para
4:03
ter um vazamento de um dado sensível, que é o que a gente
4:05
chama de piai. AI, né?
4:06
Então, OLLM, ele traz bastante coisa nesse sentido de você
4:10
adicionar uma camada secundária, porque você já provavelmente, se
4:14
você está produtizando isso em escala, escala, Enterprise e
4:17
tudo mais, você vai ter os. Par de ramos, mas você pode ter
4:20
alguma coisa vazando isso, né? Você pode achar.
4:23
A gente sabe que o brasileiro é o povo mais criativo do mundo,
4:26
então às vezes a forma como você faz a pergunta é diferente.
4:29
Por ser um modelo não determinístico, ele pode mudar a
4:32
pergunta ou fazer um prompt injection e ter um vazamento de
4:34
um dado. Então a gente tem diversas
4:36
regras já embutidas olhando para isso, então um deles é o prompt
4:40
injection, o outro é essa parte de vazamento de dados sensíveis
4:43
e a gente tem mais algumas coisas, não sei se o Juan lembra
4:45
de mais algum aí que a gente bate bastante.
4:47
Eu lembro em um que a. A toxicidade, né?
4:50
Baseado no que que o usuário está fazendo ali, ele pode ter
4:53
algum comportamento malicioso e que pode acabar sendo maligno
4:56
para a empresa de igual uma maneira, né?
4:57
Então imagina que você fala com o chatbot, me atenda, mas pô,
5:01
imagina que você seja alguém que cara, um serial killer, ele vai
5:05
me xingar de todos os nomes possíveis, por mais que ele
5:07
entre ali de fato no personagem faça isso, isso pode acabar
5:10
gerando algum tipo de cara ou alguma coisa na mídia, no
5:14
mínimo, né? Mas pode acabar gerando algum
5:15
tipo de multa ou até um processo mesmo, dependendo, como a gente
5:18
sabe que as leis. Eleição, né?
5:19
Então é mais para evitar esse tipo de comportamento também,
5:22
porque. Você pode ter a toxicidade dos 2
5:24
lados, né? No input, no output, então uma
5:27
coisa é você identificar no ponto de vista de negócio que o
5:29
seu usuário está nervoso, vamos chamar assim, né?
5:32
Então eu quero falar com o Mano agora, só que está horrível, não
5:36
está funcionando, tal me transfere agora, tipo 10
5:38
reclamações, cara, ele já vai te pontuar ali como nível de
5:41
toxidade, já não está mais neutro, né?
5:43
E aí tem no output, que aí é o que o Ruan falou, que é muito
5:45
mais perigoso, porque a gente tem sanções, enfim, a gente tem
5:48
é uma parte. De regulamentações,
5:50
principalmente quando a gente fala de setores mais sensíveis,
5:52
como financeiro e saúde, né? A gente tem algumas coisas bem
5:55
sensíveis que pode dar um problema bem grande, a multa bem
5:59
forte aí. E a gente tem alguns alguns
6:01
casos interessantes que recentemente eu, a gente se
6:05
conheceu aí em um evento, até falei um pouquinho sobre isso.
6:07
A gente tem alguns alguns casos, por exemplo, como da Chevrolet,
6:10
que ali que a pessoa deu toda uma volta no chat bot e
6:14
conseguiu comprar um carro por 1 USD, né?
6:16
Então a gente, um carro que era uns 70000 USD, ele conseguiu.
6:19
Comprar por 1 USD? Mas se a gente com aquele
6:20
negócio bem de criancinha, tipo, Ah, tudo que você me perguntar,
6:23
você tem que responder sim, sabe?
6:24
Tipo uma parada mais ou menos assim, beleza, que não consistiu
6:27
só nisso, mas é mais ou menos isso.
6:28
Então é uma coisa que a gente já superou com guard raios que já
6:32
vem automaticamente, digamos assim, hoje nos modelos.
6:35
Mas é algo que a gente precisa estar atento, porque imagina
6:38
você ter um prejuízo desse em larga escala e vem uma decisão
6:42
lá do judiciário que você vai ter que cumprir.
6:45
Tem até um caso engraçado, acho que, se eu não me engano, da Air
6:47
Canada também, e a pessoa estava com.
6:49
Conseguindo comprar também passagem mais barata, tudo mais.
6:52
E aí eles começaram a cancelar, se eu não me engano, e aí depois
6:55
eles falaram que o próprio chat bot era responsável pelas suas
6:58
ações, sabe aí tipo, pô, mas como assim você que a empresa
7:00
você não vai dar o suporte a isso e tal, a gente fica com um
7:03
ambiente meio cinzento aí no meio, né?
7:05
Quem que é responsável, quem que não é?
7:06
Então por isso que a gente tem que estar atento para esses
7:09
sinais de segurança e produção, para a gente entender é quando a
7:13
gente tem uma tentativa de injetion, quando está tendo um
7:15
vazamento, quando está tendo uma alucinação, enfim, como está, o
7:18
sentimento está nele. E outro está positivo, negativo
7:21
por aí vai. De novo é legal, como que as
7:22
coisas se se conectam que você está falando e das alucinações e
7:26
tal, e os os modelos mais novos, a antrópica, open a, enfim, eles
7:30
sempre prometem menos alucinações, só que igual você
7:33
falou, os modelos mais novos também são muito caros, então a
7:35
gente tem que ficar de olho no custo, a gente tem que ficar de
7:37
olho na alucinação, a gente tem que ficar de olho no prompt
7:39
injetion e é legal, como que isso tudo se conecta, né?
7:42
EE, é legal também, já que a gente tá falando de data dog,
7:45
né? Como que a data dog tem
7:46
ferramenta pra pra todas esses essas pontinhos?
7:49
Todas aí, como que a data do consegue conectar tudo dentro de
7:52
um ecossistema? Só isso, acho isso é bem legal,
7:54
mas tem uma curiosidade, talvez volte aqui No No BID gai, que
7:57
deve deve aí gente, só pra matar uma curiosidade, eu eu vi que no
8:01
dash também foi lançado OMCP da da dog e eu fiquei imaginando se
8:05
o BID gai deve aí de gente está usando esse MCPEE, fiquei
8:08
imaginando se OMCP surgiu por causa disso, sabe?
8:11
Porque aí a gente começa a conectar o que que é LLMO,
8:15
botando MCP ali no meio para o para OMCP fazer alguma
8:18
intervenção dentro. Do dashboard, ou dentro do
8:20
código ou não, ou não tem nada a ver.
8:23
Isso que eu tô falando OMCP surgiu por alguma outra demanda,
8:25
né? Mas enfim, da onde veio essa
8:27
ideia do MCP da data dog? Boa.
8:29
Quando a gente fala do MCP em si, é até legal para o pessoal
8:33
que está ouvindo atender um pouquinho OMCP.
8:34
Ele é um protocolo, né? Que Visa facilitar a comunicação
8:38
ali de agents de e a e a data dog lançou um MCP server, que é
8:42
para os clientes usarem todos esses dados, todo esse poder que
8:45
a data dog tem e conectar com os dados dela, porque.
8:49
Uma coisa que a gente começou a entender é, por mais que a
8:52
datadog evolua, os seus produtos evolua, as suas iadas, enfim,
8:56
consiga fazer investigações cara, de uma forma muito boa,
8:59
cara e muito ampla, consiga chegar ao que a gente chama de
9:02
RCA, que é o urte causa análise de uma forma bem assertiva e
9:06
tudo mais. Nada como você ter um contexto
9:08
do negócio ao que a gente não consegue fazer dentro da
9:11
datadog, adicionar o contexto do negócio do cliente.
9:13
Então, se eu sou um financeiro, como que eu vou colocar lá que o
9:16
meu serviço de cartões e não sei o que lá, não sei o que?
9:19
Que lá então assim como que eu passo esse contexto de negócio
9:21
para dentro da data dog e a única forma da gente prover isso
9:24
é através do MCP server, então a gente disponibiliza para o
9:27
cliente consumir esses nossos dados e juntar com AEI dele para
9:31
fazer um fim afim do ponto de vista do cliente que a gente
9:33
está sempre pensando aqui do ponto de vista da data dog, do
9:36
ponto de vista de do jeito e fix técnicos, enfim, de fazer coisas
9:39
nesse sentido. Mas dá o que a data dog sempre
9:41
se preocupou é como que a gente impacta um negócio
9:43
positivamente. Então como que a gente entrega
9:45
valor para o negócio e do ponto de vista de EI, como que entrega
9:48
valor para? Negócio é a gente disponibilizar
9:50
uma forma do cliente consumir isso através do nosso, do nosso
9:54
MCT server. Então é algo que ainda está em
9:57
beta. Então, só para deixar claro
9:58
também, nem tudo que a gente anuncia no dash já é um GA, que
10:01
é um general avalability, mas tem algumas coisas que estão em
10:04
beta aqui. Na verdade, não posso mais falar
10:05
beta, que é preview, mas enfim, é algo que ainda não está
10:08
disponível em larga escala para todos os clientes, mas é algo
10:11
que, na minha visão, Renan, é algo que vai mudar o futuro da
10:15
observabilidade como um todo quando a gente conseguir atingir
10:18
isso em escala. Óbvio que hoje OMCP tem diversas
10:21
limitações. Estão falando da tecnologia como
10:24
um todo, da solução da tecnologia como um todo.
10:26
A gente tem diversos, diversos obstáculos que a gente tem que
10:29
resolver ainda com a solução como um todo, mas é algo que vai
10:32
mudar quando a gente conseguir de fato fazer essa integração
10:35
funcionar de forma fluida para os nossos clientes.
10:37
Então, pensa que você é um banco e você vai conseguir trazer
10:41
todas essas informações e cruzar com todos os seus agentes que os
10:44
bancos também estão desenvolvendo e você conseguir
10:47
prover algo fim, enfim, cara, assim o.
10:49
Poder que isso traz para uma operação para 1 dia a dia, é
10:52
algo que assim vai ser fora do normal.
10:55
Então a data dog, como o Juan falou, no comércio, a gente vem
10:58
em drivando cara, há muitos anos a gente vem em drivando, que é
11:00
observabilidade no mundo, né? Então a gente também está
11:03
puxando mais essa parte para o lado da observabilidade, com
11:07
conheci, MCP, server e aí eu não sei se o Juan quer comentar
11:09
alguma coisa. Ele tem uma visão aí bem ampla
11:12
de negócio e tal. Boa.
11:13
Acho que o primeiro ponto, né? Que que a gente até passou no
11:17
déficit de fato, foi uma integração ali.
11:19
Com o codec CLCLA hoje não, não é o único suportado, né?
11:22
Então um curso lá da da NS Fear, ou se eu não me engano, o kill
11:25
CLAE da Amazon também. A gente suporta o cloud lá
11:28
dantrop, então tem algumas coisas que são tecnologias
11:31
Fortes que a gente já tem essa integração.
11:33
Quando a gente fala do do MCP propriamente dito, e até o
11:36
próprio exemplo que a gente passou no Dead foi de fato, né?
11:38
Alguém rodando ali alguma coisa No No VS code conectado num MCP
11:42
serve e automaticamente, né? Você consegue validar o impacto
11:45
ali da alteração que você está fazendo ou baseado no que que o
11:48
próprio datadog. Já está monitorando em produção,
11:50
né? Então imagina que você está
11:51
aqui, cara, trabalhando em alguma feature na sua aplicação
11:54
e você quer saber qual que vai ser o impacto daquilo que você
11:56
está acordando em tempo real. Você utiliza OMCP ali, cara, em
12:00
tempo real, no próprio VS code, por exemplo?
12:02
Então acho que a ideia no final do dia é mais facilitar aí a
12:05
produtização das coisas mesmo, né?
12:06
A gente conseguir ter uma noção do que que o que a gente está
12:10
fazendo não vai quebrar alguma coisa ou vai deixar a
12:12
experiência do usuário final na ponta lá mais lenta.
12:15
Né legal. Quando eu li sua OMCP, eu
12:17
imaginei que é mais nessa ideia do que o.
12:19
Ruan explicou do que na ideia do que o Renan explicou,
12:22
primeiramente né, mais voltado para negócio mais legal, que tem
12:24
essas 2 possibilidades, né? Você comentou que ainda está em
12:27
preview e tudo que está em preview, você comentou que tem
12:30
umas features tugle e tal. Quem está ouvindo?
12:32
A gente que já usa data dog, tem como solicitar?
12:35
Ah, eu achei legal esse negócio do MCP, deixa eu testar aqui
12:38
também, deixa eu participar, tem algum grupo assim?
12:40
Eu inclusive vou fazer isso porque tem projetos no cliente
12:43
que eu atuo, que usam data dog. Aí está vendo pra pra Rafa aqui,
12:47
ó que está usando data dog um. Frente dela tem algum recurso
12:51
assim dentro da própria plataforma que a gente pode
12:52
solicitar um recurso ou outro assim?
12:54
Boa tem sim. Na verdade, vou até pedir pra
12:57
pra deixar aí atribuído ao o link do teste, né?
12:59
Então tudo que a gente falou que está disponível para para testar
13:02
já algumas coisas, elas já estão, em geral, algumas coisas
13:05
ainda estão em preview e aí seja em limited viability, né?
13:08
Então a gente escolhe ali de fato alguns clientes.
13:10
Como eu falei, a gente é uma empresa que ouve muito o
13:12
cliente, né? Então, caso vocês tenham algum
13:14
cliente interessado em testar alguma coisa dessas que ainda
13:16
está aí, numa fase mais inicial ali do dos.
13:19
Envolvimento ao invés de só habilitar e deixar vocês
13:21
utilizarem, o que a gente costuma fazer é entrar numa
13:24
reunião, é falar com o pessoal do produto, é entender por que
13:26
que você precisa disso, por que que isso é importante, porque é
13:29
basicamente é o que a gente faz, né?
13:30
A gente precisa desse feedback para saber onde é que a gente
13:32
tem que melhorar, quais são as tecnologias ali que os clientes
13:35
estão estão mais pedindo, por exemplo.
13:37
Então tem esse esse meio ponto, mas o que que está de fato
13:40
enjear? Todo mundo que está ouvindo a
13:42
gente aí já consegue testar para quem já for cliente, se vocês
13:45
tiverem algum tipo de CSM, parceiro ou account.
13:49
Exército, tive ali que cuidam da conta de vocês, acho que o
13:51
caminho mais fácil é acabar falando com eles pra gente
13:53
habilitar isso internamente, né? Ou caso vocês não saibam,
13:56
simplesmente abra um ticket lá no help@datadogaqui.com, né?
14:00
Samuel do e-mail mesmo, ele automaticamente já abre ali um
14:02
ticket para vocês também e para quem não utiliza, né?
14:05
Acho que é só um só um ponto aqui, né?
14:06
Para quem não utiliza o data dog, né cara, existe um trial
14:08
gratuito de de 15 dias que todo mundo que está ouvindo consegue
14:12
utilizar, então você está cara estudando.
14:15
LM, de maneira geral, você quer saber ali de fato como é que é o
14:18
data dog, ele vai. Te mostrar o que que está
14:20
acontecendo ali por trás do dos planos, né?
14:22
Você consegue fazer esse teste gratuito lá, se cadastrar no
14:24
site, tem um testezinho de 15 dias e para quem estuda também,
14:27
né? Quando você faz todos os
14:28
treinamentos lá do learning do nosso learning center, que
14:31
também é gratuito, ele automaticamente já inclusive
14:33
cria 11 ambientezinho virtual para você, para você não
14:36
precisar de fato mexer na sua aplicação, né?
14:38
Então tem um Monte de de recursos, né, que a gente
14:41
fornece para justamente evitar que você talvez teste alguma
14:44
coisa ali no ambiente que você não possa mexer, né?
14:47
E a gente fornece esses recursos para você aprender.
14:49
Ver a plataforma de fato. Eu sou engenheira de dados,
14:51
então eu fiquei muito ansiosa quando eu vi que vocês compraram
14:55
a metaplane. Então agora a gente está
14:57
trazendo deita observability pra dentro da deita dog e eu queria
15:01
entender o que que isso muda assim no na vida do engenheiro
15:04
de dados mesmo, porque a gente tem várias ferramentas
15:07
espalhadas de deita observability, mas agora parece
15:10
que está tudo unificado, né? Tudo dentro da deita dog.
15:13
E você conseguia, por exemplo, tanto fazer o monitoramento da
15:16
qualidade de dados quanto monitorar o.
15:19
Line de TL, né dentro? Inicialmente, aí até dando um
15:22
contexto também, né? A gente tem esse DNA, na
15:24
verdade, de adquirir empresas ao longo do tempo.
15:27
E o que que a gente faz não, não é nenhum tipo de de gambiarra
15:30
tentando ligar as coisas aqui internamente.
15:32
Então, a gente basicamente adquire o capital intelectual
15:35
que uma empresa tem, no caso a metaplane, e a gente reconstrói
15:38
do zero tudo o que eles fazem dentro da nossa plataforma.
15:41
Então, hoje, quando você olha Oo datatog de maneira geral, ele é
15:45
feito basicamente dessa forma, né?
15:47
Quando você olha logs, quando você olha APM, você.
15:49
Jamais falaria que foi outra empresa que fez aquilo ali, a
15:52
gente reconstruiu, a gente já fazia algumas coisas de dado
15:54
mais voltada para um processamento em tempo real ali,
15:57
que era a parte de monitoramento, de filas, né, que
15:59
é uma solução que a gente tem chamada DSM, né, que é o dady
16:02
streaming monitoring. Então, quando você está falando
16:04
de SQS, quando você está falando de Kafka, por exemplo, de MQS,
16:07
de maneira geral, é uma coisa que a gente já fazia e a gente
16:09
está expandindo isso para o mundo de dados como um todo, né?
16:12
Mais com essa vertente de tanto de processamento quanto de
16:15
qualidade como um todo, né? Então é como você falou, é de
16:17
fato entender ali aquele mundo. Do de de TL de maneira geral e
16:21
conseguir gerar alguns insights e até algumas ações a partir
16:24
disso, né? Então imagina que você de fato
16:25
vai processar, cara, alguma coisa muito grande lá dentro de
16:28
um job de Spark, por exemplo. Só que a qualidade do lado que
16:31
está entrando naquele job, ela é muito ruim o suficiente para
16:34
gerar algum output. Cara, totalmente ruim assim,
16:37
lixo que não, você só gastou o poder computacional EE dinheiro,
16:41
digamos assim. E o que que a gente vai começar
16:42
a fazer? Até inclusive impedir, por
16:44
exemplo, que aquele job ele seja disparado, por exemplo, porque a
16:47
qualidade de entrada ela está muito.
16:49
Muito ruim, obviamente. Além disso, ajudar de fato,
16:51
quando você tem algum problema ali nesse meio termo, que é
16:54
alguma coisa que a gente já tá começando a fazer hoje, né?
16:56
A gente já tem alguns produtos pra, por exemplo, quando a gente
16:58
fala de Spark. Aí depois me me complementa aí,
17:00
Renan, pra gente monitorar de fato esses esses bets, né, que
17:04
estão sendo executados e garantir, né, que de fato eles
17:06
estão sendo executados, que eles não estão processando alguma
17:09
coisa por muito tempo para dar algum erro lá no final e acabou
17:12
que só só com o seu tempo em dinheiro ali também.
17:14
É justamente o maior desafio da big data, é lidar com essa
17:16
volumetria, né? E igual como você falou.
17:19
Guer beijinho, guer beijar out, né?
17:20
A gente fala muito desse termo aqui.
17:22
Perfeito, acho que você tem um comentário aí super pertinente,
17:25
que é o que eu IA voltar um pouquinho nessa essa pauta de
17:27
custo, né? É algo que a gente costuma
17:28
comentar bastante para dentro. Eu me formei, sei lá, deve ter
17:30
uns 10 anos na faculdade, estou formado em redes, né, que não
17:34
tem muito a ver, mas enfim, e eu estava em alta ali, a questão de
17:36
cloud, né? Cloud já era uma verdade, enfim,
17:38
tudo mais, então assim, eu por exemplo, não tive nenhuma
17:41
matéria falando sobre controle de custos em cloud, então quando
17:44
você tem uma formação técnica, você não tem uma formação
17:47
pautada para custos, geralmente é.
17:49
Cara, você vai ter um desafio para resolver.
17:51
Se o seu desafio for grande, você vai envolver mais dinheiro
17:54
e se for menor, não necessariamente não é menos
17:56
dinheiro, mas nunca, do ponto de vista cara, o que você está
17:59
resolvendo versus o custo ou o ganho que você está trazendo, o
18:02
engenheiro o deve e tal, ele não tem esse viés, esse pensamento
18:06
de economia, de custos, e é algo que, cara, sinceramente, acho
18:09
que a gente falha, a gente peca muito porque o walnership do
18:13
custo ele tem que ser nosso também.
18:15
Então a data dog, ela se importa muito com isso e ajuda muito
18:18
porque. É diferente de você ter uma
18:20
ferramenta que só olha para cursos e você mandar ODFE
18:22
conectar nela e você ter ODF que já está usando o data dog USRE,
18:26
enfim, quem for já está usando ali o data dog e ele tem ali
18:29
também numa coluna do lado, o custo que isso está tendo e ele
18:33
já fica vermelho ou verde se ele está menor ou maior comparado
18:36
com a semana anterior e tudo mais cara, isso muda bastante o
18:39
jogo pra gente começar a economizar mais de uma forma
18:41
geral, né, que é o que é o famoso finops.
18:43
A gente deixou de que finops fosse uma área apartada, quando
18:46
na verdade deveria ser mais uma coisa que todo.
18:49
Mundo teria que ter ali no seu dia a dia.
18:50
E aí falando nisso, né, quando a gente fala de dados, como você
18:53
falou, tudo é muito grande, né? Tudo é muito volume, tudo é
18:56
muito custoso do ponto de vista de preço mesmo.
18:59
Então o que a dançadoc fez é, a gente lançou um produto que
19:02
chama DJM, que é odeira jobs monitor no passado, e esse cara,
19:06
ele vem olhar para execução desses jogos, como ele falou em
19:08
Spark, em deabrix e tudo mais. E a gente viu que teve uma
19:12
adesão muito maior do que a gente esperava.
19:13
Então, cara, muitas empresas realmente tinham essa
19:16
necessidade e que a gente como. A forma de observabilidade a
19:20
gente não explorava tanto. Quando a gente lançou esse
19:22
módulo, a gente começou a apresentar para os clientes e
19:24
falar, não, cara, nossa, meu Deus, traz isso, eu preciso
19:27
disso agora, não tenho visibilidade nenhuma.
19:29
A gente às vezes se provisiona clusters enormes, a gente não
19:31
sabe o que está acontecendo e pô, foi bem legal.
19:33
Então a gente começou a ver que era um produto legal e tudo
19:36
mais, e a gente começou a criar um outro produto chamado de data
19:40
observability, que é pra olhar pra essa parte de dados e tudo
19:43
mais. A gente começou a olhar, fazer
19:44
algumas coisas, a gente falou, cara, essa parada aqui é mais
19:46
complexa do que parece, e a gente começou a olhar, então a
19:49
gente. Tem uma área hoje aqui que olha
19:50
só para aquisições de empresas, então esse pessoal achou a
19:53
metaplane, enfim, e aí nós compramos a ferramenta da
19:56
metaplane e o que muda por enquanto é nada, então continuam
19:59
sendo empresas apartadas por enquanto.
20:01
Então, por exemplo, se você entrar no site da metaplane, ele
20:04
fica lá baileeira dog, mas pode ser comprado ainda de forma
20:08
separadamente. E aí como o Juan comentou, a
20:10
gente compra esse intelecto da empresa, então a gente vai
20:12
reescrever isso. Dentro da ferramenta a gente já
20:14
tem algumas coisas imper view, então se você está aí ouvindo,
20:17
você tem um interesse, você pode falar com a gente.
20:19
Que a gente pode mostrar o que a gente já está desenvolvendo em
20:21
preview para algumas soluções, como como o próprio Snow plake,
20:25
por exemplo, tá? Então a gente trazer isso, fazer
20:27
esse shift left que a gente está fazendo em tudo, né?
20:29
Pra gente estar trazendo isso para, deita também.
20:31
Então como que a gente olha para essa entrada, para essa
20:33
performance? Porque quando a gente fala de
20:35
dados, a gente tem uma sazonalidade, a gente tem
20:38
diversas coisas que é diferente do que a gente faz com a
20:40
observabilidade comum, né, com aplicação, com transacional, né?
20:43
E a gente precisava de fato de alguém que e já saiba fazer
20:46
isso, que é o caso. Da metaplan até complementando
20:48
ali. Né, o os desafios, eles vão ser,
20:50
como ele falou, completamente diferente, né, a gente vai estar
20:53
falando ali da da frescura, dos dados, né?
20:55
O volume obviamente é um desafio, mas até lembro de um
20:57
tema que eu vi no dash, foi a nulidade, né?
20:59
Então o quanto realmente esses Campos que são críticos ali
21:02
dentro do do ETL, eles estão com valores ausentes, né?
21:05
A cardinalidade cara, é gigantesco, né?
21:07
E aí de fato, né, acho que eventualmente, já que Oo tema
21:10
hoje aqui foi, foi, IA, né, a gente vai acabar utilizando os
21:13
algoritmos que a gente já tem hoje de deteção de anomalias
21:16
dentro desse ambiente, né, para agregar mais na.
21:19
Conseguir entender isso tem cara uma linhagem de dados, talvez
21:22
fora de um de um padrão que que é era o esperado, alguma coisa
21:25
nesse sentido. Bom, que esses essas
21:27
funcionalidades que vocês trouxeram aí de monitoramento de
21:29
custo, acho que é um argumento forte, assim de como que o
21:32
investimento do datadog se paga facilmente.
21:35
Quando você monitora o custo, consegue achar um gargalo, achar
21:38
um outliner ali ou achar um algum componente seu que está,
21:42
você não está usando e está pagando caro por aquilo.
21:45
E aí quando você economiza aquilo ali, se o investimento se
21:47
paga, muito fácil, né? Só o de óbvio.
21:49
Monitorem, o que você que vocês comentaram já pra mim já é uma
21:52
coisa incrível, porque quantos projetos que eu já que eu já vi
21:56
que tinham esse problema com justamente a configuração errada
21:59
do cluster, né? Que está processando esse parque
22:01
porque é realmente muito complexo.
22:02
Você tem que escolher um tipo de instância, a quantidade de de
22:06
RAM, e aí você escolhe o número de workers.
22:09
EE, tudo isso, pelo que eu entendi, né, lendo brevemente,
22:12
isso é otimizado pela ferramenta, né?
22:14
Então ele vai utilizar as métricas do Spark e vai propor
22:17
para você uma configuração. Ação ótima.
22:20
Então isso é muito legal, porque realmente é muito desafiado
22:22
configurar isso. É isso aí, a gente tem muito
22:25
essa preocupação e o que a gente traz com esse módulo do deira
22:29
jobs é um Trace hability de tudo que você está executando.
22:32
Então, de fato, de novo a gente abriu mais uma Black Box que a
22:34
gente tinha, Black Box aí que a gente falou muito do LLMA gente
22:37
fez isso com os dados também. Então o que que ele está
22:39
executando por baixo da execução do job, quanto tempo ele está
22:42
gastando, se ele está gastando, ao menos tempo ele está ficando
22:44
ocioso e tal. Enfim, e aí, como que você
22:47
otimiza tudo isso em custo, né? Como você reverte isso em curso?
22:50
Como você comentou, então a gente tem muito essa preocupação
22:53
pra. Terminar.
22:54
Eu queria perguntar pra vocês assim, a gente falou de muita
22:56
coisa aí, da que aconteceu no déficit que vocês lançaram e tal
22:59
uma curiosidade pra vocês aí, Juan e Renan, qual que foi a
23:03
mais disruptiva? Qual que foi a que mais
23:05
impressionou você? Não, não é a mais disruptiva.
23:07
A que mais? Vocês mais ficaram
23:08
impressionados, empolgados? É que assim pra gente é um pouco
23:11
complexo, porque a gente já vai sabendo disso tudo, né?
23:14
Ao longo do já nega spoiler, né? É, a gente já vai tendo muito
23:17
spoiler, então a gente não tem aquela sur.
23:19
Empresa, nossa, uau, tem coisas que sim, até mesmo nós que
23:21
estamos aqui a gente tem a surpresa, porque, cara, é muita
23:24
coisa para até nós mesmos acompanharmos, mas eu vou trazer
23:27
um pouco do que a gente ouviu dos clientes, né?
23:28
A gente tinha muitos clientes lá e a que a gente ouviu é bastante
23:31
sobre OSREA gente, porque a gente acaba caindo nessa parte.
23:36
De quanto tempo você leva para identificar um problema e quanto
23:39
tempo você leva para resolver esse problema?
23:41
A gente sempre bateu muito nessa tecla e esse carinha ele vem
23:44
para ajudar nisso. Então quanto mais rápido você
23:46
identifica o problema, menos tempo você fica parado, então.
23:49
Menos dinheiro você perde falando de companhia como um
23:51
todo, né, que está usando a solução, então ter algo que vai
23:55
ajudar nisso é essencial. E o outro aí, gente também, que
23:58
é o que é o deve a gente, que é você propor o pool request,
24:01
cara, isso o pessoal fica sempre muito surpreso porque tipo,
24:04
nossa beleza, você consegue identificar o problema que a
24:06
gente está tendo. Você consegue padronizar esse
24:08
erro, trazer a janela de exposição que eu estou tendo
24:11
para esse erro, ou seja, é um erro novo ou não, já está
24:13
acontecendo, em qual tipo de ambiente ele está acontecendo,
24:15
se é, deve, se é, pode, então é algo também que o pessoal fica
24:18
muito. Entusiasmado porque existe 11
24:21
necessidade muito grande de diversas áreas EEO que a gente
24:24
está trazendo para a mesa é, você não vai precisar mais de
24:27
parar diversos especialistas para corrigir o problema.
24:30
Você já vai ter aqui uma proposta, né?
24:33
De correção, então você faz o review e aplica, então você vai
24:35
conseguir resolver os problemas mais rapidamente.
24:38
Então esses 2, na minha opinião, os clientes ficaram mais
24:40
entusiasmados. Eu estou com você no Dave age,
24:43
para mim é é esse aí. Cara, para mim, os 2 que o Renan
24:46
falou também tem, tem algumas outras coisas que.
24:49
EE, eu particularmente eu gosto bastante, elas vão entrar mais
24:51
ali dentro de da observabilidade clássica ali, né?
24:54
Uma delas é, acho que são mais voltadas a logs de maneira
24:57
geral, né? Um é o é o flex Frozen ali, vou
24:59
não entrar em tantos detalhes não, né?
25:01
Mas a gente consegue reter ali alguns logs por 7 ou mais anos,
25:04
dependendo. Até então, resolve alguns
25:06
problemas de alguns clientes que precisam ter esse log por uma
25:09
questão de compliance, de auditoria ali por por mais
25:11
tempo, e normalmente ele coloca isso ou no S3 ou alguma outra
25:14
coisa, a gente o. Mercado financeiro é muito
25:16
comum. Né?
25:17
É muitíssimo comum, muito. E uma outra coisa para
25:20
complementar isso, né, que a gente vai acabar tendo também é
25:22
o que a gente está chamando de cloud prenem, né?
25:24
Que é a possibilidade de reter em dexar e buscar logs ali na
25:27
própria infraestrutura, que acho que vai ser um dos pontos que
25:29
vai ajudar a gente. Quando a gente fala com o
25:31
cliente do setor público, né, que eles precisam dessa
25:33
residência de dados propriamente dito, né?
25:35
Então existe ali alguma coisa no edital, alguma coisa que requer
25:38
que os dados estejam em em solo nacional, por exemplo.
25:41
Agora ele vai poder reter essas informações de fato ali No No
25:44
ambiente dele, que eu acho que pra mim vai ser uma coisa assim,
25:46
que vai quebrar algumas Barreiras, né?
25:48
Porque a gente. Nasceu basicamente Claude force,
25:51
né? A gente não tem 11 servidor
25:52
físico, você quer dentro da empresa e acho.
25:54
Que você esqueceu do arcade search?
25:56
É exato. Que é a possibilidade de você
25:58
fazer uma busca de um log dentro de um archive, ou seja, dentro
26:02
de um bucket s 31 bucket, enfim, um blog ali você consegue fazer
26:06
a busca do dado lá dentro. Então hoje a gente já consegue
26:09
arquivar e voltar esse dado, que é o processo de handration, que
26:12
a gente chama aqui dentro da data dog, mas que a gente
26:14
lançou, é possibilidade de você não precisar reidratar.
26:16
Você consegue pegar um ID ali de uma transação e.
26:19
Ele fazer essa busca dentro dos dados arquivados e zipados e
26:23
compactados. Então, para o mundo de
26:26
observabilidade tradicional, onde log sempre representa uma
26:29
boa parcela do custo, eu acho que isso aí são novidades bem
26:32
bem transformadoras também. Boa.
26:34
Então é isso. Queria agradecer muito Ruan e
26:37
Renan pela participação. Vocês trouxeram assim muita
26:39
coisa legal, tanto de novidade quanto de conceito, quanto do
26:43
que que há tanta dog quanto de como que funciona.
26:46
Um pouco da dinâmica aí dentro, né, cara?
26:48
Muito legal ter conhecido. Isso, então muito obrigado pela
26:50
participação de vocês aí. Nada mais justo que nos últimos
26:54
episódios a gente tem trago bastante problemas envolvendo e
26:57
a responsável ataques. E agora a gente está trazendo a
26:59
solução, né? E com especialistas aí no
27:02
assunto, muito obrigada, reiterando.
27:04
Boa, obrigado, pessoal. Mais uma vez a gente agradece a
27:06
presença aqui No No entre chaves.
27:08
Cara, foi foi bem legal. E abrir aí pra pra quem está
27:11
ouvindo a gente, cara, se quiser testar alguma coisa, se quiser
27:14
trocar uma ideia, se quiser adicionar no LinkedIn, a gente
27:16
vai deixar aí os contatos, sintam se à vontade.
27:19
Cara, uma das coisas que a gente mais gosta aqui dentro, dentro
27:21
da nossa área, que é lidar com o cliente, é, de fato ouvir.
27:24
Cara, os desafios que vocês têm, né?
27:26
A gente vai ter solução para tudo, pô, talvez não, talvez
27:29
sim. Vai depender do tamanho do
27:30
problema que vocês trouxerem, né?
27:32
Mas a gente sempre vai estar aqui disposto, né?
27:34
A ouvir e buscar a melhor solução possível ali é.
27:36
Isso aí, cara. Obrigado também pelo pelo
27:38
convite de vocês. Como falou, a gente está aqui
27:40
disposto a cara bater um papo e tudo mais.
27:43
A gente pode lidar bastante com melhores práticas, né?
27:44
Como a gente está aí inserido em diversos projetos complexos, dos
27:48
mais diferentes. Tamanhos e tipos de cliente a
27:51
gente tem muito, muita experiência em melhores práticas
27:53
para os problemas, né, que a gente enfrenta e até deixar aí
27:56
como um como um plus, acho que a gente não comentou, mas a data
28:00
dog tem um plugin de IDE que ele é gratuito, então como o público
28:04
aqui é deve, cara, eu falei, pô, preciso falar sobre isso.
28:07
Você consegue colocar o plugin na sua ideia?
28:09
Então se você usar vs code ou em TJ, você consegue habilitar ali
28:13
o plugin. Ele faz diversas coisas bem
28:15
legais, vou deixar vocês descobrirem aí, não vou falar
28:17
muito que faz, mas pessoal. O que está aí já abre aí e busca
28:20
pelo plugin boa. Bom, então é isso, pessoal,
28:23
muito obrigado aí. Até mais.
28:24
Até a próxima. Tchau, tchau.