Latest / Entre Chaves / #274 Custo de token: tudo que influencia o preço de uma resposta de IA

Transcript

#274 Custo de token: tudo que influencia o preço de uma resposta de IA · Entre Chaves

0:00
E está começando mais um entre chaves, o seu podcast de
0:02
desenvolvimento de software. Eu sou Dudu.
0:05
E hoje a gente pode pensar numa questão que às vezes tira o sono
0:09
em alguns momentos, em alguns projetos, né?
0:11
Pensar em quanto custa uma resposta da da IA dos nossos
0:16
sistemas que estão em produção. A gente sabe responder isso.
0:19
Se a gente não sabe, a gente pode ter um grande problema
0:22
aqui, né? Como que a gente está gastando
0:23
token? Qual o custo de colocar IA?
0:26
Nos nossos produtos hoje. Estou aqui com meu colega de
0:28
bancada Luiz, que já deve ter tido algumas alguns
0:31
questionamentos dessa, né Luiz? Olá, olá pessoal, é o Edu, oi
0:35
meu laguti. É interessante você puxar isso
0:37
porque nós estamos agora gravando esse episódio no
0:40
finalzinho de maio, poucos dias depois da Uber ter anunciado que
0:44
em 4 meses eles já estouraram o orçamento de a do ano inteiro.
0:49
E poucos dias antes da Uber anunciar isso, a Microsoft
0:52
também já andou cortando o Cláudio coach lá com eles,
0:56
porque o custo de ar já está superando o custo com
1:01
funcionários que eles têm em desenvolvimento, né?
1:03
Então, assim, até onde é o ganho, que é que é o custo
1:07
benefício disso? Vamos ver se a gente consegue
1:08
destrinchar isso aí um pouquinho para vocês.
1:10
Exatamente aqui a gente está também como a lagutti.
1:12
Tudo bom, pessoal? Muito prazer.
1:14
Para quem ainda não me conhece, como é o Francisco na lagutti,
1:16
eu sou arquiteto de soluções aqui na dti.
1:18
Devo apresentar um pouquinho até do dilema que a gente tem tido
1:22
dentro do meu time, algumas mudanças que a gente tá tendo,
1:24
que vai seguindo muito, não só os exemplos que vocês deram, mas
1:28
algumas mudanças até de discurso das empresas, né?
1:30
O CEO da nvide falou recentemente que e ainda não eu,
1:34
ainda é mais caro do que um desenvolvedor ou do que o
1:37
trabalho humano. E a gente tem visto até reflexos
1:41
disso em como algumas empresas de tecnologia que vendem esse
1:44
serviço estão atualizando a forma de precificação para poder
1:48
tornar ele rentável. O kopiilot, por exemplo, que o
1:51
Luiz falou, a gente está no final aqui do mês, iniciando no
1:54
próximo mês ele vai mudar a precificação dele, buscando.
1:57
Recuperar um pouco desse, desse investimento que eles fizeram ao
2:01
longo dos anos para construir uma ferramenta, alcançar uma
2:04
base de usuários. E agora ela precisa da luta.
2:06
Ou ou isso que você mencionou, né?
2:07
A partir da próxima semana, o Copilot vai alterar o
2:11
multiplicador dele do cloud Opus 4.6 de 3 x vai para 27 x.
2:18
Quase 10 vezes o multiplicador do do preço, da da utilização
2:23
dessa, desse, desse modelo. Além da multiplicação, a gente
2:26
tem uma mudança de paradigma no preço.
2:28
É. Hoje a gente tem dentro do
2:30
copylet, né? É que é uma ferramenta
2:33
amplamente utilizada até em detrimento do que a gente tem
2:36
muito do cloud, porque o pessoal sempre vê o cloud cult como um
2:40
exemplo de eficiência no uso de ar, mas também com uma
2:43
ferramenta de maior custo. A Microsoft fez 11 experimento,
2:47
tinham pessoas utilizando o cloud code e voltaram atrás e
2:50
falaram, não, a gente vai voltar aqui pro copylet, porque é uma
2:53
coisa que vai funcionar melhor, dada a nossa precificação, o que
2:56
que a gente tem aqui de budget e como é que a gente, o que que a
2:58
gente pode dispor nesse cenário, né?
3:00
Do uso de AE, quando a gente pega como funcionava antes, Oo
3:04
copylet, né? Até o final desse mês, mas é, a
3:08
gente vai lidar com essas mudanças e otimizá las, é.
3:12
Você tem basicamente essas requestes premium, onde
3:15
independente do quanto você utilizar ali de tokens, e a
3:18
gente ainda pode entrar No No que que é um token.
3:21
Como é que esse token é? É contato, porque tem um token
3:23
que você recebe, que você envia, tem um token que você vai
3:26
cachear ou não. Então eles vão ter custos
3:29
diferentes para essa provedora do serviço.
3:32
E aí no caso, você gastava uma request premium ou um
3:35
multiplicador da request premium.
3:37
Então se você fizesse uma requisição.
3:39
Como eu já havia acontecido em alguns cenários que você gastou
3:41
literalmente milhões de de tokens, ainda assim no final da
3:45
sua requisição no final, será que você gastou uma request?
3:47
Premium se você só der bom dia. Uma request perdão, uma bom dia.
3:51
Uma request premium. Se você digitou alguma coisa
3:53
errada e você deu enter e você cancelou, você ainda deve ser
3:57
uma request premium. Existe uma diferença muito
3:58
grande entre esses usos e o custo final deles.
4:02
E o que eles estão fazendo agora é tentar associar esse resultado
4:06
mais ao quanto você está pagando.
4:08
Até porque. Se a gente for fazer uma análise
4:10
de qual é usar o médico, qual que é Oo high user, o low user
4:15
ali do do copylet. Existe uma diferença muito
4:18
grande do quanto eles consomem, tanto dos serviços, do quanto
4:21
eles produzem com esses serviços.
4:22
E o custo deles acaba sendo o mesmo quando a gente lida com
4:25
essa parte de com esses. Prêmios mas se você der bom dia,
4:27
você continua gastando um recrete prêmio, só que além do
4:30
recrete prêmio, você ainda gasta towkins.
4:32
É, né? Agora mudando a.
4:34
A precificação em request prêmio não interessa tanto mais né?
4:37
O interessa, você vai estar gastando seus tokens, né?
4:39
E aí até pra pra embasar melhor essa conversa toda nossa aqui
4:43
talvez seria interessante a gente colocar o que que é o
4:45
conceito de um token, né? O que que, o que que é esse
4:48
token que a gente passa pra ir a tipo assim, Ah, é o é o caracter
4:52
que a gente coloca é a palavra que a gente escreve, tipo assim,
4:55
bom dia, são 2 tokens, são 6 tokens.
4:58
São 7 porque o espaço conta, sabe?
5:00
Ou isso é irrelevante? Acho que.
5:01
Quando a gente vai falar de token é até muito engraçado.
5:04
Quando eu vou falar isso com o pessoal do meu time, a gente tem
5:06
tido muitas discussões com com essa muda pra gente vai sempre
5:09
voltar no nesse caso do coparting, né, das mudanças,
5:12
porque acaba sendo algo que fez com que a gente se estressasse
5:16
muito assunto e discutir. Esse a gente foi desde sentar
5:19
com todo time, inclusive com pessoas que utilizam muito bem o
5:22
comparados, até estagiários falaram, então vamos voltar aqui
5:24
um pouquinho pra aula de português, entendeu?
5:26
Você tem a palavra, você vai ter parte dessas palavras, tem
5:30
aquelas partes léxicas, essa separação.
5:32
Então o que você está fazendo ali, no final das contas, que é
5:34
AA Helen, que é um modelo de linguagem, vai precisar fazer
5:37
ali, no final das contas, é separar essa palavra em trechos
5:41
ou em parcelas delas, né? Que seriam esses léxicos que vão
5:45
definir o conceito que está ali dentro.
5:48
Então, quando você pega uma palavra em português ou inglês e
5:51
como elas estão trabalhando, isso inclusive, isso vai gerar
5:54
um impacto. No seu prompt, existe uma
5:56
expectativa, por exemplo, que um texto em inglês ele vai consumir
6:00
menos tokens do que um texto em português, pela forma como a
6:04
nossa linguagem é feito e isso acaba se diferenciando um pouco.
6:07
Enquanto como você vai usar isso?
6:09
Principalmente quando você vai produtizar alguma coisa.
6:13
Mas no final da das contas, os tokens seria a representação da
6:17
queda da sua palavra em termos léxicos, vetoriais ou qualquer
6:20
outra forma que você tenha de armazenar.
6:22
Que represente aquele conceito no seu espaço e aí o seu espaço
6:26
ele vai variar com como você representa ele dentro da CLLM,
6:29
dentro do seu rag, do seu banco vetorial ou o que for.
6:32
Sim, né? Então hoje é a maioria desses
6:35
modelos estão precificando, né? Ou ou medindo o uso em cima da
6:39
quantidade de tokens gerados pela IA, mas existe também uma
6:42
diferença entre tokens de entrada.
6:44
E tokens de saída, né? Tokens que você envia pra LLME,
6:47
tokens que você recebe da LMO custo deles é diferente também,
6:52
né? Não é a mesma coisa, os tokens
6:54
de saída, eles são bem mais caros do que os tokens de
6:58
entrada, né? E às vezes a gente vê muita
7:00
otimização. A pessoa fala, Ah, não vou
7:02
gastar muito token com esse prompt gigante aqui, vou
7:05
diminuir ele aqui pra, sei lá, tiro 20% dele, mas continuo
7:09
mandando aí a divergir e falar e criar uma.
7:12
Uma bíblia gigante em cima da saída.
7:14
Não vai adiantar nada a sua economia, né?
7:16
Que talvez estaria do outro lado.
7:18
Especialmente quando você usa rag, né?
7:20
Especialmente quando você usa e eu até bom pra deixar uma
7:22
lagosta responder essa eu repeito.
7:24
Você já coloca o conceito rag também, né?
7:26
Pra pra quem não conhece, como que isso pode influenciar, né?
7:29
No preço do doken? Você tem um ponto que é a
7:31
questão da precificação do token.
7:32
Você vai ter tokens de entrada, tokens de saída.
7:35
E eu acho que entra até numa outra coisa que pra quem tem
7:38
feito esses experimentos, né, igual novamente outra, né, que
7:40
você não compara que são alguns tokens.
7:42
Que estão cacheados lá dentro. Então um dos principais pontos
7:45
que você quando você vai produtizar esse tipo de coisa e
7:48
isso se torna um problema, é mais fácil para esses
7:51
fornecedores de de serviço que eu pantrop que eu penar ou
7:55
qualquer outro que você for utilizar, cachear às vezes uma
7:59
entrada do que uma saída, fazer esse mapeamento dentro dessa
8:02
estrutura interna do que numa resposta que ele vai te dar,
8:04
então. Essa estrutura, ela vai definir
8:07
muito de o que eles conseguem reutilizar, reaproveitar,
8:10
cachear e consequentemente, reduzir esse custo internamente
8:13
pra eles tornarem isso viável e também cobrarem de você de uma
8:17
maneira que faça mais sentido essas estruturas que você vai
8:20
fazendo. E aí ela vai desde algo que a
8:22
gente já usa há muito tempo, que é rague, até se ele for pegar
8:26
coisas mais recentes, como toda estrutura de harners durante o
8:30
seu desenvolvimento ou desenvolvimento dos seus
8:32
agentes. Ele vai ter ali como objetivo
8:35
pegar nessas representações e trabalhar dentro delas.
8:38
O problema é a medida que você vai construindo agentes, sub
8:42
agentes dentro do Rae, que você tem que pegar essa informação,
8:45
esses tokens, e mapear eles para algum conceito ou para alguma
8:48
informação que está armazenada internamente dentro do do seu
8:52
banco vetorial ou de qualquer estrutura de dados que você
8:54
tenha. Você às vezes vai precisar
8:56
construir guard rails para impedir ele de sair de onde você
9:00
espera. Ou até mesmo criar outras
9:02
funcionalidades como react, que você pega um prompt e aplica
9:06
outro prompt sobre ele. Cria agentes adversários, onde 2
9:10
agentes vão discutir a forma como você vai construir.
9:14
Isso define muito a comunicação que eles vão ter e acaba
9:18
modelando o que a gente constrói No No desenvolvimento atual.
9:21
Existe um problema muito grande quando a gente vai falar de
9:24
texto, igual você falou, igual o Dudu falou da exposição desses
9:28
tokens de saída. Então como é que a gente
9:29
consegue evitar isso? Aí se a gente, em vez de
9:32
utilizar esses tokens, a gente usar um protocolo pra fazer essa
9:36
comunicação, um wakw ace, eu vou fazer essa comunicação entre a
9:39
gentes, se eu vou usar serviço, eu fazer um utilizar OMCP, por
9:43
exemplo, que vai estar disponível ali no servidor, ou
9:46
até se eu quiser economizar tokens, que ele precisaria
9:48
executar comandos no CLI, que era uma coisa que a gente viu
9:51
que funcionava muito bem. Por que que eu já não crio uma
9:54
esquilo que eu sei que vai ser algo reaproveitável e monto até
9:58
scripts, outras coisas determinísticas que vão aumentar
10:01
a assertividade, evitar que ela tente a mesma coisa várias
10:04
vezes, se ela não conseguir resultar do que ela quer e
10:06
evitar que ela faça essa chamada de saída, que seria muito
10:09
extensa e a gente reduz isso a um simples comando.
10:13
Exatamente. É, eu acho que isso aí já é uma
10:16
boa forma da gente pensar em como estruturar, né?
10:18
Já já mostra que a gente tem que pensar em como estruturar e não
10:20
só um ciclo de desenvolvimento, mas quando você vai incluir uma
10:23
feature de de IA dentro da sua aplicação, né?
10:26
Que você a sua aplicação vai conversar com uma IA e tudo de
10:29
simplesmente não chegar e criar string, zona, comprompt lá e
10:33
fazer só os. Os injetion da da das mudanças
10:36
lá, sei lá, minha aplicação é b to b, então eu só vou lá e boto
10:39
o nome do cliente na hora lá. Mas o prompt é o mesmo e não,
10:41
não penso em algumas técnicas dessa, né?
10:43
Uma coisa que você comentou, provedores de serviço, né?
10:45
Antrópico e open i fazem muito é Cash de de de prompt de entrada
10:49
e inclusive, é algo que o desenvolvedor consegue
10:52
controlar, né? Existem técnicas que você, ao
10:55
conversar com essas ferramentas, você consegue falar Pra Ele,
10:57
cara. Esse prompt aqui, ó, você pode
10:59
fazer Cash de tal forma, de tal jeito, tal, tal, tal time malte,
11:02
blá, blá, blá. Existe até uma precificação em
11:05
cima disso, mas que normalmente é mais barato do que você
11:09
simplesmente mandar o mesmo prompt várias vezes.
11:11
O prompts repetidos, né? Você tem uma conversação grande
11:13
de você ter que passar uma instrução repetida várias vezes
11:17
durante aquela conversação. Usar esse tipo de de
11:20
cacheamento. Já ajudaria a você ter esse
11:23
controle dos gastos seus de token e de de de custos de Ana?
11:28
Esses mesmos conceitos servem pro desenvolvimento, né?
11:31
A gente utilizar o desenvolvimento autônomo, tipo
11:33
um codex da vida. Eu vou realmente chegar ali,
11:37
passar as especificações e vou embora na sexta-feira, espero
11:40
chegar na segunda-feira. Tá tudo pronto, desenvolvido.
11:42
Né? Então, esses conceitos também
11:43
têm consumo de tokens inclusive, mago tinha uma coisa que eu acho
11:46
que também de de explicar pro pessoal, acho que interessante
11:49
você você falar pra gente, a gente ouve muito quando está
11:51
falando do, né? Seja o desenvolvimento, ou seja
11:54
o Oya embutida. No conceito de janela de
11:58
contexto, Ah, use janela de contexto pequeno, use janela de
12:01
contexto grande. Não deixa crescer.
12:03
Janela de contexto muito grande gasta muito.
12:05
Tou que é mais caro. O que é essa janela de contexto
12:07
e como que ela influencia no preço disso?
12:09
Aquela famoso pronto, você vai gerar lá e falar assim, ó, pega
12:12
a pasta docs da do negócio, carrega tudo e aí você vai usar
12:15
ela para poder gerar uma resposta lá?
12:18
Vou pedir pra você criar uma especificação super simples de
12:20
um. Botão na tela.
12:20
Bom, acho que pra gente começar a falar isso, até de uma maneira
12:23
mais completa, eu acho que a gente vai fazer então essa
12:26
separação entre a parte do do que é produto mesmo.
12:30
Você está embutindo um llm impudindo um modelo de ar no seu
12:33
produto e um modelo de operacional.
12:35
Você vai utilizar ele dentro do seu contexto, do da sua
12:39
operação, de qualquer outra forma, a primeira parte
12:42
fundamental que você precisa fazer é, e isso funciona para
12:45
ambos os cenários. É você entender o que gera esse
12:49
custo, desde que esse aqui é o meu token, esse aqui eu consigo
12:53
reaproveitar. Isso aqui é um desperdício.
12:56
E o como eu consigo otimizar esse processo?
12:58
O que eu quero, no final das contas, é fazer com que AIA
13:02
tenha um melhor resultado com o mínimo possível.
13:05
E eu quero evitar desperdícios ou reaproveitar quando você tem.
13:10
Uma série de chatbot eu estou embedando.
13:12
Um LLM no meu chatbot eu tenho é expectativa de algumas perdas,
13:17
uma mensagem de bom dia, uma série de outras mensagens que a
13:20
gente sabe que a gente acaba perdendo ali dentro.
13:22
E quando você monta 11 chatbot, uma experiência de chat, o seu
13:27
contexto, a forma que você vai passar aquele contexto, ele você
13:30
tem uma expectativa disso? Ela seja ela, você basicamente
13:34
fazer um apend. Do que da das interações
13:37
anteriores. Ou seja, toda vez que você faz
13:38
uma interação, você manda não só ela para o chatbox, mas ela e
13:42
todas as que ocorreram anteriormente.
13:44
Então você manda um bom dia, aí a responde, você manda uma
13:47
pergunta, ela não vai mandar só a resposta, ela vai mandar para
13:50
o seu modelo toda aquela conversa anterior.
13:53
A gente sabe que 1 hora isso não funciona, é janelas de contexto.
13:56
Ela, elas têm um limite. Existe um limite de quantos,
13:59
quantas palavras, quantos estou que você consegue mandar para
14:01
ela? Então a gente vai ter que
14:03
escolher uma forma de atuar em cima disso.
14:06
Se eu tenho um limite, o que que eu faço quando alcanço esse
14:08
limite? Eu tenho a opção de cortar fora,
14:10
fazer o troncate. Basicamente, eu vou mandar as os
14:13
últimos 20000 tokens, 200000 tokens pra pra esse chat, ou eu
14:19
posso compactar essa conversa ou até mesmo fazer um misto dos 2.
14:24
Muitos dos chatbots que a gente tem hoje, o que ele vai fazer é
14:26
isso. Se você tem que interagir 60
14:29
vezes com o chat, eu não quero mandar. 60 conversas, porque ela
14:32
não é mais relevante. Eu vou mandar as últimas 3, por
14:35
exemplo, e vou compactar todo o resto num numa mensagem menor.
14:40
Então, a cada interação que você está fazendo, você está usando
14:42
um modelo mais simples pra compactar as informações antigas
14:46
e manda pro seu chat apenas as últimas 3 integrações, as
14:49
últimas 2 integrações ou 6. Isso vai depender muito do seu
14:52
contexto, do seu produto, quanto ele tem que saber, o quanto as
14:55
respostas vão se tender a ser mais diretas e rápidas.
14:58
Ou quantas pessoas vão querer entender uma informação mais
15:01
complexa do seu produto nesse cenário, você quer chegar num
15:04
termo, num bom termo, numa num bom Balanço entre o quanto eu
15:08
vou enviar de tokens? E quão rápido eu consigo
15:10
responder as dúvidas do meu usuário se eu sei que ele vai
15:12
ter muitas dúvidas, mas são dúvidas fáceis de responder e
15:16
tudo mais? Tudo bem, eu não preciso ter um
15:17
contexto muito grande, eu posso enviar os últimos 2.
15:20
Agora, se eu quero que ele cheguem a algo mais complexo, o
15:23
que é o que acontece muito com esse chat que a gente vai falar
15:26
como compallet, aí ele precisa mandar mais respostas ou fazer
15:30
um resumo melhor, uma compactação melhor desse
15:32
resultado. Esse é o primeiro ponto, é como
15:34
você vai otimizar o que você vai mandar nisso, que é essa janela
15:37
de contexto. Nesse primeiro cenário, você tem
15:39
11 produto, um chatbot, qualquer coisa, e na sua operação, onde o
15:43
contexto da sua empresa talvez seja muito relevante, é o seu
15:47
código, arquitetura, padrões de projeto e mas em outras coisas
15:51
que eu vou adicionando eu tenho que adicionar além da minha
15:54
conversa. Então como é que eu pego esse
15:56
projeto inteiro e peço para ele alterar um botão, mas sem ter
15:59
que carregar o projeto inteiro? Mas ao mesmo tempo, eu quero que
16:02
ele use os padrões de cores da minha marca, eu quero que eles
16:05
usem os padrões de projeto da minha cor.
16:07
Se eu utilizar alguma biblioteca interna da minha empresa, da
16:10
npm, ele tem que usar algo que tá lá dentro, senão eu tenho que
16:12
subir algo novo pra isso. A gente vai querer e vai buscar
16:15
é formas de otimizar esse acesso.
16:18
Então não quer dizer que ele não sabe que isso existe, mas eu não
16:21
quero ter que carregar tudo na memória.
16:23
Eu quero que eu consiga disponibilizar Pra Ele meios de
16:26
encontrar isso dentro do copay, no que a gente tem structions
16:29
dentro do curso, a gente tem hools.
16:32
Além disso, a gente vai ter outras formas também de fazer,
16:35
como skills. Dos meus mcps, só que, ainda
16:38
assim, quanto mais coisas eu adiciono, mais contexto meu a
16:42
gente vai ter. E o meu objetivo?
16:44
Que era reduzir, ele aumentou, então não adianta nada.
16:47
Eu economizei muito espaço de código e enche toda esse espaço
16:51
com instruções. O que eu vou fazer agora, então,
16:54
é procurar formas melhores de representação e formas de
16:57
economizar algum. A gente tem feito vários
17:00
experimentos com ferramentas e repositórias diferentes.
17:03
Tem ORTK, que é um repositório que ele vai utilizar, que ele é
17:06
simples, você tem comandos, comandos, tem muitos caracteres
17:11
que são utilizados para entendimento do usuário, o
17:13
usuário vai utilizar para uma melhor usabilidade de
17:16
visualização e afins no próprio CLI.
17:18
No caso da CLLM, ela não precisa disso, então posso arrancar tudo
17:21
isso fora. Um outro exemplo disso é o
17:23
graphify, eu tenho infinitos arquivos lá dentro do meu
17:26
repositório, cada arquivo representa alguma coisa ou, mas
17:29
espera, já existe uma estrutura por trás disso.
17:32
Eu sei que você usa MVC, que eu tenho passees de serviço, que eu
17:35
tenho passe de controle, que eu tenho paste de repositório,
17:37
então pra que que eu vou fazer a minha carregar tudo isso se eu
17:40
posso simplesmente carregar Pra Ela que olha dentro desse
17:44
conjunto aqui? Se você quiser mexer no serviço
17:46
tal, se você quiser mexer em tal, e por aí vai.
17:48
E aí quando ela buscar, em vez de ela buscar todos os meus
17:51
arquivos, entender, ela vai usar esse gráfico pra falar, eu quero
17:54
mover serviço repositório e alterar a tela, então vou buscar
17:58
só esses arquivos relevantes. Em vez de buscar tudo que existe
18:01
no meu repositório Ah, eu não quero ter tudo isso, eu não
18:04
quero que ela faça essa busca, tudo bem, existe é rapper mix ou
18:08
qualquer outra ferramenta que queira utilizar, que ele vai.
18:10
Olha, em vez de você fazer assoia ler tudo, eu vou criar
18:14
aqui um arquivo. Ele é muito grande, mas ao mesmo
18:17
tempo ele é um direcionador da assoia.
18:19
Você vai carregar só ele e com ele ela vai ter a maioria do
18:21
contexto útil que você vai ter aí no seu produto.
18:24
Então você não precisa mais carregar tudo e no final das
18:26
contas, o que a gente vai fazer é acabar.
18:28
Juntando tudo isso de uma maneira eficiente.
18:30
E a resposta faz parte da janela de contexto, certo?
18:33
Porque muitas vezes as pessoas esquecem.
18:35
Eu vou supor, poxa, eu levo um comando simples.
18:36
Abriu o ChatGPT aqui e falei assim, crie um plano de
18:39
treinamento. Um estagiário em desenvolvimento
18:43
do wattnet mandou lá 200 linhas de treinamento.
18:47
Agora altere esse plano pra isso.
18:48
Isso desenvolver meu, meus comandos foi tipo meia dúzia de
18:52
palavra em cada comando. Ah, meu, o contexto está
18:55
minúsculo? Não, porque o contexto as 200000
18:58
que gerou de treinamento, de de do plano de treinamentos fazem
19:01
parte da janela de contexto. Então muitas vezes o pessoal não
19:03
para pra pensar. Pessoal focado muito no prompt.
19:06
E esquece que se eu der um pront de medo do uso de palavras, ele
19:10
me retornou 2000 linhas as 2000 linhas fazem parte da minha
19:13
janela de contexto. Eu iria até além, não só as as
19:17
1000 linhas, porque as pessoas esquecem e as foram treinadas.
19:20
Já tem um tempo, demora um tempo pra você treinar, então como é
19:22
que você pediu Pra Ele fazer um plano de treinamento de uma
19:24
tecnologia? Desse ano, por exemplo, e ele
19:27
montou essas 2000 linhas de resposta novamente, vou usar o
19:30
pilot de exemplo, porque eu acho que é o que a gente tem mais de
19:33
uso, é o pilot, o Cláudio code. Mas vamos vamos fazer de
19:36
maneiras bem semelhantes. É que você consegue ver, por
19:39
exemplo, pilot CLI abrir ele, você vai ver que ele tem um MCP
19:42
interno que ele utiliza do do Git up.
19:45
E aí quando você pede para ele fazer essa informação, ele vai
19:48
fazer, por exemplo, o websert para procurar a versão mais
19:51
recente. Cara, não é só o prompt que você
19:53
fez. Ele vai pegar isso, vai
19:55
transformar em algo para enviar no web surt vai conectar com
19:58
OMCPOMCP, responde para ele em texto que vai ser um pronto de
20:02
entrada. Que é o rádio, exatamente?
20:03
Vai precisar interpretar tudo isso para depois montar aquele
20:06
texto. Tipo assim, ele não tem esse
20:08
embutido. Você não fez uma pequena
20:09
pergunta. Ele tinha toda essa informação
20:11
embutida e colocou daquela maneira para você?
20:13
Ele faz n operações no meio do caminho, que você pode inclusive
20:17
optar por vir ou não. Dependendo do que que você usa
20:21
deflag ou ou comandos que você pode usar ali no meio.
20:23
Mas se você pegar e der um control o por exemplo, No No seu
20:27
compadre ser AI você vai ver que ele vai expandir absurdamente
20:31
com várias informações que ele está puxando do website, de
20:34
repositórios que ele conhece, de referências que ele tem de
20:36
outros MCP alguns MCPS que estão diretamente em documentação.
20:40
Se você tem, por exemplo, utiliza angulas no seu projeto,
20:43
você pode conectar no angula. Você pode conectar no signo e
20:46
tudo isso ele está puxando informação, trazendo para
20:49
dentro, processando a gente, dando a resposta final.
20:51
Famoso MCP do do contest seven, né?
20:53
Que todo mundo adiciona lá. Não, eu quero a documentação
20:56
mais recente de toda a tecnologia mesmo.
20:59
Tem esse custo. Estou.
21:00
Sem custo? Às vezes sim, às vezes não é
21:02
aquele. Negócio é necessário?
21:03
É tipo assim, se é necessário, eu vou ter que arcar com o
21:06
curso. Não tem jeito, porque é
21:07
extremamente necessário. Agora, se não for necessário, é
21:11
dinheiro perdido. Exatamente, cara, quem não gosta
21:13
de chegar lá e falar, nossa, que legal esse aí no CP?
21:15
É bacana, vou adicionar esse aqui também é bacana.
21:17
Ah, esse aqui parece bem legal. Eu vou colocar, vou colocar.
21:19
Quando você vai ver lá na lista de de, de de ferramentas que
21:23
você tá usando, já tá tipo assim, 200 ferramentas lá, o
21:25
próprio copylote e tudo, falou, velho, desliga umas aí porque tá
21:30
com coisa demais, bom. Dia acabou seus tokens.
21:33
É vocês, vê o play subiu 60% da sua janela de contexto.
21:38
Cara, tem uma coisa, 2019, eu falava para alguns arquitetos
21:41
que tipo, nada demonstrava mais uma maturidade técnica do que
21:45
você via uma tecnologia super legal e não utilizar porque não
21:49
faz sentido. Então quanto é que se serve?
21:52
É útil? É, faz sentido, sim, é um mcp
21:55
excelente, é um mcp excelente, mas vamos pensar um pouquinho
21:57
que que faz mais sentir ele bater no quanto é que te serve e
22:01
fazer buscas frequentes, porque você está sempre usando na sua,
22:04
no seu produto, a coisa mais recente que existe no mercado.
22:08
Porque seria, com certeza, algo muito fora do padrão.
22:11
Ou eu vou bater no context seven, pegar os meus padrões e
22:15
salvar isso numa esquill que é muito mais facilmente
22:17
reaproveitada, consome muito menos um texto para carregar.
22:21
E eu ainda posso, se eu quiser direcionar e a dar um barra nome
22:25
da skill e já ir direcionar para ela qual skill usar para ela nem
22:28
precisar. Pensar ou procurar qual é a
22:30
correta? Né?
22:31
É uma coisa também que eu acho que vale a pena citar aqui que
22:34
eu queria, né? Ver, né?
22:35
O bagulho falar pra gente um pouquinho do modo routing, né,
22:38
que é a ideia da gente não ficar usando bazuca pra matar Formiga
22:42
o tempo inteiro. Então eu vou ter um modelo
22:45
menor, né? O high cool, OGBT Mini, o flash,
22:48
esse é é modelo. Ele faz uma primeira triagem
22:51
ali, certo? EEE redireciona.
22:54
Para o que for mais adequado ali, que já já é uma forma de
22:56
economia. É, eu lembro que quando teve, eu
22:59
não lembro qual exatamente foi a versão do gpt 5.
23:02
Tipo assim, uma estreia terrível, porque o pessoal
23:05
descobriu AO roach interno dele que tava tendo muitos problemas.
23:09
Então entrou se numa discussão novamente abrir, seja lá no
23:12
qual, seja no cursou, seja No No compadre, com o pilot.
23:15
Acho que ainda dá um desconto se você selecionar o roach interno
23:19
dele, né? Ou até outras ferramentas ou
23:21
pessoas que você pode. É linkar todas as suas licenças
23:25
e ele vai ser um extrahoting pra você poder mandar Pra Ela o seu
23:29
prompt e ele poder direcionar assim a de acordo com alguns
23:32
fatores que determinísticos mesmo.
23:34
Eu vou olhar a complexidade desse prompt usando uma versão
23:37
gratuita, dependendo de qual de algum provedor eu vou verificar
23:41
a complexidade desse prompt e direcionar ele, seja pra um, pra
23:44
um fornecedor ou seja pra uma licença, seja pra uma forma.
23:47
É interna ali de tratar isso. No início, isso era um problema
23:51
muito grande dos provedores, então eu provejo um serviço.
23:55
Esse serviço não é financeiramente viável, eu tenho
23:57
que dar um jeito de fazer ele ser, até porque eu estou
24:00
provendo esse serviço. Quem quer ganhar dinheiro com
24:02
ele foi eu, e já investiram muito dinheiro em mim pra eu
24:05
poder falar que não vai dar. Então começaram coaching
24:08
internos e aí a gente começou a ver que o pessoal tinha muito
24:11
problema com isso, porque quando você tem uma expectativa.
24:15
De uma melhora de performance e você recebe uma piora.
24:19
Isso é muito frustrante e ainda mais um mercado que estava tão
24:22
competitivo. Isso é o tipo de coisa de
24:25
literalmente trocar o fornecedor, que era exatamente o
24:27
que eles não queriam. Eles queriam ganhar mais lucro
24:30
com isso e não o contrário, não perder assinantes.
24:33
Então chegou num ponto, que tipo é chegou?
24:35
Se no meio termo que olha só, você quer usar, você quer usar,
24:38
você pode colocar aqui no alto. A gente faz o nosso root, que
24:41
agora a gente chegou num termo que a gente acredita que é mais
24:44
substancial. E a gente toma um desconto por
24:46
você usar ele. Mas se você não quiser, talvez
24:48
eu te cobre mais. Eu te cobre muito com a mudança
24:51
do copa. É o teatro.
24:52
É muito mais se você não só não usar o alto, como se você
24:55
selecionar modelos que não são nossos e que talvez sejam mais
24:58
baratos do que nos deem alguma soberania de mercado.
25:01
Não é à toa que talvez os preços e multiplicadores da antrópica
25:04
que vão tão pro alto. Mas será se talvez já não fizer
25:07
sentido eles serem tão altos se o custo do cloud de code já não
25:10
é alto e eles estavam na verdade subsidiando isso para conseguir
25:13
assinaturas? Toda essa questão do roating,
25:15
ela começou com um problema interno dessas empresas que elas
25:18
tentaram resolver. E aí na falta disso, ela chegar
25:21
no ponto que tipo assim, talvez isso não seja um problema meu.
25:24
Isso é um problema nosso. Então se ele é nosso, nós vamos
25:28
lidar com ele juntos. Hoje existe 11 quantidade.
25:31
A Terra razoável de de freimorx e ferramentas que te ajudam
25:34
nessa questão do do houting, né? Tipo assim, não só como você
25:37
como desenvolvedor, usando os seus modelos ali, usando o seu
25:41
um copylote e tudo, como dentro do seu produto, né?
25:44
Você usar o seu produto e você passar por ele ali, tipo assim,
25:47
Ah, o cara vai dar o bom dia lá, uma ferramenta fala não, bom
25:50
dia, eu vou jogar pro raicu. Agora o meu usuário me pediu
25:53
exatamente o que que ele quer resolver, então esse cara aqui
25:55
eu vou usar um modelo um pouco melhor, né?
25:57
Eu vou usar alguma outra chave, alguma outra coisa.
25:59
Mas tem tem coisas prontas dentro.
26:01
Próximos modelos o pré Hook, por exemplo, tem algumas empresas
26:06
que eu já tenho ciência, até por estar no meio, tem amigos em
26:09
diversas empresas e também tem amigos donos de empresa que a
26:13
gente tava conversando esses dias aí falaram, cara, o custo
26:15
tava muito alto. A gente adicionou um pré Hook
26:18
que quando você manda 11 prompt para ele ali, se ele tiver menos
26:22
do que xis caracteres, ele te pergunta se você tem certeza.
26:25
É tipo assim, Ah, mandei, sei lá, 1515 caracteres.
26:30
Ele pergunta seu prompt. Ele tá meio curto.
26:32
Você tem certeza que esse é o prompt, correto?
26:34
Se sim, ele manda para l LM, se não, é para impedir meio que
26:37
erros, essa sim. Você dá um enter errado.
26:39
Você queria só dar uma nova linha, né?
26:41
Pena que Hulk não existe em todas as LMS ainda, né?
26:43
E eu ainda vou além, tá? Porque é esse primeiro exemplo
26:47
que a gente citou aqui. É modelos mais complexos, mais
26:50
simples, para coisas diferentes. Ou se, por exemplo, eu tenho um
26:52
produto que eu tenho invoice, tenho, biling, tenho.
26:55
Isso e aquilo. Eu posso ter agentes específicos
26:58
com janelas de contexto muito mais específicas e tem um pré
27:02
agente ali assim o cara fez a pergunta, OPA, isso aqui que ele
27:05
tá querendo é sobre financeiro, então vou redirecionar com
27:09
agente especializado pra uma janela de contexto muito menor
27:12
pra gastar menos token pra responder uma dúvida de
27:14
financeiro, então eu vou ter agentes especializados, então eu
27:18
tenho um primeiro agente, ele faz a triagem, OPA, isso aqui eu
27:21
vou mandar pra agente XE, aí a gente pode inclusive misturar as
27:23
2 coisas, eu vou ter o. Dependendo do assunto que o cara
27:26
for for querer tratar, eu vou jogar pra um modelo que é um
27:29
raio cool. Dependendo do modelo da pergunta
27:32
eu vou ter 2 ou 3 mais agentes mais parrudos, mas que vão ter
27:36
contextos menores pra responder as dúvidas mais parrudas.
27:39
A gente falou muito sobre essas técnicas, sobre essas coisas, o
27:42
que que a gente pode fazer, o que que ajuda a melhorar, o que
27:44
que gera custo em cada requisição e tal.
27:46
Mas beleza, e aquela perguntinha lá do início, pra que que eu vou
27:49
fazer essas otimizações? Eu sei que eu tô gastando muito,
27:51
quanto que eu tô gastando, o que que eu preciso otimizar?
27:54
Aonde que está o meu curso? O que que está ficando ruim?
27:56
Nada disso adianta se você não não conseguir responder essas
28:00
perguntas. Fala cara, beleza.
28:01
O meu sistema lá é no chatbot e tudo que está usando.
28:05
Botei modelhouting, beleza, mas. Esse modo reality está sendo
28:09
eficiente? Quanto?
28:10
Qual que foi o ganho em cada tipo de requisição?
28:13
É, existe algum padrão que você consegue?
28:15
Perceber por, às vezes por. Cliente às vezes por usuário,
28:18
por tipo de usuário. Poxa, talvez eu poderia ser mais
28:21
eficiente ainda em determinados tipos de requisições ou de uso,
28:25
né? Então a questão da
28:26
observabilidade, dos da sua e a ela passa a ser super importante
28:31
também, né? Você saber o quanto você está
28:33
gastando, você ter. Dashboards de custo para a sua
28:36
para o seu produto se se você está falando de um de um produto
28:39
que usa IA, né? Você saber esses custos por
28:42
cliente por intenção, que hoje também, cara, tem ferramenta de
28:45
jeito, qualquer coisa que você quiser tem a ferramenta pronta
28:48
para isso. Então às vezes nem precisa ser
28:50
algo específico para IA. Você pode usar um open telemetro
28:52
da vida e usar as próprias respostas que os agentes te dão,
28:55
que eles já te dão essas métricas e já te dão essas
28:57
coisas todas e você só aumenta ela com seu contexto ali para o
29:00
open telemetro essas questões, elas passam a ser fundamentais
29:03
também hoje em dia, né? A.
29:04
Até porque sua resposta a resposta para o seu problema
29:07
pode ser, será que eu preciso mesmo de IA para tudo?
29:10
Está nos LLMS, né? Então por que, qual que é a
29:13
diferença? Ah, vou um exemplo simples para
29:15
o nosso público que é desenvolvedor entender uma coisa
29:17
bem prática, vou desenvolvendo um código, coloquei meu IA para
29:19
desenvolver um código para mim e depois eu vou por uma IA para
29:22
analisar o código desenvolvido e fazer tipo um review de
29:26
porrequest. Se antes de eu passar de uma IA
29:29
para outra, eu coloco linch, coloco sonar.
29:33
Eu vou dar o build naquilo ali, eu vou rodar teste unitário, vou
29:37
fazer um Monte dessas coisas e só vou passar para outra llm
29:41
fazer Oo review se tudo passar. E qual que é a diferença?
29:44
Isso que a gente acrescentou entre as 2.
29:47
São processos determinísticos, determinístico é CPU, CPU é
29:52
rápido e barato. A partir da hora que isso
29:55
passou, tudo mudou, testou tudo bonitinho, linch, passou, sonar,
30:00
passou, aí eu vou passar pro hotel LM, porque aí que que
30:02
acontece, vai pra GPU, caiu na GPU, é lento e caro.
30:06
Quando a gente fala de preço de touken, nós estamos falando de
30:09
preço de uso de. GPU.
30:11
Primeira coisa você pensar é, Ah, como que eu vou?
30:14
Qual modelo eu vou otimizar? Que que eu vou conseguir tirar
30:16
daqui, que que eu vou passar? E como é que eu vou mudar meu
30:19
prompt? Primeira pergunta é.
30:21
Será que eu não consigo encaixar no meu processo partes
30:24
determinísticas que não usem GPU que use, CPU que vai já me dá
30:30
uma queda de token violenta e um peso de custo e eu vou jogar
30:33
para LLM só aquilo que realmente precisa?
30:37
Vou deixar a própria linha tentar rodar aquele teste lá
30:39
usando o geste. Ela nunca consegue que ela fala,
30:42
Ah, não sei o comando certo, deixa eu tentar de.
30:43
Novo sentar 6 comandos diferentes até eu usar o eskentu
30:47
de perguntar qual é o correto? Porque muitas vezes a pessoa já
30:50
vai passar direto por uma otimização de prompt para Cash.
30:54
Vou colocar um vou dividir meus agentes.
30:57
Sendo que muitas vezes a resposta é muito mais simples,
30:59
se não, eu passo antes. Será que tudo que está?
31:02
Caindo para IA tem. Que cair para IA?
31:05
É, isso é muito importante. Aí mesmo, depois você já fez
31:07
assim enxugar esse filtro, aí você vai para isso tudo que a
31:09
gente discutiu até agora. É então, tipo assim, acho que
31:11
foi uma discussão bem interessante, né?
31:13
Acho que ficaram vários ensinamentos, várias é
31:16
ferramentas. Eu, por exemplo, vou, vou
31:18
experimentar algumas das coisas que a gente comentou aqui, acho
31:20
que elas já bateu umas chavinhas que fazem sentido colocar no meu
31:23
projeto. Então acho que é interessante
31:25
quem está aí em casa pensar um pouco sobre isso, entender que
31:29
cara e Ah, não é só um prompt que eu jogo e não sei quem que
31:32
vai pagar essa conta e. Eu acho que é.
31:35
É isso aí, muito obrigado pelo papo malagut.
31:36
Muito obrigado pelo papo Luiz. Olá pessoal, um.
31:39
Abraço, tchau, tchau. Com grandes tokens vem grandes
31:41
responsabilidades.