Latest / Entre Chaves / #242 LLM x SLM: diferenças cruciais para desenvolvedores

Transcript

#242 LLM x SLM: diferenças cruciais para desenvolvedores · Entre Chaves

0:02
Está começando mais um entre chaves do seu podcast de
0:05
desenvolvimento de software. Eu sou a Fernanda Vieira e hoje
0:09
a gente vai falar sobre LLMSLMEHRM.
0:15
Sou sopa de letrinhas que tá aí como coisas de ar que estão
0:19
surgindo, né? Vamos vamos ver se são as
0:21
próximas fases aí que a gente vai viver com a inteligência
0:25
artificial ou não. Mas antes para falar desse tema.
0:28
Estou aqui com um host novo para o entre chaves, e aí Dudu já
0:33
participou várias vezes aqui do entre chaves conosco.
0:35
Né? Exatamente.
0:36
Já participei várias vezes como convidado aqui já nesses tempos
0:40
de dti, que eu já estou aqui como arquiteto.
0:42
Então agora nessa posição nova, vamos super ansioso aí para esse
0:46
bate-papo. Aqui você apresenta aí para
0:49
galera te conhecer. Para quem não me conhece, ainda
0:51
sou Dudu, né? Não adianta falar, Eduardo.
0:54
Todo mundo me conhece como Dudu. Aqui na dti, sou.
0:56
Arquiteto aqui já tenho 15 anos de casa, fazendo esse mês
0:59
inclusive uns 8 ou 9 vezes aqui no trechado como candidato.
1:04
Já pediu música? Várias.
1:06
Vezes. Exatamente para falar desse tema
1:12
também estamos aqui com o malagute, né?
1:15
Que também é o arquiteto de software aqui na dti, e com o
1:18
jef Jefferson Fabrício também é arquiteto de software aqui na
1:22
dti. Então, né?
1:23
Oi, galera, tudo bom dia? Fala pessoal, beleza?
1:27
É isso aí. Então, gente, é, acho que pra
1:29
começar a conversa, vamos deixar todo mundo na mesma página.
1:33
É dos problemas, né, que tanto slm quanto hrm, né?
1:38
Como eu falei, essa sopa de letrinhas vieram resolver é as
1:41
LLMS, né? Os modelos, modelos grandes de
1:44
linguagem, né, os Lages linguagem models, eles foram
1:48
muito, muito importantes pra revolução que a gente tá vendo,
1:51
né, que tem inteligência artificial.
1:53
Então, desde lá do ChatGPT em 2022, né, que introduziu esse
1:57
conceito pra gente é foi muito, muito importante a gente ver
2:01
como esses sistemas conseguiam é ter conversas abertas, diálogos
2:07
realmente assim, né? Fluidos de assuntos diversos,
2:11
né? Com conosco.
2:13
Mas essa as LMS, elas têm 2 grandes limitações, né?
2:18
O dilemas aí que são muito importantes, que vieram também.
2:22
Junto, e o primeiro deles é o dilema do custo e da
2:25
ineficiência. Elas podem ser caras e
2:27
ineficientes pra certos cenários, né?
2:29
E o outro dilema é do raciocínio, né?
2:31
Do raciocínio real, que apesar de que elas usam, né,
2:35
arquiteturas de Transformers, elas também tem.
2:39
É a possibilidade, né, de fazer cadeias de raciocínio, né?
2:42
O Chen of Talks. Elas ainda não têm raciocínios
2:46
tão complexos, elas têm têm limitações.
2:48
Vamos falar para raciocínios complexos e pra essas 2 dilemas
2:52
aí que veio, né? A slm como os smollem good
2:56
models, né? Os modelos pequenos de linguagem
2:59
e o hrm como hierárquico. Reason in model, que é um modelo
3:04
de raciocínio hierárquico pra resolver, né?
3:06
Esses problemas que eu falei, então vamos começar falando
3:10
sobre slm. Né?
3:13
E como eu falei, esse problema que as LLMS trazem de custo e
3:18
ineficiência. E como as LMS ajudam nesse
3:23
quesito? Vamos começar por esse caminho.
3:25
Bora lá. Tá?
3:27
É, antes da gente começar, vamos pensar um pouquinho na parte de
3:31
AE um pouco sobre esses problemas, né?
3:34
É, eu costumo brincar muito. Eu falo isso com clientes, eu
3:37
falo isso aqui na dti. Mas IA é sempre a segunda melhor
3:40
maneira de se resolver qualquer coisa.
3:42
E normalmente você faz isso, você usa e Ah, porque você não
3:45
sabe qual é a primeira ou ela não é tão fácil de se descobrir.
3:48
Então, muitas vezes, desde que a gente inventou tipo rede neural
3:53
e tudo mais, a gente usava muito isso como uma forma de para que
3:56
que eu vou investigar algo extremamente a fundo, uma coisa
4:00
extremamente complexa, e achar algo que se enquadra naquele
4:03
contexto? Sendo que eu posso criar essa
4:06
estrutura e encher ela de informação?
4:09
Quanto mais informação eu encher, melhor.
4:11
E eventualmente, essas cadeias vão identificar padrões, vão
4:15
identificar ali possíveis soluções.
4:16
Então a ideia é sempre que você pudesse usar processamento e
4:20
dados em em alta quantidade, pra que o própria algoritmo, no
4:24
caso, é independente dele, se ele vai ser um LLM ou até antes
4:28
disso, quando a gente fazia isso com imagem em CNN, ele pudesse
4:32
descobrir esses padrões e a gente lidar com eles depois.
4:34
Qual que é o problema? A medida que a gente foi
4:37
conseguindo. É mais processamento e mais
4:40
dados. E cada ano que passa a gente
4:42
aumenta muito a quantidade de processamento que a gente tem.
4:46
Se você pegar, sei lá, em 1 ano a gente avançou em 5 vezes a
4:48
quantidade de processamento que a gente tinha.
4:50
E muito mais do que isso na quantidade de dados é que a
4:53
gente começa a ter outros problemas.
4:55
Atrelados, né? O problema igual você falou
4:58
Fernandinho, da LM, ela tem a questão que a partir do momento
5:02
que você encheu ela de informação, o máximo de
5:04
informação possível, ela achou vários padrões.
5:08
E ela vai lidar com essa parte probabilística de de dar um
5:11
resultado, então ela vai conseguir várias soluções.
5:14
O problema também dela ter várias soluções é que ela pode
5:17
se perder um pouco no caminho e ir para uma solução que não é a
5:20
solução do seu problema é a solução de algo, só não é aquilo
5:23
que você quer e você tem. Isso, inclusive, é extremamente
5:26
frustrante. Provavelmente todo mundo que já
5:29
usou bastante a leli m já se frustrou em algum momento e
5:31
tentou 13 prompts de diferença até descobrir como ignorar
5:35
aquele caminho que ela tá achando ali internamente.
5:38
Porque não é o que você quer. E você tem um outro ponto disso,
5:41
que é o custo. O custo de LLM é alto hoje, é
5:44
alto hoje. Mas a gente precisa lembrar que
5:47
a maioria do custo de LM hoje é subsidiado.
5:51
Nós não temos a menor noção do custo real hoje, que é um LM.
5:56
Tudo que a gente paga é subsidiado por uma indústria que
5:59
quer hoje. A adquirir o poder, como outras
6:02
fizeram, seja no Uber com que deu prejuízo por muitos anos,
6:06
seja o próprio iFood também, até que ele conseguiu um controle
6:10
maior do mercado e aí sim ele pode é cobrar mais ou reduzir em
6:15
custos pra poder gerar lucro. Todas as empresas hoje que cedem
6:18
modelos, elas estão atuando em prejuízo.
6:20
Então o custo alto que a gente tem hoje não é tão alto quanto o
6:25
custo real. Então, se esse custo já é alto e
6:28
se a gente já tem esses problemas, como é que a gente
6:30
resolve isso? Um dos pontos é exatamente a
6:33
criação das slms valer 2 problemas, que é custo e muita
6:37
informação que faz com que ela acabe se perdendo.
6:39
Então como é que a gente faz nesse cenário?
6:42
A primeira coisa que a gente pensa é se o custo tá em
6:45
processamento, em tá em qualidade de dados, e se eu
6:47
cortar essa quantidade de dados, e se eu for cortar ela, se eu
6:50
for fazer essa poda, como é que eu faço essa poda de uma maneira
6:53
inteligente? Muitas vezes, por mais que ele
6:55
Eleni sejam extremamente poderosas, honestamente, a gente
6:59
não tá usando 10% do conhecimento, isso sendo muito
7:03
generoso do que tá ali dentro. Então a ideia é que você fazer
7:07
uma poda de maneira que você reduza esses dados, cortando que
7:11
você não vai utilizar, pra que isso fique mais barato de
7:14
treinar. Isso gere um modelo menor que
7:17
ele seja inclusive mais barato de utilizar e que no melhor dos
7:20
casos você consiga até. Colocar ele dentro de alguma
7:24
estrutura menor, tipo um happy Barry, você não vai conseguir
7:26
colocar um LLM gigantesco no happy Barry.
7:29
É a ideia, você conseguir um modelo menor, que talvez não
7:32
seja tão bom. Mas sendo bem honesto, a gente
7:35
na maioria das vezes não precisa de algo tão bom assim.
7:38
A gente deixa muita coisa ali que tá ociosa.
7:41
Então acho que a pergunta que fica ali, quando você faz um SLM
7:44
é, o quanto de informação você consegue cortar?
7:48
A ponto de um resultado ainda ser muito bom, se não precisa de
7:51
95% de assertividade, se você tiver 94, mas com 13% do seu
7:57
custo, ele é muito mais atrativo.
7:59
É, fiquei lembrando até de um dilema, né, que a gente estava
8:02
aqui numa numa sala de guerra recentemente com o tema de
8:05
modernização de sistemas legados, e a gente falou sobre
8:09
justamente esse esse dilema do contexto, né, que eu acho que é
8:12
uma das grandes limitações aí das LLMS hoje, que é justamente.
8:17
Essa essa engenharia de contexto, né?
8:19
Assim, não. Limitação.
8:21
Mas uma das grandes coisas que que acabam gerando uma grande
8:24
alucinação. Quando você não consegue fazer
8:26
uma boa engenharia de contexto, né?
8:28
Você realmente não consegue dar os melhores contextos.
8:32
Os. Trocamentos.
8:33
É exatamente, né, a gente passou por isso, né, Jeff?
8:36
É o que eu, o que eu penso também nesse sentido.
8:38
É tentar trazer um pouco mais para o simples, né?
8:41
O que o malaguti trouxe é muito importante do entendimento.
8:44
Mas trazendo até para um contexto mais tranquilo, se a
8:46
gente for olhar para o mercado, devido ao custo da HLM, que é
8:49
muito caro, o pessoal começou a cortar um pouco e parou de ir
8:53
pra sair a generativa que sabe de tudo, que vai responder
8:56
qualquer coisa. O pessoal hoje começou a falar
8:59
bem. Quer dizer, já faz um tempo,
9:00
começou a falar bem mais sobre gente.
9:02
É pegar alguém, especializar em um contexto como se você tivesse
9:05
pegando uma base de conhecimento muito rica e fazendo recorte com
9:09
atendimento único. Pra gente ter essa base do
9:11
contexto segmentado, correta, coerente, como se a gente
9:14
tivesse pegando LME, fazendo diversas smols dentro dela.
9:19
Então a gente tá botando vários SLMS dentro de uma LM complexa.
9:23
Aí vem uma estrutura de a de orquestração de de agentes, mas
9:28
a visão é. O problema que a gente sempre
9:31
tenta resolver é o que o cliente precisa?
9:33
Se o cliente precisa de algo já direcionado para o contexto
9:35
dele, não tem. Porque eu pegar um LM que o
9:38
custo é altíssimo, eu posso fazer aquilo e atender ele no
9:41
device que é necessário para ele.
9:43
Então eu refaço o recorte com a gente com uma SLM melhor e dessa
9:49
forma eu consigo atender uma necessidade.
9:52
É sempre boa lembrança mesmo, né?
9:54
Que arquiteturas agnticas, né? O que a gente fica tentando
9:56
fazer é justamente especializar. É aquele grande problema, né?
10:00
De culpar ele em pequenos outros problemas e resolver aquilo
10:05
especificamente. E por que não, né?
10:07
Hoje a gente ainda, mesmo com arquiteturas agendicas, muitas
10:09
vezes a gente usa LLMS ainda, né?
10:12
Por que não utilizar, né? SLMSE realmente modelos, ainda
10:17
assim também mais especializados e mais baratos, né?
10:21
E hoje a gente já tem alguns exemplos de SLMS disponíveis,
10:24
igual a gente tem da dos LMS que todo mundo usa assim já já tem
10:27
algumas coisas que vocês já trabalharam, vocês já
10:30
conseguiram utilizar? Sendo amplamente utilizado ou
10:33
disponíveis porque disponíveis tem várias.
10:35
É inclusive muitos modelos de LLMS que você vai usar.
10:38
Algumas empresas é vão disponibilizar uma versão
10:43
próxima ali de um SLM ou algo próximo disso de um.
10:47
Esses Mini todos já eles são SLMS ou não?
10:51
Ainda não. Ainda não.
10:53
Eles ainda são muito grandes para serem considerados. 11 slm
10:57
se você abrir 11 rug faces da vida ali para poder ver os
11:01
modelos disponíveis lá dentro, você vai ver, por exemplo, que
11:04
normalmente vai começar ali de 7000000, por exemplo, de de
11:08
parâmetros, você vai ter muitos que vão normalmente começando
11:11
ali EE mais ou menos. Nesse fecho você vai ter também
11:14
alguns que são menores, mas muito longe do que a gente tem
11:18
de de SLMO pessoal usa ou para sistemas embarcados.
11:21
Porque ele é muito mais atrativo você colocar uma ele ainda
11:23
dentro de semi embarcada é loucura.
11:26
Tipo assim, é um custo inacreditável pra você fazer
11:28
isso funcionar. Ou em cenários que eles são mais
11:31
robustos. E o que que eu quero dizer com
11:33
cenários mais robustos? Porque bem normal.
11:36
Se você tem dinheiro e hoje existe toda essa corrida, aí se
11:40
você tem opção de estar na frente gastando certo dinheiro,
11:42
você vai estar competitivamente falando.
11:45
Se você está num cenário mais estável, é onde você realmente
11:49
começa a olhar em otimizar. Cortar cursos e tudo mais.
11:53
Quando eu trabalho com empresas de e Commerce, eu sempre uso o
11:56
cenário de sistema de recomendação.
11:58
O maior ganho de um sistema de recomendação é você colocar ele
12:01
no ar, depois o quanto você vai ganhar, melhorando ele é pouco e
12:06
comparado ao ganho que você tem que colocar ele no ar, então
12:09
normalmente AO grande ganho tá ali você colocar um sistema de
12:12
GNI no ar, coloquei, paguei por isso, coloquei ele no ar, tudo
12:16
bem, que que eu faço agora? Agora eu tenho que otimizar,
12:18
então começa a ter que criar estruturas robustas.
12:21
Porque OSLM ele smol, ele tem essa limitação, então como é que
12:24
eu contorno ela, como é que eu faço isso?
12:26
Seu útil, eu vou fazer um fine tuning relacionado AA esse SLM,
12:31
eu vou construir alguma estrutura que tá ali, é junto a
12:34
ele algum reagir, alguma outra estrutura de gente.
12:37
Só que tudo isso novamente tem custo mais simples é colocar o
12:40
modelo, depois disso é fazer um fine tuning que você pode passar
12:43
mais dados dentro, depois começa a criar uma estrutura.
12:45
Uma vez que isso funciona, você começa agora, você cria agentes
12:49
específicos com CLM. E cria um agente orquestrador.
12:53
É quem usa, talvez o próprio pilot e outras coisas em ideias.
12:56
Vai ver que se você olhar o tracing da da asias mesmo que
13:00
você seleciona o cloud sonet lá com o modelo que provavelmente
13:03
vai acontecer é ele vai pegar os 5 Mini, vai ler.
13:07
Oo que está ali dentro da sua pergunta, vai transformar sua
13:10
pergunta em ações e vai mandar essas ações pro sone.
13:13
Ele vai orquestrar isso porque, porque fazendo esses prompts
13:17
menores no agente mais caro, só isso já economiza um pouco do
13:20
custo. Então você além disso, você
13:22
também vai ter acabar tendo resultados melhores atrelados a
13:25
isso, porque você vai evitar dele de fugir no contexto, você
13:28
consegue tratar essa informação. Então a ideia ali é você
13:31
conseguir montar mais a gente, se você conseguir.
13:34
Né? Evoluir esses agentes e
13:36
selecionar eles, aquestrar eles. Só que tudo isso ele exige uma
13:40
robustez. Então o que a gente tem no
13:42
mercado hoje é aquela grande corrida de o quanto eu consigo
13:46
pagar pra simplesmente colocar isso ali no ar ou colocar o
13:49
melhor possível no ar, uma vez que eu peguei isso e as pessoas
13:52
estão utilizando vocês, tema meu modelo ou até mesmo o meu
13:55
produto, porque eu, como empresa quero ter um produto com LLM
13:58
disponível. Como é que eu faço pra reduzir
14:00
esse custo que ele é alto? E aí é onde entra treinar trocar
14:04
pela DCLM fazer um finetune selecionar isso fazer um fluxo
14:08
de deita Ops funcional mesmo dentro da sua organização aí
14:13
entra a guerra EME acabou. O episódio acabou de descrever
14:17
quando entrou o híbrido. É é só respondendo também.
14:22
O que o Dudu perguntou é ACLM de normalmente a 7 menos de 7
14:26
bilhões de parâmetros, que foi o que o malagas falou.
14:29
E até 10 GB de memória já llms. Ela trabalha com uma escala
14:33
muito maior que isso, 100 bilhões é 1 TB e mais de 100 GB
14:37
de memória. Então ela escala normalmente
14:39
mais de 10 vezes. É, eu vi também algum que as
14:43
slms, elas podem ser de 10 a 30 vezes mais baratas do que.
14:47
É em custo por milhão de quem é llms podem chegar até 50 USD, a
14:52
média de 10 a 50. Não, mas aí aí aquele chat, o
14:56
gpt. 4.1, né? Não 4.1 não foi 4.5, né?
15:00
Que foi o caríssimo nossa senhora.
15:03
É só você pensar, hoje o que o pessoal está fazendo é dividido
15:09
com quem? Hoje?
15:10
Eu teoricamente o GPT 5 ali. Foi uma falha gigantesca durante
15:14
seu lançamento. Por causa disso, eles embutiram
15:17
um orquestrador. Com o objetivo claro de
15:20
economizar custo. Se sua pergunta é simples, pra
15:23
que que eu vou gastar? Porque todo mundo, todo usuário
15:26
final, você está pagando, você vai selecionar o melhor modelo,
15:29
não tem o que fazer. Dito isso, se a empresa tem essa
15:33
opção e ela sabe que se ela te entregar igual, eu falei 98% de
15:38
apuração, sendo que no modelo melhor é 99, não vai fazer uma
15:41
diferença pra você no mundo real.
15:43
Entende? Então, se ela puder pegar um
15:44
modelo que é 50 vezes mais barato, como seria a comparação
15:48
de sei lá, o GPT 5 Mini OOOOGPT 5 raio?
15:52
Eu não lembro exatamente a proporção, mas é, é é absurda a
15:56
diferença de custo deles pra resposta simples, o resultado é
15:59
quase que o mesmo. Então pra eles eles são uma
16:02
economia de custo inacreditável, entende?
16:05
Então, no final do dia, o que vai começar a acontecer é isso.
16:09
É hoje como eles estão, é engolindo muito desses custos,
16:13
porque eles querem dominar. O mercado.
16:15
Funciona dessa forma, mas já começam a aparecer experimentos
16:19
de como transformar essa tecnologia numa tecnologia
16:21
viável. E como empresa, como
16:24
desenvolvedor, eu preciso saber trabalhar com isso de uma
16:26
maneira que seja inviável, porque eu vou construir, porque
16:29
é muito legal a gente olhar para como o big tech fazem isso.
16:33
Como o sanaut me vende? Que os modelos vão dominar o
16:37
mundo. Inclusive é sempre engraçado ele
16:39
falando que ele é a única pessoa que consegue vender o
16:40
apocalipse, quem sempre fala sobre como ela vai dominar isso
16:44
e o mundo, mas ele tá vendendo ela.
16:46
Então no nosso cenário, a gente tem que saber sentar na cadeira
16:50
e trabalhar com o que é mais palpável.
16:52
Não adianta eu pensar, putz, esse modelo aqui ele é incrível.
16:56
Eu não tenho um 1 GB de ã sobrando pra eu colocar meu
16:59
modelo neta, então eu vou ter que pegar um SLM, vou tornar
17:03
ele. E vou descobrir que o meu
17:05
resultado é o mesmo do jato. Gpt 5.
17:07
Mini que? Está sendo vendido com
17:10
provavelmente próxima coisa que vai ser usado no copylet.
17:14
Ou seria se eles, o copylet não tivesse lançado agora o copylet
17:17
SWE, se eu não me engano, que é a versão Alice.
17:21
Uma curiosidade, quando estava falando sobre a orquestração,
17:23
porque como você falou, né? No se a gente for olhando o
17:26
próprio copylet e tal que ele usa os modelos menores para
17:29
fazer a orquestração. E quando eu estava estudando
17:33
esse assunto. Eu tive a impressão de ser o
17:35
contrário, tipo assim, da orquestração ser feita por
17:38
modelos mais inteligentes e as coisas mais específicas, ação
17:43
mesmo, ser executada por modelos menores.
17:46
Assim, fiquei com essa impressão.
17:48
Mas pode ter sido simplesmente uma impressão errada.
17:50
Como? Você vai montar essa
17:51
orquestração, porque você tem que pensar que, por exemplo,
17:54
nesse contexto, não é uma escolha deles.
17:56
Qual que é o modelo que vai rodar ali por baixo?
17:58
Porque você está selecionando ele, tipo assim, faz parte do
18:00
produto. O que eles precisam nesse
18:02
primeiro modelo? Que é o que tá rodando por cima.
18:05
É um modelo que consiga absorver contexto.
18:09
E quando eu falo que absorver contexto é porque enquanto esses
18:12
modelos que estão rodando por baixo estão fazendo ações, ele
18:14
tem um contexto limitado. Esse modelo que tá rodando por
18:17
cima, ele tá controlando o seu chat inteiro.
18:20
Então quanto mais o seu chat ele conseguir trabalhar com com essa
18:24
linguagem do chat e repassar esse em tarefas, o melhor.
18:27
For independente se ele é um modelo.
18:29
Maior ou menor? Provavelmente se opta pelos
18:31
menores aqui tendo um resultado bom, porque como escolha
18:35
novamente você vai escolher sempre o menor modelo que melhor
18:38
performa, então é sempre isso, colocar na balança qual que é o
18:42
menor modelo que eu consigo colocar aqui na frente que ele
18:45
vai performar de maneira boa o suficiente, tá?
18:48
É, e até porque é Oo negócio da SLM parece que é muito isso, né?
18:52
Tipo assim, você pegar e especializar ela em alguma
18:54
coisa, né? Então se você pegar e
18:55
especializar ela naquela questão da geração de contexto EE,
18:58
controle de chat e orquestração é o que vai dar a ela a Luciana
19:02
bem forma se né, entendi EE, aí nesse caso, como você falou AOA
19:09
vez da gente pensar como big techs, eu como minha empresa,
19:12
como é que eu vou fazer isso? Então você.
19:14
Vai começar a ter é você vai começar a pensar em SLMS pra
19:17
cada um dos seus pequenos problemas que você vai ter
19:19
dentro da sua empresa. Então você acaba tendo que
19:22
começar a ter esse gerenciamento todo, manter essa quantidade de
19:27
SLMS que você vai ter e talvez algum modelo LM, que pra algum
19:32
caso mais genérico passa a ter essa essa questão de governança,
19:36
né? Em cima desses modelos, a
19:39
criança tem que preocupar isso, né?
19:40
Simplesmente tem uma assinatura lá e disponibiliza e pronto, né?
19:44
Até Na Na questão de de, de, de de evolução, né?
19:46
Igual você falou de de otimização dos modelos, né?
19:49
Assim, tem que mexer bastante para.
19:52
Fazer os finais de saúde. Unização, ela está vindo
19:53
justamente com HRM, agora com haráquica.
19:56
O que ela está fazendo? Meio que uma medição da
19:58
complexidade do que você mandou. Então, dependendo da
20:01
complexidade do que você mandou, ela vai imputar em algo.
20:04
Ela vem de um pensamento tipo, eu executo rápido coisas que eu
20:08
executo com frequência. E eu tenho que pensar mais
20:11
quando AA propriedade é diferente, tipo, olha, eu tenho
20:15
que acordar, ir ali tomar um banho e escovar os dentes, é uma
20:19
coisa que eu faço, tipo, eu sei o que eu tenho que fazer, eu vou
20:21
lá e executo essa ação. Agora, se eu tenho que planejar
20:25
como vai ser meu dia? O tipo de parâmetro e de
20:28
complexidade, ela aumenta gradativamente.
20:30
Então, nesse momento, quando eu recebo uma query hoje, quem usa
20:33
um case de sucesso disso é o próprio qual adicione 4.
20:36
Que ele vem usando bastante isso.
20:38
Então ele tá ali no meio e ele vai acionar coisas repetitivas
20:41
que eu já sei demais. A orquestra mando pra uma small
20:44
e ele vai me responder e vai atender bem aquilo.
20:46
Coisas que necessitam de um conhecimento maior que eu
20:49
preciso fazer, um exame que eu preciso é entender.
20:52
Aí eu tenho que chamar algo e eu vou variar a quantidade de
20:54
parâmetros que eu vou trabalhar lá dentro.
20:56
Então ele acaba jogando, dependendo da pergunta e da
20:59
questão que eu fizer. Ele me joga em um momento de
21:01
respostas baratas e rápidas ou algo que realmente eu tenho que
21:06
pensar, ir pra outro, levar pra outro pra tomar e pensar um
21:10
pouco mais naquela resposta. Pensando um pouquinho até no
21:13
gancho das hrms é bem um pouco em qual que é o problema que
21:17
você quer resolver? Por que que eu falo isso igual a
21:20
Fernandinha falou a do modelo que vai orquessaltos modelos.
21:24
O trabalho desse cara, desse modelo em específico, não é
21:27
resolver seu problema, tipo assim, ele não precisa ter a
21:29
menor noção. O trabalho dele é pegar a sua, a
21:33
sua pergunta, dividir ela em quebrar ela em tarefas do que
21:36
efetivamente precisa ser feito ali e não precisa saber fazer
21:40
nenhuma delas. Ele só precisa saber como
21:41
quebrar as tarefas. Se você tivesse é.
21:44
Se você tem um modelo que consegue fazer isso, vai quebrar
21:47
em tarefas e saber quem pode resolver essa tarefa entre seus
21:50
agentes. Isso é um modelo perfeito.
21:52
Para isso, entende? E ele não sabe resolver nenhuma
21:55
conta matemática, ele não sabe fazer nenhum nada do tipo.
21:58
Então, saber quebrar esses modelos e saber qual é a tarefa
22:02
que vai resolver é o que começou a gerar a andar nesse caminho,
22:06
né? Desde que um pouco mais atrás,
22:08
quando o pessoal fez o depsy que mostrou que talvez você não
22:11
precise resolver tudo. Você possa ter esse hilo de
22:14
conhecimento ou partes ali que vão trabalhar dentro.
22:18
É fazer isso. Então vou pegar essa, essa
22:20
mensagem e vou pensar assim, pô, o que que o que que essa
22:23
mensagem quer? O que que eu precisaria ser
22:26
feito? Eu preciso fazer aqui um agente
22:28
que vai ficar. Lá, fazendo 12 tirações para
22:32
responder uma pergunta assim ele não precisa?
22:34
Tipo assim, é pensar o que que ele precisa fazer?
22:36
Quebrar isso aí, a partir das de quebrar, como vai fazer se o
22:40
modelo não consegue ou não? E distribuindo isso é igual o
22:42
dia, falou. À medida que a complexidade for
22:45
aumentando, o que essa área for, tendo áreas afins, você vai
22:49
puxando 123 modelos ou fazendo cadeias que vão ali, porque a
22:53
ideia antes é que era muito tudo, muito simples, digamos
22:57
assim, que você tem uma pergunta.
22:58
E estatisticamente vai existir um maior conjunto de palavras
23:02
que vai te dar resposta. Só tem que chegar nesse conjunto
23:04
de palavras. Só que a gente percebeu que isso
23:07
vai ficando muito complexo. Então, como é que a gente quebra
23:09
esse problema em problemas menores e palpáveis, que a gente
23:13
consegue fazer e aí a resolver? Como eu falei, eu falei no
23:16
início, né? Um pouquinho do hrm.
23:18
Ele veio resolver esse problema do raciocínio mais real, né?
23:22
Que o Chen of totts lá da das llms não resolve bem.
23:27
Mas só falando assim é pra gente entrar mais a fundo nesse
23:31
assunto da hrm é que ele foi inspirado no cérebro, né,
23:35
humano? E como a gente pensa, como o
23:37
Jeff falou, né, que às vezes a gente bom, sei lá se eu estou
23:40
estou tomando banho, estou escovando, dente, eu não fico
23:42
pensando, né, em AI eu tenho que escovar.
23:44
Deveria, talvez, mas. Ele contasse muitas vezes em
23:48
abraci ou em baixo. Vou escovar o dente superior
23:51
direito, né, assim? É, e ele foi também inspirado
23:55
nesse conceito do pensar rápido e devagar, né?
23:57
Que é um livro famoso, Thinking fast and slow, do ganhador do
24:02
prêmio Nobel, Daniel Kannemann. Não é um bom livro.
24:07
Desculpa, gente do ganhador do prêmio Nobel, Daniel Kannemann.
24:11
Eu acho que é assim que fala o nome dele, não tenho certeza,
24:14
mas achei bem interessante assim que vem justamente resolver
24:18
algum problema aí das LMS do pensamento.
24:21
Mais complexo, né? Então eu queria que a gente
24:23
falasse um pouquinho mais também, né?
24:25
Enfim, da HRMM, por que que ele é um próximo passo até, né?
24:30
Pra inteligência artificial, geral EE, enfim, o que que ele
24:33
vem resolver que as LMS tem de limitação?
24:36
Tá pensando um pouquinho? Talvez em quem vai ter mais
24:39
contato? Até no público alvo do days.
24:41
Porque é desenvolvedor é. Vamos pensar um pouco qual que é
24:45
o trabalho do desenvolvedor hoje?
24:47
É fazer código. Ou é resolver problema?
24:50
Ah, é resolver problemas. Todo mundo ouviu isso 300 vezes
24:53
que que é resolver problema no seu cenário, entendeu?
24:56
É tipo assim, é converter regras de negócio complexa em um código
25:01
papável é você conseguir separar aquelas regras de negócios em
25:04
componentes que resolvam ela individualmente.
25:07
Então é um pouco na forma de como você quebraria isso e por
25:10
que que isso é relevante nesse cenário, fazer código, muitos
25:14
dos códigos que tem hoje em si, se você não estiver trabalhando
25:17
com o estado da arte. É meio que mais, não isso.
25:20
Você obviamente precisa saber fazer isso com uma boa
25:22
qualidade, fazer 3 solitários, fazer de de todo o resto tudo
25:26
que todo mundo está cansado de ouvir.
25:29
Porque se a medida que você vai tendo mais tempo na área, você
25:31
vai ouvir isso basicamente sua carreira inteira.
25:34
Só que nesse cenário, se isso é uma coisa tão comum e tão fácil
25:38
e conhecida, a IA deveria estar focando em como é a melhor forma
25:43
de modularizar o seu código ou tem uma forma clara de
25:45
modularizar que ela poderia fazer com facilidade.
25:47
E talvez ela levar esse raciocínio pra como eu quebro
25:50
esse essa regra de negócio em blocos de código real ou
25:54
palpáveis e métodos reais ou palpáveis.
25:57
E aí eu simplesmente faço com muito mais rapidez, porque isso
26:01
vai ter n exemplo na internet, no código dentro dela sobre como
26:05
fazer uma integração com uma mensageria, como fazer uma
26:08
conexão de de TCP, porque você está trabalhando com os
26:12
embarcados por então a ideia toda é você conseguir separar.
26:16
Essa parte onde você tem que pensar e raciocinar de verdade,
26:19
onde OOO resultado, ele tem que ter um raciocínio mais complexo
26:23
do que efetivamente é quase que um coque cola assim é.
26:27
E isso acontece já hoje, por exemplo, como desenvolvedor,
26:30
muitos desenvolvedores que eles fazem é gastam muito tempo
26:32
planejando chega no final, faz código em 3 horas ali, sendo que
26:37
essas 3 horas é pontularizando fazendo um teste unitário
26:40
fazendo código do jeito que deveria ser, mas AOOOO difícil
26:43
mesmo foi planejar o que vai fazer.
26:45
Então é essa parte. O objetivo é quebrar isso, em
26:48
vez de você ter um modelo que vai ficar raciocinando, um
26:50
agente que vai ficar rodando pra fazer um código que ele vai
26:52
demorar 12 horas e gastar em infinitos dinheiros.
26:55
O. Mais interessante nisso que você
26:58
falou é que isso não muda também.
27:00
Quanto mais hoje, pelo menos Na Na experiência que eu tô tendo
27:03
nos clientes que eu tô passando. Quanto mais a gente gasta com
27:06
planejamento, melhor, porque a execução ela tende a ser com a
27:10
ferramenta um pouco mais barata. Com a llm, mesmo que no modo
27:14
face, que é um pouco mais rápido e pensa menos, ela executa um
27:17
pouco melhor, então quanto melhor planejo, melhor.
27:20
Eu executo. E trazendo isso que a Fernanda
27:22
falou também, que é a questão do coisas que são já bem treinadas,
27:26
que eu dou respostas sempre que eu não preciso pensar muito, é
27:29
intuitivo. Eu joguei um modelo barato, algo
27:32
que eu preciso raciocinar, planejar e executar.
27:35
Eu vou usar um modelo é um caro não, né, um modelo apropriado,
27:39
porque realmente o planejamento me dá algo melhor.
27:41
E o que é muito importante dizer que eles já entenderam essa
27:44
jogada que o malagut falou também.
27:46
Se você for olhar o gpt 5 agora, ele vê o gpt 5 e o gpt 5 fecha,
27:51
que normalmente são as perguntas que as pessoas mais fazem.
27:53
É o que eles mais têm de conhecimento, embora o gpt 5
27:56
mesmo o modelo mais barato, ele continua sendo LM, só que dessa
28:00
vez ele responde mais rápido, ele pensa um pouco menos e ele
28:04
dá uma resposta mais simples, mais direto ao ponto.
28:07
Então é um ótimo modelo para executar o que foi planejado.
28:10
O que já foi pensado, o que foi detalhado, mesmo sendo LRM
28:15
tentando reduzir os custos do da small.
28:18
Mesmo porque realmente o small ele tá atendendo alguns
28:21
contextos de alguns devices de algum modelo, mas se eu posso
28:24
diminuir e hoje, por exemplo, um hardware que pra conter 10 GB é
28:28
relativamente barato, mas quando eu tenho isso em larga escala é
28:32
o que é onde entra o peso e hoje o que OHRM ele vem justamente
28:36
nisso que as empresas já entenderam que não dá pra
28:39
manter. Ela é de m pra sempre em todo o
28:41
contexto, treinar, fazer o faine Turing disso é muito caro, então
28:44
eles estão querendo expandir tanto.
28:46
Eles querem centralizar e agora direcionar pra quem resolve o
28:50
problema. E como?
28:51
É, e quando a gente está usando algum modelo desses, tipo assim,
28:53
tem uma forma da gente poder falar Ah, pra às vezes o mesmo
28:57
modelo que responde da das das 2 maneiras usando o modo rápido ou
29:00
o modo ou o modo slow do do hrm. É, eu consigo direcionar para o
29:04
modelo falar Pra Ele, cara, eu uso o modo rápido, uso o modo
29:06
slow, tipo assim, eu sei que isso aqui pode ser OOO modo mais
29:10
rápido, ou o melhor é a gente usar de alguma forma de
29:13
orquestração pra escolher um modelo que usa esse igual.
29:17
Você falou gpt 5 Fest ou não? Olha, é.
29:22
E no dia a dia, como desenvolvedor, no beach a beach
29:24
ali você consegue, por exemplo, no curso ou você consegue
29:27
escolher qual é que você quer fazer?
29:29
É, existe vários, vários, vários dilemas.
29:33
Uma pessoa prefere o quilo para planejar e executar com uma
29:36
dessas ferramentas, que é os basic.
29:38
Então normalmente você consegue escolher a da lhama que você
29:41
quer trabalhar e o que é recomendável.
29:43
Se você está planejando utilizando o speak Kate speak
29:47
Dream, é aconselhável que você use o modelo Thinking que ele
29:50
vai planejar. Ele vai ter 11 custo de toco,
29:52
que é um pouco maior. E pra execução?
29:55
Em teoria, você não precisa mais usar o modelo ticking que você
29:57
já planejou, já revisou tudo e você agora pode executar e
30:01
normalmente os tokens que não envolvem um ticking.
30:03
Ele é mais barato, então você consegue utilizar e ser um pouco
30:07
mais eficaz nesse sentido. No final das contas, assim, né?
30:10
Pelo menos usando o curso, né? O curso é esse também passa a
30:15
ser um trabalho do desenvolvedor, né?
30:17
Nesse momento, pelo menos de escolher os modelos.
30:21
É mais apropriados para as para as tarefas que ele quer fazer,
30:25
né? Então, se ele está planejando
30:27
como o Jeff falou, ele talvez vai escolher uns modelos mais
30:29
caros, mas se ele vai executar coisas que já estão bem
30:32
planejadas, vai escolher um modelo mais barato.
30:35
Mas eu fiquei até na dúvida na hora que uma lagosta estava
30:37
falando sobre o GPT 5 se o GPT 5 e até quando você falou também
30:41
do Claudio sonet, se eles mesmos já fazem uma arquitetura de HRM
30:46
internamente, também pra selecionar ou né?
30:49
Ou se isso ainda fica na mão. Mesmo do desenvolvedor, sabe e?
30:53
Sim, não tá? Vamos entrar um pouquinho, né?
30:57
Porque essa parte é um pouco engraçada que ela entra em
30:59
camadas, porque o que acontece se você tem?
31:03
Vamos pensar que um pouco tem. Hoje acho que os 2 principais
31:08
seriam o cursor e talvez o próprio githov copayle o tinha
31:11
isso o jé falou do cursor falar agora, então um pouco do
31:14
copaylet do copaylet. Quando você seleciona os
31:17
modelos, você tem a opção de selecionar o auto.
31:20
Então ele vai ali baseado na sua pergunta, automaticamente tentar
31:24
é definir qual o modelo que você usar ali, né?
31:26
E o giter com pilot tem um limite de requests premium que
31:30
seria ali baseado. São as requisições que vão para
31:33
alguns dos modelos que normalmente eles cobram.
31:35
Você tem arte com limite 300 por mês, então nesse cenário você
31:39
tem embutido na própria ferramenta.
31:41
Uma coisa que vai automaticamente, né?
31:43
Um seletor que vai automaticamente definir com o
31:47
modelo. Ele vai mandar pergunta baseado
31:49
na complexidade, no que você tá pedindo.
31:51
E ele tem como objetivo ali meio que fazer com que mande uma
31:55
certa quantidade de respostas para o prêmio mais ao mesmo
31:58
tempo. Economize isso, porque como quem
32:00
está pagando a ferramenta, se seus se os seus request prêmios
32:04
acabarem, você vai ter um problema com com com a
32:08
ferramenta que você tá usando. Isso vai gerar um desconforto.
32:11
Ele tem ali como objetivo é otimizar isso de maneira AA
32:16
selecionar esse modelo que melhor responda o que você quer,
32:20
né? Então você tem isso aí embutido
32:21
na ferramenta, né? Só que além disso, alguns
32:24
modelos fazem isso internamente, segundo essas empresas.
32:28
É a maioria delas. Pelo menos falam que se você
32:32
está pagando pela ferramenta, ou seja, se você não está usando a
32:35
versão grátis dela. Você pode selecionar na API e
32:39
algo que você selecionou. Se ela tiver escrito lá Hi Mini
32:43
ou qualquer outro nome ali, você está mandando para aquele
32:47
modelo, até porque você está pagando por ele.
32:48
Dito isso, você não está pagando por ele.
32:50
Você está usando a versão gratuita ou até em alguns
32:53
cenários onde vocês opta por isso, né?
32:57
Você vai mandar e eles vão decidir como eles vendem essa
33:00
essa auto seleção. Olha só.
33:02
Você vai mandar pra gente, a gente decide, mas a gente vai
33:05
responder mais rápido, porque se ela não for, é necessária mesmo.
33:08
Você der um tempo, você vai ter que esperar pra resolver essa
33:11
resposta. A gente vai quebrar isso pra
33:13
você e quando for necessário a gente vai te mandar um raio.
33:16
Então tem todo uma questão ali embutida em que eles vão ter que
33:20
balancear o custo disso com o com o bem.
33:24
Isso está sendo feito, até porque, novamente, o
33:26
relançamento de GPT 5 foi um grande problema.
33:30
Por causa disso, está desbalanceado.
33:32
Né? Mas a ideia é você fazer isso de
33:34
uma maneira que deu o melhor resultado, porque quem usa muito
33:37
modelo Thinking sabe que demora pra caramba, tipo assim, ele
33:41
demora é. Eu gosto muito de fazer esse
33:44
ferimentos. Eu rodo coisas, algumas coisas.
33:47
Eu tenho uma licença minha de de alguns modelos que eu uso, eu
33:51
tenho uma licença pela adti que a gente usa No No dia a dia de
33:55
trabalho e também eu tenho uma atuação.
33:58
Dentro de clientes que me permitem ter um ambiente virtual
34:01
dentro do do virtual de desktop. Então mais de uma vez eu pude
34:06
ver Oo testar essa situação, que é se eu colocar agentes para
34:11
trabalhar na exatamente uma tarefa usando modelos
34:15
diferentes, qual que é o resultado?
34:17
E algumas vezes ainda mais agora que eu estou há um tempo já
34:20
testando no copyloty sw i lá que que já tem alguns, acho que um
34:24
pouco mais de uma semana que eu estou testando ir no copylet.
34:28
Eu consegui ver que algumas vezes ele funciona até melhor.
34:30
Apesar de ser claramente um modelo mais barato, é claramente
34:33
um modelo com menor crescimento do que alguns modelos que são
34:36
maiores ou mais caros. Seja porque talvez esses modelos
34:39
não estão tão acostumados assim. AA se adequar a ferramenta do
34:43
Copilot porque ele funciona muito bem para acessar MCP, para
34:46
buscar todos, para garantir o que ele está sempre funcionando.
34:49
Compensar as vezes, você bota o gpt sempre fazer isso e ele vai
34:52
esquipar todos os turnos do MCP. Não importa quantas vezes você
34:56
marcou lá, que é para ele usar assim, porque é possível.
34:58
Então, tipo assim, é. A gente consegue ver que muitas
35:02
vezes, talvez o ganho não tá tanto assim no modelo.
35:04
Então muito mais do que tá em volta dele na forma que ele vai
35:07
trabalhar, sabe? Tipo quase uma engenharia de
35:10
pronto, que também que você pode fazer para poder indicar para o
35:13
modelo o que que você quer. Inclusive gostaria de fazer, mas
35:17
eu não tive tempo, que é usar aquela ferramenta, ainda mais
35:20
agora que Oo chat do Copilot é open Soccer, né?
35:25
Que é poder mexer lá dentro mesmo, que é um agente pra poder
35:28
brincar, entendeu? Pra poder ver como é que
35:30
funciona essa sequência de questões.
35:32
Talvez até fazer um experimenter que mandaria a mesma request em
35:37
vários agentes, só pra ter os resultados e poder comparar eles
35:41
depois. Eu só não tive tempo de fazer
35:42
isso. Bacana é voltando para o que Oo
35:47
próprio malagutti falou, é no início, até da fala dele foi,
35:50
existe 11 decomposição que é hierárquica.
35:53
Eu vou quebrar aquilo ali em blocos e defender como eu vou
35:56
resolver aquilo dependendo do nível de abstração.
35:58
Então por isso que muitas vezes o modelo mais barato, menos
36:01
treinado, menos com nada, ele vai atender melhor, porque
36:04
normalmente ele vem de uma estrutura Born up, então ele vai
36:08
pegar ali as informações e tentar resolver sequencialmente
36:11
por grau de complexidade antes de executar.
36:13
E a pelo que o próprio sone fala, as camadas inferiores dele
36:17
vai processar padrões, o que é básico, o que é mais simples, as
36:22
intermediárias vai pegar conceitos e relações.
36:25
E a partir desses conceitos e relações ele pode voltar pra
36:29
inferior e executar um conceito que é básico, ou jogar pra
36:32
superiores, que vai realizar mesmo reasing abstrato e tomar
36:36
novas decisões a partir disso. Então ele vai se adaptar tarefas
36:40
simples, ele vai responder rápido e com essas atividades.
36:42
Inferiores tarefas complexas. Ele vai jogar e trabalhar com
36:46
toda a hierarquia, tomando decisões e subindo e descendo
36:49
dependendo de como ele for decompondo o problema.
36:52
Mas o próprio sonet faz isso por baixo dos pontos.
36:54
Ele é treinado para responder dessa forma e.
36:56
Se você quiser ver isso acontecendo, o próprio Copilot,
36:59
mesmo se você colocar o auto e fizer uma pergunta, a primeira
37:02
coisa que ele faz vai ser transformar.
37:04
É o que você pediu numa lista de todo e vai começar a responder
37:07
isso em agentes se você coloca o mouse no chat.
37:11
Você consegue ver que No No canto inferior direito ele vai
37:14
trocando o modelo baseado na testa que ele está.
37:17
Se é uma testa que mais simples, ele responde com Mini, com
37:19
algumas vermas gratuitas e chegou no complexo.
37:21
De repente ele jogou OOGPT sim, consolo ele pra atuar pra poder
37:25
fazer esse processamento. Isso é bem legal?
37:28
É. Eu não costumo utilizar muito o
37:30
modo alto do cursor. Não que eu eu fico achando que
37:33
as coisas ficam ruins, mas talvez, né, eu esteja com algum
37:36
preconceito, né? Não, não, mas pode ser.
37:39
Mas pode ser que ele, enfim, já melhorou também, né?
37:42
Enfim, é eu. Eu fico achando que eu sei
37:44
escolher melhor o modelo do que ele, mas isso é muito legal
37:48
porque. É Oo que a gente já viu, né?
37:51
Assim, quando a gente trabalha com desenvolvimento justamente é
37:54
que quando se decompõe as tarefas, pede para ele, de fato
37:58
decompor as coisas em pedaços menores, ele acaba executando
38:01
melhor. E eu fiquei pensando que talvez
38:03
ele faça isso, né? Do tio dos é uma outra forma
38:07
também. Não só para melhorar o
38:08
pensamento, a execução dele, mas também para que ele consiga
38:12
decompor e utilizar os melhores modelos, né?
38:14
A gente tem uma coisa clara que a gente precisa entender, que é
38:18
o conflito de interesse. Entre o usuário e a empresa que
38:21
está vendendo esse serviço. A empresa que está vendendo esse
38:24
serviço, ela quer o menor modelo, modelo mais simples que
38:28
resolva aquele problema. O usuário quer o maior modelo
38:33
que resolva aquele problema da maneira mais simples.
38:35
Então, tipo assim, o seu objetivo como com quem está
38:39
resolvendo essa tarefa é como é que eu pego o melhor modelo
38:42
possível, ou seja, a melhor resposta possível.
38:44
Mais que um modelo que me responda rápido, que não seja
38:46
demorado, mas que seja muito. Eu não quero necessariamente
38:49
usar o cloud Sony 4 tanamã ou o GPT 5.
38:53
Às vezes eu consigo usar o mínimo e me dar uma resposta
38:56
muito boa. Meu objetivo é isso, como é que
38:58
eu pego a menor, a melhor resposta com menor modelo?
39:02
Então é melhor resposta, menor modelo.
39:05
A essas e empresas, elas querem o menor modelo para a melhor
39:08
resposta. Então, tipo assim, existe essa
39:11
troca de ordem nessa tomada de decisão e ela é um conflito de
39:14
interesse. Eles querem primeiro a reduzir o
39:16
modelo, que é o mínimo ali, desde que você aceite a
39:19
resposta. O que a gente quer é a melhor
39:21
resposta, sem ter que crescer demais o modelo, porque ou
39:23
demora ou eventualmente vai ficar financeiramente inviável.
39:26
No caso do culpado, a gente gastando request prêmios ou por
39:30
aí vai. E quando a gente fala melhor, os
39:32
modelos, normalmente são os modelos que a gente não consegue
39:35
tangibilizar, porque é o que eles mais treinam.
39:37
E a gente não consegue ter um valor de custo.
39:39
Tanto é que o próprio de psique falou, olha, é barato construir
39:44
isso aqui. Agora treina isso aqui para você
39:46
ver o corpo. Exatamente.
39:48
E eu fico até pensando, até quando vocês falam Na Na questão
39:51
do dia, pega 11, Oo problema e tenta é quebrar ele em descobrir
39:57
se o problema é complexo, se o problema não é complexo, se o
39:59
problema é simples. Até isso deve ser um é.
40:02
É um nível de complexidade muito grande, né, cara?
40:04
Então, tipo assim, nessas experimentações que você fala
40:07
que fica fazendo, né? Malagut, cara, você às vezes é
40:10
bem provável que você consiga chegar num prompt que,
40:12
dependendo da forma como você fala ou de um de um agente,
40:15
dependendo da forma como você configura, ele vai ficar muito
40:17
no limiar assim dessa questão do HRM, do de ir pro modo rápido,
40:21
de ir pro modo pro modo mais mais lento, né?
40:24
Tipo então. É, você pode ter muita
40:27
dificuldade nisso, né, de chegar e conseguir direcionar, falar,
40:30
cara, cada hora que eu tô pegando esse, essa questão aqui
40:33
tá tá indo de um jeito um pouco diferente, né?
40:36
Então é até isso é se a gente conseguir tentar quebrar mais,
40:40
né? É igual falou.
40:42
E decupando esse problema e tudo talvez ajude nessa, nessa quebra
40:45
do, do, do, do do problema, né, de mais.
40:48
Mais complexo ou mais simples? Uma coisa que a gente vê que é
40:51
essa realidade é o fato de que muitos frameworks que fazem
40:55
exatamente isso se tornam cada vez mais comum.
40:58
O espec kit do do GitHub ou qualquer outro que você pegar,
41:01
você fala horrip, você vai usar qualquer outro framework?
41:04
Tem gente? Você escolha seu free de
41:06
framework ali que de acordo com com o quanto você gosta dele.
41:10
O quanto você quer trabalhar, mas ele vai fazer isso?
41:12
É tipo assim, pô, eu vou quebrar esse cara em tarefas, eu vou
41:14
quebrar tarefas em mais tarefas, até que eventualmente eu falo,
41:17
se eu não consigo quebrar mais, era essa é a minha complexidade.
41:19
Então, baseado nisso aqui eu consigo usar um modelo mais
41:22
simples. Então a ideia é, pegue modelos
41:24
complexos, quebre AO seu problema em tarefas.
41:27
Essas tarefas podem perder modelos mais simples do que o
41:29
modelo original, mas talvez não o mais simples possível, porque
41:32
ela ainda pode ser quebrada em mais tarefas.
41:34
Até o momento você mudou uma árvore de tarefas.
41:36
Aí você falou, está bom. Agora eu posso colocar o é uma
41:39
criança Cortana, que ela vai dar um resultado, entendeu?
41:41
Então pode ser um modelo mais simples.
41:43
É assim que vai funcionar. O seu objetivo?
41:46
A ideia é só que a gente não tem esse tempo.
41:48
Então esses o que eles querem fazer é, cara, como é que eu
41:52
quebro o suficiente para fazer? Mas eu também não quero gastar
41:54
meu tempo pegando uma tarefa que eu sei que eu gasto 3 horas aqui
41:57
para fazer ela. E ele vai ficar ali quebrando em
42:01
128 testes, tipo assim, cara, não vale a pena.
42:05
É assim, eu quero novamente nessa questão de ficar
42:08
balanceando as coisas é qual que é AA testa mais complexa que eu
42:12
posso dar para esse modelo que ele vai responder fácil sem me
42:15
encher o saco. Eu acho que é isso aí, falou
42:17
assim, como é que eu vou quebrar ela de uma maneira?
42:19
Disse assim. Nessa questão da HRM, né?
42:21
A gente assim, a coisa que ela faz tão rápido que coisa que ela
42:23
precisa pensar, Ah, no final das contas, é como é que eu quebro?
42:26
Essa testa o suficiente para que todos as testes resultantes
42:29
sejam testes que são passes de serem resolvidos.
42:32
Eu penso para quebrar, mas todo o resultado final ela é um bom
42:35
resultado. Quando ela caiu nesse limiar de
42:38
vai ser resolvido facilmente. Essa aqui é vai ser de graça,
42:42
viu? Pelo que eu testei na vozes da
42:45
minha cabeça também, dos resultados, pratos que eu ando
42:47
tendo, é toda vez que eu tô quebrando minhas telas, que eu
42:50
tô decompondo, eu defino uma persona e eu já direciono muito.
42:54
Tipo essa testa aqui que você quebrou é para um desenvolvedor
42:57
Java back in sênior, essa daqui que envolve o entendimento do
43:00
banco de dados e você vai usar OMCP para se conectar de um DBA
43:04
senior, então já direciono e ele já sabe como usar o modelo.
43:07
Qual foi melhor treinado para aquilo?
43:09
E aquilo acaba me dando um resultado muito superiores a só
43:12
ter a teste, mas eu tenho a teste com o perfil que ela
43:15
executa, então traz melhores resultados.
43:18
Legal, um alerta só baseado no que o dia falou lá, porque eu
43:22
sei que a gente utiliza muito em CPI para tirar informações de
43:26
bancos que a gente tá rodando em DOC local.
43:28
Independente se você tá usando um LM, um SLM, não conecte ele
43:35
no banco de produção. Bom, gente, então a.
43:40
Gente, foi falando muito aqui no episódio sobre AL MS, né?
43:44
Sobre os dilemas que elas trouxeram, né?
43:46
Esses problemas, essas limitações que as l MS vieram
43:50
resolver, principalmente de curso e eficiência EAAHRM que
43:54
veio resolver mais em relação a esse pensamento mais parecido
43:58
com o jeito que nós pensamos, né?
44:00
De raciocínio um pouco mais real.
44:01
E aí, o que eu quero perguntar para vocês o seguinte.
44:05
Alguma dessas elas são excludentes?
44:08
Ou seja, né? Uma vai acabar substituindo a
44:10
outra ou não elas, porque assim, né?
44:13
A gente conversou sobre HRM, pareceu que HRM é bem mais uma
44:16
arquitetura mesmo que orquestra SLMSELMS, por exemplo, né?
44:21
Do que mais do que vir para substituir, né?
44:24
Elas, né? E ao mesmo tempo, parece também
44:27
que as LMS não vem totalmente substituir as LMS, que de alguma
44:31
forma tem algumas coisas que a gente ainda vai precisar desses
44:34
diálogos mais abertos e tudo mais.
44:37
Então queria ouvir a opinião de vocês assim, se existe algum
44:40
alguma substituição ou se elas enfim, o futuro, né?
44:43
O passo 2 aqui, né? Da da asias, elas, essas coisas
44:47
todas coexistirem. Eu acho que a gente está muito
44:51
acostumado com recentemente, né? Com tudo.
44:53
Ser muito disruptivo e tipo assim, é enterrar o velho e
44:56
abraçar o novo, que é o que vai mudar o mundo.
45:00
Mas eu talvez também pela parte de a ter trabalhado com academia
45:05
e Na Na área científica. Eu penso muito mais que as
45:09
coisas, elas são não tão disruptivas assim, elas você vai
45:13
absorvendo os conhecimentos, melhorando e evoluindo, tipo
45:16
assim, nem tudo vai ser igual, vai enterrar ao velho e colocar
45:18
o novo. A gente não tem mais flash nos
45:20
navegadores, chicel e morreu, tô entregando também idade agora a
45:25
ideia é que você vai evoluindo mesmo, você vai pegando elas,
45:28
elas vão o caminhar da ciência, muitas vezes ela é lenta,
45:31
normalmente quando isso chega no mercado já é um boom e acaba
45:34
mudando muita coisa porque já tá consolidado, a gente tá tendo
45:37
um. Um cenário um pouco atípico,
45:39
porque a gente tá nesse cenário de AO mercado e a academia tão
45:43
meio que caminhando juntos e isso tá até girando um boom pela
45:46
parte também financeira que isso movimenta, né?
45:49
Mas o que vai acontecer normalmente é que você não vai
45:53
simplesmente jogar fora antigo EE pegar um novo, você vai
45:55
evoluindo gradativamente e meio que reaproveitando o que é bom
45:59
do antigo no novo até o momento que você vai entregar alguma
46:02
coisa, vai morrer de vai entregar alguma coisa mais
46:04
popável mesmo. Vai morrer em algum momento?
46:07
Talvez. Mas tem site usando flash e
46:11
sistema condequir até hoje, entendeu?
46:13
Tipo assim, algumas coisas vão ficando ligadas, as coisas vão
46:15
evoluindo com o tempo, mas a ideia é que você vai absorvendo
46:18
o melhor ali, entregando o que talvez nessa sopa de letrinha
46:22
seja um outro nome aí daqui uns anos, mas que no final das
46:26
contas, vai ter muito da base que a gente tem.
46:28
Vai ter coisas usando transformer, vai ter coisas
46:30
usando poda, vai ter coisas usando a gente vai ter.
46:33
Então a gente vai meio que absorvendo, pegando o melhor de
46:35
cada cenário. Ali a gente tem normalmente esse
46:38
padrão que a gente sabe o que acontece, que é um boom
46:40
financeiro gigantesco para ter o maior ganho em performance, em
46:44
custo, e depois disso você tem que dar pra gente se transformar
46:46
isso inviável. Então você começa a aproveitar
46:48
essas boas práticas para cortar custo, entregar menores, tipo
46:52
assim, nunca coube tudo que cabia no celular do dia para a
46:55
noite, entende? Tipo assim, isso aqui são anos e
46:57
anos de refinamento, mas vai acontecer com IA.
47:00
Eu concordo 100% nessa visão do sempre vai depender, né?
47:03
Porque se eu tenho um AA tendência hoje do mercado, ela
47:06
tá voltando mais pra HDM. Eles querem super, super um e a
47:10
super inteligente consegue responder qualquer coisa, mas
47:13
qual o custo disso? Eu acho que as empresas, elas
47:15
estão mais interessadas no HRM mesmo, então a empresa que me
47:18
vende HDM não é antrópico, por exemplo, ela que vai investir em
47:21
uma agência porque ela quer economizar.
47:23
Eu tenho um, eu tenho um contrato ali, eu posso fazer 500
47:25
request no curso. E ela quer me dizer, olha,
47:28
talvez você não precise fazer quem entra de Quest aqui no
47:30
Sonic 4K, caro pra caramba pra eu manter faz nessa daqui que é
47:33
mais tranquilo. Então ele vai direcionar isso
47:35
internamente, é? E o mercado ele vai vai tender a
47:38
gente a fazer uma especificação pra cada problema que a gente
47:42
quer resolver. Eu tenho algo mais tranquilo, eu
47:44
posso resolver com a gente, é simples.
47:46
Ah, eu tenho algo que realmente eu preciso ter, uma base de
47:48
conhecimento preciso pulgar diversa e diversos
47:51
profissionais, uma árvore em cadeia de agentes pra responder
47:55
sobre aquele problema. Eu vou pulgar e isso vai ter
47:58
custos compartilhados, e aí a gente vai saber como aplicar e
48:01
quando usar cada um. Mas eu acho que Oo que a gente
48:05
pode dizer é como desenvolvedor, a gente vai acabar continuar
48:07
usando ALLN, mas por trás dos planos vão ter interesses que
48:12
vão fazer a gente, mesmo que indiretamente.
48:15
Que já tá ocorrendo. Escolheu o que é mais barato,
48:17
mais eficiente, pra que? Com certeza, né?
48:20
Acho que o GPT 5 igual mamagos falou que eu acho que já é um
48:23
caminho disso aí, que eles internamente estão escolhendo
48:25
coisas, né? E Eu Acredito, concordo com
48:28
você, né? Assim, os cursos da vida o
48:30
copylet, né? Com esses modo alto também
48:33
provavelmente já fazem coisas semelhantes, mas é enfim, né?
48:37
Ainda tem muita coisa que fica na mão do desenvolvedor.
48:39
Será talvez no futuro. Né, os próprios modelos igual
48:43
você falou, né? O próprio Cláudio lá 4 ele vai
48:46
internamente também fazer isso, enfim, é, gostei muito do papo,
48:51
galera, acho que foi massa assim pra gente entender.
48:54
Pra gente é entender um pouco mais, né?
48:57
Das SLMS, das HRMSE, como que isso impacta, né?
49:01
O nosso futuro aí é o nosso presente como desenvolvedores de
49:04
software e é isso, muito obrigada, gente, e até a
49:08
próxima, tchau, tchau. Tchau, tchau, tchau pro pessoal,
49:10
até mais. Tchau, tchau.