Latest / Entre Chaves / #285 Kimi K3, GPT-5.6 e Fable 5 não bastam sozinhos

Transcript

#285 Kimi K3, GPT-5.6 e Fable 5 não bastam sozinhos · Entre Chaves

0:00
Está começando mais um entre chaves, o seu podcast de
0:03
desenvolvimento de software. Eu sou o Luiz Fernando.
0:06
Eu estou aí para fazer uma pergunta bem direta para vocês,
0:08
nossos ouvintes, vocês conhecem o assassino da China?
0:12
Ouviram falar dele? Se você tá de qualquer forma
0:16
ligado a inteligência artificial, a tecnologia, nos
0:20
últimos tempos você deve ter ouvido falar dessa manchete aí
0:23
que rodou para todo lado sobre o assassino da China.
0:27
A Moonlight lançou o modelo dela.
0:30
O química 3 e todo, que está sendo assim considerado o
0:34
destruidor das IASE. Aí pra gente poder entrar um
0:39
pouco mais fundo nisso, e não só entrar mais fundo nisso, mas
0:42
trazer um comparativo realista sobre o química 3, comparando
0:47
ele com o fable five com o GPT 5.6, o modelo sol.
0:52
Eu estou aqui com nossos 2 convidados de hoje, o Felipe.
0:56
Oi pessoal, meu nome é Felipe Guimarães.
0:58
Eu sou desenvolvedor líder na DTI.
1:00
Estou aqui há aproximadamente 5 anos e meio e já tem por volta
1:04
de 3 anos que eu trabalho com desenvolvimento.
1:07
Agente com. E também o Mateus.
1:09
E aí, pessoal também, eu sou o Mateus, eu sou o primeiro da
1:12
líder aqui também da. DTI vamos começar falando sobre
1:14
o GPT 5.6 e hoje ele tem o Terra Luna e o Sol, né?
1:20
Onde o Sol é Oo modelo de ponta. Esse modelo é o da open i nós
1:25
temos da anthropic. O cloud Pablo five.
1:28
A gente já fez episódios sobre ele aqui e já conversamos
1:31
bastante sobre ele, né? E nada mais é do que o mitos
1:33
cheio de guard railes pra poder domar o mito, né?
1:38
E aí, reduzir. Aí fizeram um downgrade de mito
1:41
pra fábula, né? Deram uma podada nele e a Moon
1:46
shot lançou o química 3 que é, é, tem, começou se a ter 111
1:52
alvoroço em cima. De que Ah, o crime a 3 é um
1:56
modelo open source, sendo que na verdade não é bem assim.
1:59
A gente também vai chegar lá nessa conversa.
2:01
É, é parâmetros abertos, é diferente do código aberto.
2:04
Vamos dar 11 breve descrição de cada um.
2:08
Ok, vamos começar então com o fable 5, né?
2:11
O fable 5 ele foi lançado alien 9 de junho e ele passou por um
2:15
período de experimentação aberta pro pro público.
2:19
Não é aberta entre aspas, né? É em modelos pagos.
2:23
Mas recentemente ele transicionou para um modelo de
2:26
créditos, né? Diferente dos outros 2 modelos,
2:28
ele é o único que agora ele não é disponível em uma subscrição
2:32
realizada junto com com seu provedor, a linha cloud, né?
2:35
Pelo menos é o que eu tenho utilizado principalmente durante
2:38
o desenvolvimento agente com aqui na dti.
2:41
Na dti a gente tem diversos times, cada um com seu próprio
2:44
premiwork meu time específico, a gente resolveu migrar para uma
2:47
abordagem 100% cloud. Tivemos oportunidade de
2:50
experienciar, né, o fable. Infelizmente, devido a
2:54
limitações da própria antrópica que a gente migrou pro Opus, mas
2:57
ainda assim a gente teve muitos resultados bons com o fable.
3:01
Em seguida a gente tem o GPT 5.6, que diferente de quando a
3:05
gente fala de fable, né? Ele engloba 3 diferentes
3:07
modelos, seriam comparáveis ali a diferentes modelos da
3:10
antrópica. Então a gente tem o modelo sol,
3:13
que é o modelo flag chip tem liderado o desenvolvimento EE,
3:16
será a principal fonte de comparação aqui hoje, e também o
3:19
Terra e o Luna, ele veio. É um pouco depois do do
3:23
lançamento do do fable, se eu não me engano, foi em 9 de julho
3:28
e desde então ele segue disponível para subscrições, ao
3:32
contrário do do fable e por final, o irmão caçula desses 3
3:36
modelos, o crime k 3, que foi lançado pouco depois do Sol, né?
3:41
Ele, o Sol foi lançado novamente dia 9 de julho e o crime ele
3:44
veio uma semana depois, no dia 16 de julho.
3:48
O crime ele funciona de 2 maneiras principais.
3:51
Ele pode ser acessado tanto via API, então ele possui também um
3:55
sistema subscrição onde você utiliza dos servidores da
3:58
monshort para fazer o desenvolvimento agítico.
4:00
Porém, ao contrário dos seus competidores, nós temos a
4:03
possibilidade de realizar o self hoasting, né?
4:06
Nós podemos ter ele rodando em servidores privados de forma
4:10
100% independente, com nenhuma informação trafegando para
4:14
internet exterior. E uma coisa eu acho interessante
4:17
a gente usar de comparação. É que é o é o famoso custo por
4:23
token, né? Se a gente né?
4:24
Listar aqui primeiro, comparando os tokens de entrada, o faple
4:29
five, ele tá cobrando 10 USD, né?
4:32
Por 1000000 de tokens de entrada e enquanto o GP, o gpt sol com 5
4:38
USD e o crime 3. Quando a gente pega saída, a
4:43
gente pega 50 USD do faple five, conta 30.
4:48
Do Sol, do GPT sol e apenas 15 do crime.
4:53
Mas a minha pergunta é, isso é tudo que a gente tem que olhar?
4:56
É só curso, curso de token ou não é token?
5:01
É tudo igual. Quer dizer que se eu tenho
5:03
1000000 de tokens e eu mandar os 3 modelos fazerem a mesma coisa,
5:08
eles vão gastar o mesmo tanto de token, porque não adianta você
5:11
ter 111 modelo que o custo. É um pouco mais barato dos toks
5:17
de entrada e saída. Se por uma mesma atividade ou
5:20
por uma mesma tarefa ele gasta 23 vezes mais token do que o
5:24
outro, então muitas vezes acaba que chegar no mesmo valor, né?
5:28
Um valor bem próximo, às vezes até mais caro.
5:30
Isso assim EE isso é possível, né?
5:32
De acontecer. Não, e certamente é possível,
5:35
tanto que é o que acontece. Então nós temos modelos que eles
5:38
vão raciocinar mais, raciocinar menos, e isso interfere
5:41
diretamente naquele consumo de tokens.
5:43
Se eu tenho 11 IAC, ela tem 11 entrada, uma saída alta.
5:47
Porém, ela é capaz de raciocinar de forma extremamente rápida, de
5:50
gastar menos tempo de processamento, o que se
5:53
relaciona diretamente com o tempo de GPUU utilizado para
5:56
fazer aquele cálculo. No final, eu vou ter um gasto
6:00
menor e a gente pode mensurar isso através do custo por
6:03
tarefa. Que ele se aproxima mais do
6:05
custo real que a gente teria utilizando um desenvolvimento
6:08
agente. Então, por exemplo, eu tenho uma
6:11
única tarefa, se eu tenho o mesmo prompt de entrada, peço
6:15
química 3 o Sol 5.6 e o fable. Eles vão ter cursos diferentes.
6:22
Segundo um estudo que foi realizado pela artifício
6:26
análises, nós temos que o fable lidera a tabela de de custo com
6:31
mais caro. Em uma em uma tarefa com um
6:33
custo de 3 vírgula 14 USD por tarefa.
6:38
Em seguida nós temos o Sol 5.6 com custo de 1,0, 6 USD, então
6:43
ele é 3 vezes mais barato que o fable e logo atrás a gente tem o
6:47
química 3 com zero vírgula 94 USD, muito próximo do custo do
6:51
Sol. É eu agora, se eu até cheguei a
6:56
ver alguns vídeos recentes. É onde tem uma variação em cima
7:00
disso, em algumas tarefas OOGPT sol tá mais caro que o quime
7:06
outras tarefas, o quime tá mais caro que o GPT, mas o fable tá
7:10
sempre disparado na frente de muito.
7:13
Não é assim, não é coisa de tipo assim.
7:15
Não é uma coisa de 10%, 20% mais caro.
7:17
Não é coisa de 23 vezes mais caro do que a média dos outros
7:20
2, né uma. Coisa que a gente tem que levar
7:23
em consideração é o objetivo. Para quais esses modelos foram
7:26
criados? O fable foi criado pra ser o
7:28
modelo de ponta, ele foi aí treinado da forma mais extensiva
7:32
pra entregar a melhor qualidade, não o melhor custo.
7:35
Esse nunca foi EE não é o objetivo do fable.
7:38
Pra isso a antrópica disponibiliza outros modelos com
7:41
um custo benefício melhor do que o fable.
7:43
Porém o fable é mirado em desempenho em entregar aquela
7:47
tarefa com a qualidade flag chip do mercado.
7:51
É porque, embora OOOGPT. E o crime?
7:56
Eles muitas vezes têm ficado muito próximos em termos de
7:59
custo. Uma coisa que eu reparei
8:00
bastante nos benchmarks e tudo que eu vi é que o GPT é muito
8:05
mais rápido que o crime, mas é muito mais rápido.
8:08
Da mesma forma que OA gente, eu não estou falando novamente de
8:11
1020 por cento mais rápido. Não estou falando às vezes a
8:14
mesma resposta com 1/5 do tempo, um quarto do tempo, né?
8:17
Uma resposta que às vezes o crime demorou 15 minutos.
8:20
OOOGPT conseguiu em 4 minutos, 5 minutos e muito.
8:25
Então, às vezes é mesmo que o GPT tenha dado 1111 resposta um
8:30
pouquinho mais cara. Será que para ter uma
8:33
performance muito superior não acaba valendo a pena?
8:36
E aí depende. Do pra que que você vai utilizar
8:38
aquele modelo, né? Se você tem uma tarefa que você
8:40
precisa de tempo de resposta ou você precisa de qualidade de
8:43
resposta e às vezes Oo custo está sendo o nosso empecilho, a
8:46
gente precisa entender se vai, se realmente vale a pena eu
8:49
optar por gastar menos e ter um tempo de resposta maior.
8:53
Ou uma qualidade mais mais reduzida e ter 11 preço menor,
8:57
né? E aí aquela coisa, se você tem o
8:59
como gastar, né? Tem aquela disponibilidade.
9:02
Do valor por. Tokens, obviamente, a gente vai
9:05
é optar pelo que tem a entregar maior qualidade.
9:08
A gente volta para aquele velho diagrama, o bom, o barato e o
9:12
rápido. Não tem como você ter os 3.
9:15
Você tem que escolher. Você quer algo barato?
9:18
EE bom. O que me ele tem entregado uma
9:21
boa qualidade, porém ele demora muito pra pra processar até que
9:25
alguma coisa com qualidade e rápida.
9:29
Esse é mais o foco tanto do fable quanto do Sol.
9:32
Oo fable ele é mais focado em qualidade o Sol, ele é mais
9:35
focado em velocidade. Acho que a gente cai dentro do
9:38
grande paradigma da computação que é strad off de fato, né?
9:40
A gente nunca vai ter assim o melhor dos mundos.
9:42
Ou a bala de prata pra pra. Pra todas as situações, né?
9:46
Sempre vai depender muito do que que você quer fazer, como você
9:49
quer fazer e o que que você tem disponível.
9:50
Outro grande exemplo, os modelos, eles são treinados de
9:53
forma diferente. Então isso que você comentou que
9:56
não existe bala de prata, isso vai até pra tarefa que está
9:59
sendo realizada. O Quim ele desempenhou muito bem
10:02
em tarefas de modelagem, então realizar produção de sites com
10:07
obras 3 DE afins, porém em outras tarefas já não é mais.
10:12
O foco não é o. O material que foi utilizado
10:14
para treinar o químico, então, cada tarefa também demanda 11
10:18
específico. Eles têm desempenhos diferentes
10:20
para tarefas diferentes. É, se a gente considerar o ciclo
10:23
de desenvolvimento, vocês diriam que tem algum que se sobressai
10:28
ou vocês estão muito próximos? O que que vocês diriam sobre
10:31
isso? Assim, incluindo a parte da
10:33
especificação e geração de tarefas.
10:35
A parte de implementação e a parte de testes e verificação.
10:39
Olha, eu acho que dentro do do ecossistema de desenvolvimento,
10:42
eu acho que eu costumo costumo dizer que a antrópica, ela vai
10:45
se destacar em quase todas essas etapas, né?
10:47
A gente vai ter modelos ali que vão ser melhores pra parte de é
10:51
da parte do espec mesmo, vão ter modelos melhores ali pra parte
10:55
de revisão de código, pra escrita de código.
10:57
Então eu costumo dizer que a antrópica tá, ela navega muito
11:00
bem em todas essas etapas, né? Então, pro desenvolvimento eu
11:02
acho que. Ele é melhor, entendeu isso?
11:04
Vai um pouco além até do próprio modelo.
11:07
A gente tem todo o instrumental que engloba aquele modelo de a
11:13
antrópico, por exemplo, tem o cloud code.
11:15
Muita gente pensa que é a mesma coisa que eu utilizar o cloud, e
11:19
utilizar o cloud code é a mesma coisa e não é.
11:21
Eu posso utilizar o cloud code com diferentes modelos, né?
11:25
A gente teve um grande problema de vazamento de segurança.
11:28
Que tivemos com a antrópica que vazou o código da do cloud code
11:32
e algumas pessoas conseguiram inclusive adaptar esse código
11:34
pra rodar com modelos diferentes, porém de forma
11:37
nativa, toda arquitetura feita pela antrópica, ela funciona
11:41
muito bem pra desenvolvimento da gente com o cloud.
11:44
E como você compara, por exemplo, tem o cloud code, mas
11:47
ao mesmo tempo a openaire tem o codex.
11:50
Isso eu tenho utilizado o codex recentemente.
11:52
Ele tem se saído muito bem. Eu percebi que ele possui um
11:55
excelente sistema de sub adin. Mesmo sem andar o comando, eu
11:59
sinto que quando eu utilizo o cloud code, ele fica um pouco
12:02
relutante ali de disparar um sub agente etcétera etcétera e essa
12:05
arquitetura do do code? Ela tá bem à frente ainda do que
12:09
a gente tem no cold code e. Aí tem uma coisa que eu queria
12:11
trazer uma discussão aqui que acredito que muita gente tá
12:14
interessado nela, é essa questão do open source, open parâmetros
12:22
e porque quando a gente tá falando de curso por token aqui?
12:26
A gente está considerando que nós estamos usando a
12:28
infraestrutura de terceiros, eu estou usando OOOO cloud, eu
12:32
estou usando o GPT, mas eles estão hospedados lá, lá na
12:36
antrópica, lá na open AI e aí eu estou pagando por essa
12:39
utilização. Só que o crime ele é, né?
12:43
Uma das vantagens tem sido amplamente divulgadas dele é a é
12:48
a possibilidade do self hosting, porque aí é já muda
12:52
completamente o conceito de curso por token, porque você
12:54
está hospedando ele. Eu pouco curiosidade é eu fui
12:58
ver até na eu pesquisei antes do do nosso episódio aqui e pra
13:03
baixar o crime é uma bagatela de um ponto 56 TB pra você poder
13:09
ter isso no local. E aí ele, né, ele também está
13:12
sendo divulgado que ele tem 2.8 trilhões de parâmetros, então
13:17
primeiro assim, pro nosso ouvinte às vezes não tem muita
13:19
noção exatamente do que significa essa quantidade de
13:22
parâmetros. O que que significa?
13:24
Esse essa quantidade de parâmetros que o que significa o
13:26
modelo ter 2.8 trilhões de parâmetros, como que isso se
13:30
compara com os demais e o que que a gente vocês têm ideia do
13:34
que que precisaria para gente conseguir efetivamente rodar
13:38
isso numa infraestrutura proprietária?
13:41
Ok, vamos começar então, pela parte do tamanho do crime, 3 1.6
13:45
TB é a parte mais fácil de se fazer a hospedagem 1.6 TB eu
13:50
consigo comprar um HD e colocar esse modelo todo ali.
13:53
Rodar o modelo é uma história completamente diferente.
13:56
Eu preciso ter um processador, eu preciso ter uma Placa Gráfica
13:59
capaz de realizar todo o processamento do modelo.
14:03
E essa é a parte que realmente tem encalecido a utilização de
14:07
ar. Um ou mais Placas gráficas e
14:10
Placas de GPU, né? E aí a gente entra na numa
14:12
discussão que é o quê? Tudo bem que o clima realmente é
14:15
mais barato, mas se eu vou optar pelo self houst por causa de
14:19
toda essa segurança que eu ter ele rodando na minha
14:22
infraestrutura atrás? O quanto que eu vou gastar de
14:25
infraestrutura para manter ele rodando na com o mesmo
14:28
desempenho que seria ele rodando pela própria?
14:30
Química as empresas de tecnologia têm gasto trilhões em
14:33
data centers justamente para terem servidores capazes de
14:37
rodar. Então rodar um modelo local
14:40
certamente não é coisa fácil. Muitas pessoas, elas rodam
14:43
modelos menores, então é existem versões Mini feitas para serem
14:48
rodadas em. Data simples, menores.
14:51
Eu vi, por exemplo, modelos que são adaptados pra rodar até
14:54
mesmo em notebooks, mas é da casa de milhões de parâmetros e
14:58
não de trilhões de parâmetros por isso, né?
15:01
É, é por isso que eu até falei isso, da gente fazer esse
15:03
comparativo. O que significa ter 2.8 trilhões
15:06
de parâmetros? O que que significa isso?
15:08
Porque é modelos pra rodar, é infraestruturas pequenas.
15:12
São da ordem de milhões. E aí, a?
15:14
Gente tem dificuldade até de mensurar, né, a diferença entre
15:17
milhões e trilhões, né? Então pra a gente chegar nesse,
15:20
nesse desempenho que o crime 3 oferece, sendo roteado pela
15:23
própria crime, é pra um modelo que é rodado na própria máquina
15:27
ou numa infraestrutura menor. A gente tá falando de um abismo
15:30
gigantesco, a gente não vai conseguir chegar, é nesse mesmo
15:33
desempenho. Então é uma coisa que a gente
15:34
precisa colocar na balança, beleza, ele é mais barato e ele
15:37
é, é open parâmetro e open source.
15:40
Mas eu vou chegar nesse, ele vai ter esse mesmo desempenho, ele
15:42
vai continuar sendo um modelo de ponta, sendo o self host.
15:45
Mas a gente pode dizer que ele é open source ou ele é só open
15:49
parâmetros? Então eu acho que é um é uma
15:51
distinção interessante porque Eu Acredito que não existe um
15:54
modelo que seja open source, porque como que é a nossa
15:57
utilização de hoje em dia? Aí a ela acaba sendo uma caixa
16:00
preta. Ela não tem um código if e els
16:03
dentro dela, não consigo abrir o código fonte.
16:05
O que eu tenho acesso são os parâmetros que foram resultados
16:08
de um treinamento daquela e a. E esse parâmetro que é está na
16:12
casa dos trilhões. São basicamente diversos e
16:15
diversos números, onde eu dou uma entrada para aquele modelo,
16:18
ele faz todo o processamento com aquele parâmetro, com diversas
16:21
funções e et cetera, et cetera, e ele me dá um resultado.
16:24
Porém, isso é um open source, eu tenho acesso a esse código não e
16:28
que é um dos grandes perigos da EAA.
16:31
Gente não tem noção de como que AEA pensa.
16:33
A gente consegue ver os parâmetros.
16:35
Mas o que está realmente escondido lá dentro é um
16:38
mistério. Até mesmo a antrropic e a
16:40
OpenAI, eles não têm acesso ao código, eles não têm acesso AAO
16:45
source daquele modelo. Então nenhum modelo vai vir a
16:48
ser open source, nem mesmo se antrópic e a OpenAI liberasse
16:53
todos os seus parâmetros. Igual você mencionou, a gente
16:55
não tem acesso aos dados, foram treinados porque se o resultado
16:59
do treinamento de 1.6 Terra, você consegue imaginar o volume?
17:04
De dados foi usado muito pra treinar assim é inimaginável.
17:08
Então assim, igual você falou, Ah, um ponto você Ester, beleza,
17:10
qualquer lugar que você, qualquer aí lógica que você
17:13
chegar aí você me dá um HD de 2 Tera aí você acha fácil agora o
17:18
volume de dados de treinamento que resultou em um ponto você
17:22
Ester, de de de saída ali de resultado eu não consigo nem
17:26
imaginar quanto que foi. Ele basicamente vai ser um
17:28
grande filtro, né? Ele vai ter 11 massa de dados
17:30
gigantesca que resulta nesse nesse pequeno.
17:33
Né? Entre em comparação, resultado
17:35
de 1.6 bilhões, aí é. E o que a gente sempre fala a ya
17:39
trabalha por tua organização. O que ela faz?
17:42
Ela pega uma massa absurdamente gigantesca de dados, acha
17:47
padrões e parâmetros em comum que tem ali, né?
17:51
EEEO? Ah, eu quero pegar
17:54
desenvolvimento back end. Então tudo que ela achar no na
17:58
base de treinamento dela, ela vai pegar aquilo, vai pegar uma
18:01
média daquilo e vai tokenizar aquilo, né?
18:04
Então quando você dá uma entrada, ela vai tokenizar a sua
18:07
entrada, vai bater entrada com o que ela tem para disponibilizar
18:11
uma saída, né? Então é o que você falou.
18:13
E ela não trabalha com o ifiels e fiels, ela trabalha por
18:17
semelhança de tokens, é extremamente complexa de pensar.
18:21
Só que aí voltando a questão que a gente estava conversando.
18:25
É então realmente o química 3 ser open, parâmetros ou o que
18:30
quer que seja é realmente uma vantagem.
18:32
Faz diferença assim, ao menos que você esteja, ao menos que
18:36
você seja o Tony start e tá realmente trabalhando com a
18:40
tecnologia de ponta, que é segredo industrial máximo que
18:42
você não quer correr o risco de nada, nada, nada vazar, porque
18:45
você está disposto a investir muita grana nisso.
18:48
Faz sentido para alguém usar isso?
18:50
Um prêmios, alguém pensar nisso. O self hosting, ele tem usos bem
18:55
específicos. Tá voltando a parte da
18:57
estimativas de preço, né? A gente tinha o química 3 com 94
19:01
centavos de dólar EOGPT 5.6 sol com 1,4.
19:06
Agora se eu estou fazendo self hosting, o custo do química 3
19:10
vai ser 94 centavos de dólar, não vai ser mais, né?
19:13
A gente pode estimar aí na casa de milhares de reais ou até mais
19:16
pra fazer esse hosting. Então com certeza o custo do
19:18
química 3 ele sobe agora que nem você mencionou.
19:22
Se eu tiver 11, alguma aplicação do tipo governamental, onde eu
19:26
tenho muitos dados de governos, documentos classificados,
19:29
sensíveis e afins, às vezes é um custo que, ainda que ele não se
19:34
pague comparado com o desenvolvimento, é um
19:37
investimento no aporte que a empresa vai estar fazendo ali na
19:41
nos seus dados sensíveis. E na verdade, a gente consegue
19:45
pensar é cada um desses modelos, onde seria mais adequado a
19:50
utilização deles? Por exemplo, falar não pro fable
19:54
five é assim, quando você tiver tal tipo de tarefa, é fable
19:58
five. Quando você tiver tal tipo de de
20:00
de desafio de tarefa, é GPT. Ok, vamos começar então com o
20:05
famoso química 3. O química 3.
20:08
Ele está tendo um desempenho muito bom, né?
20:10
Ele tá aí classificado como terceiro modelo, juntamente com
20:13
seus pares GPT, 5.6, sol e o e o fable, porém ele tem aquele.
20:20
Aquela demora a ser entregue, então uma tarefa onde eu não
20:23
preciso ter uma entrega tão rápida.
20:25
Onde eu estou disposto a deixar ali um modelo rodando por 1
20:28
hora, ao invés de deixar ele rodando por 10 minutos.
20:31
Eu acho que ele é muito cabível. Ele tem uma boa qualidade, ele
20:34
tem uma boa 11, bom custo, porém ele tem uma demora na sua
20:39
entrega e isso vem do próprio princípio do modelo.
20:43
É pelo você falando assim, vem na cabeça aqueles.
20:46
Antigos processos estão rodados de madrugada e então assim, Ah,
20:49
eu tenho alguma uma coisa, eu estar sentado na frente do do do
20:53
contador esperando algo ser feito.
20:55
Agora se eu tenho um processo que roda às 3:00 da manhã e eu
20:58
preciso de um agente que vai vai sumarizar aquilo vai pegar, vai
21:02
processar outra coisa, vai dar um comando pra outra parte,
21:04
fazer não sei o quê, e eu vou chegar só no dia seguinte pra
21:07
olhar o resultado. Ele demorou 15 minutos ou
21:10
demorou 2 horas? Não faço a menor diferença na
21:11
minha vida. E uma coisa que me fez pensar no
21:13
que você falou do do GPT. Que você reparou no codex que é
21:18
a boa administração que ele tem de sub agentes pra tarefas que
21:24
precisam de uma certa autonomia do agente de tomar certas
21:29
decisões e se resolver sozinho? Provavelmente ele vai ser a
21:32
melhor opção. Sim.
21:34
E a gente tem que ter em mente que a gente está lidando com
21:36
modelos flechip. Então eles são realmente pra
21:38
tarefas mais complexas, pra um modelo pro, pra um chatbot.
21:42
Eu não vou utilizar 11 5.6. Agora, se eu preciso do melhor
21:46
do mercado, então o ideal seria aí com o fable 5, eu quero fazer
21:51
o melhor site com um dos melhores visuais e afins, fable
21:55
5. Porém, é importante ressaltar
21:57
que ele não está muito distante do ChatGPT 5.6.
22:01
Se a gente for olhar o artifício análises intervent index, ele
22:05
tá. o Sol está com uma pontuação de 59, enquanto o fable tá logo
22:10
à frente com 60. É nessa instituição específica,
22:14
né, que que dessa desse benchmark específico.
22:16
Uma coisa que eu também já reparei é que Oo antrópic se
22:21
distancia quando pega os benchmarks voltados para o
22:25
desenvolvimento de software. Aí é a hora que ela dá uma
22:27
disparada na frente, quando pega índices de inteligência geral,
22:31
de tarefas gerais. É rotinas, né?
22:34
Coisas execuções de rotina. É o crime.
22:37
OGPTEOEO table five não estamos falando do Opus não table five.
22:42
Tem diferença quase nenhuma do do do das tarefas rotineiras do
22:45
dia a dia, de coisa pequena. Quando a gente pega realmente
22:48
desenvolvimento de software, aí a antrópica dá um pulo na
22:51
frente. Se eu trabalho na área jurídica,
22:53
por exemplo, então muito, serão muitos poucos casos que eu
22:57
realmente vou precisar de um fable.
22:59
Agora, uma coisa que pode acabar acontecendo, né?
23:01
Eu vou é, por exemplo, acabei de desenvolver 111 aplicação aqui
23:05
de um cliente e eu quero fazer teste de segurança nela.
23:07
Eu quero fazer teste de penetração, eu quero fazer
23:10
realmente 11. Testes de ataque em cima dela.
23:13
Na minha mente, o que que teoricamente viria fable five,
23:17
porque ele dá classe, mitos, ele ele vai ter o melhor pensamento
23:21
e tal, só que que vai acontecer se eu tentar utilizar as
23:25
questões de segurança. É o fawback, né?
23:29
E aí a gente acha que tá usando o modelo, acha que tá usando o
23:34
fable five, quando na verdade a gente teve um fawback wals.
23:39
Porque cai, nos guarde, reios dele e alguns assuntos que já
23:42
foi, né? Isso está divulgado já pela
23:44
antrópica. Quando quando é questões é de
23:47
pesquisa biológica, quando é que algumas questões relacionadas AA
23:51
química, AA, ciber, segurança, eles propositalmente e
23:56
declaradamente eles fazem o fallback, né?
23:59
Alguns de vocês já experimentou o fallback?
24:01
Já conseguiu perceber que aconteceu o fallback com vocês?
24:04
Eu já passei por isso. Eu precisei fazer uma interação
24:07
e um banco de dados. E ele falou, OPA, estou mexendo
24:10
com o banco de dados aqui. Você está procurando?
24:12
Não, calma lá, vamos. Deixa um cara fazer um cara mais
24:16
fraco, fazer essa interação, essa reestruturação do seu banco
24:19
de dados. Mas ele realmente te avisou que
24:21
estava fazendo o faw back? Porque pelo que eu vi aqui, das
24:23
pesquisas que eu entendi é que é muito silencioso.
24:27
Ele não te avisa que ele está fazendo esse faw back?
24:28
Ele simplesmente faz e te devolve uma resposta.
24:30
E aí que é onde a gente entra. Nessa nessa pergunta a gente não
24:34
percebe é porque é silencioso. Ele chega a te avisar, aparece
24:37
um pequeno aviso, OPA, identifiquei alguma coisa
24:40
errada. Estou utilizando o Opus 4.8
24:43
agora, Oo Opus 5 a partir daqui, porém ele não para a execução,
24:47
ele não te avisa. E se você estiver rodando
24:51
múltiplos agentes, na hora que você voltar para aquele chat
24:54
específico, ele já vai ter processado.
24:55
Você vai chegar lá na resposta final e na resposta final ele
24:58
não menciona isso, então você precisa ficar atento no seu
25:00
prompt. Você precisa olhar como que está
25:02
acontecendo o pensamento dele. E na hora que ele faz a virada,
25:06
ele te avisa depois? Não.
25:07
E uma coisa também que eu já tenho conversado muito com o
25:09
pessoal aqui é que eu particularmente tenho utilizado
25:13
o cloud, né? Com com sdd e para
25:17
desenvolvimento. E eu separo.
25:19
No ciclo de desenvolvimento eu uso Opus para poder na parte de
25:22
para fazer a parte, especificação, questão de
25:24
tarefas. No desenvolvimento eu uso sone.
25:28
Aí depois eu faço de uma vez que você está pronto o
25:30
desenvolvimento. Eu uso high cu para fazer tipo
25:32
um smoke teste só antes de passar para a parte de de teste
25:35
um mês pesado e verificação que eu volto pro sonet.
25:38
Então o óculos mesmo eu só uso com a especificação, criação de
25:40
contratos de testes, coisas todas no harners que eu montei.
25:43
Eu coloco a obrigatoriedade de serem agentes separados para
25:47
diversas coisas, justamente com a questão do não ter influência
25:50
do contexto. Mas uma coisa que eu tenho
25:53
visto, 11 dos colegas nossos aqui da DTIOOO Renan, a gente
25:56
estava conversando outro dia a respeito que ele tem o cloud e
26:00
ele tem o GPT. Então muitas vezes o que ele tem
26:03
feito é Oo, que ele implementa em um modelo, ele coloca o outro
26:08
pra verificar. Então não só ele está tendo
26:11
reserva de contexto, mas ele está tendo um outro tipo de
26:14
pensamento fazendo essa verificação.
26:15
E eu achei muito interessante isso porque é, é.
26:19
Cain um pouco isso aqui que a gente está conversando de
26:21
cenários onde pode ser interessante.
26:24
A gente não só multimodelos, né? Porque quando a gente fala de
26:26
óculos de som de são modelos diferentes, mas assim de ter é
26:30
concorrentes ali, trabalhando no meio de um fluxo para garantir
26:34
onde cada um é melhor. Ou um não ser influenciado pelo
26:37
contexto do? Outro e é muito importante que a
26:39
gente faça essa essa diferenciação, porque a gente tá
26:42
numa era onde a gente coloca, acaba caindo no hábito de usar o
26:44
mesmo modelo para tudo ou não se atenta a ficar trocando o tempo
26:47
inteiro, né? O usuário médio não vai ter,
26:49
geralmente não tem esse esse feeling de ficar trocando e aí
26:52
já acaba deixando o modelo, fazendo a spec, desenvolvendo,
26:56
testando, fazendo review. Então é importante a gente criar
26:59
esse ecossistema onde uma IA, ela precisa trabalhar para
27:03
encontrar o erro da outra. Então, nesse nesse cenário, é
27:06
muito importante que a gente faça essa utilização de vários
27:09
modelos, de diversas é agências de de de distribuição de
27:12
modelos, para que a gente tenha de fato o melhor do melhor dos
27:15
cenários para desenvolvimento de software ou para qualquer outro
27:18
tipo de de hards, né? E.
27:20
Utilizar o mesmo modelo para fazer tudo vai justamente contra
27:23
tudo que a gente aprende e prega durante o desenvolvimento
27:27
humano. O que que a gente faz?
27:30
Uma pessoa desenvolve, ela mesma, revisa o código dela, que
27:33
é muito importante. Porém, ela ainda faz a famosa
27:36
revisão em pares. Ela chama uma outra pessoa que
27:39
tem ali na cabeça dela uma experiência diferente, que tem
27:42
um conhecimento diferente, para identificar alguma coisa de
27:45
errado naquele código. A gente caiu tanto nesse hábito
27:48
de utilizar mesmo, MA que a gente esquece que as asias.
27:50
Elas têm parâmetros diferentes, então elas podem sim captar
27:54
coisas que uma não percebeu. Então faz muito sentido utilizar
27:59
diferentes modelos de diferentes empresas para fazer a revisão.
28:04
Bom, e é um grande diferencial, porque quando a gente vai olhar
28:06
para o resultado, a gente consegue perceber que realmente
28:09
tem uma diferença muito grande quando a gente coloca um modelo
28:11
contra o outro, um modelo trabalhando em cima do trabalho
28:13
de outro, né? Então é, é muito, é realmente o
28:15
ganho é muito grande. A gente começa a perceber que é
28:18
igual você falou, a gente trabalhava dessa forma quando
28:20
era seres humanos trabalhando, né?
28:22
A gente tinha Oo desenvolvedor, tinha OQA, tinha Oo pessoas de
28:25
negócio para homologar, e a gente esquece de fazer isso
28:27
quando a gente está trabalhando com o desenvolvimento de a.
28:29
A gente tem que parar de pensar em uma e a contra a outra.
28:34
E começar a pensar em uma e a com a outra, se.
28:37
Vocês estivessem aqui, se vocês pudessem escolher o utilização
28:41
do crime do k 3 em alguma etapa do desenvolvimento de software,
28:45
qual que vocês colocariam? Fazendo uma boa espec do que
28:49
você precisa desenvolver utilizando um modelo mais
28:51
poderoso. Talvez com uma aí eu vou, eu
28:53
vou, eu vou trazer o fable aqui porque eu acho que AA antrópica
28:56
nesse caso aqui ela ela realmente dispara bastante, né?
28:59
É quando a gente trata de 11 espec bem desenvolvida e bem
29:03
detalhada do que eu preciso. Eu poderia utilizar ela por o,
29:05
por exemplo, o crime para desenvolver código, e aí eu
29:09
posso usar um outro modelo também para fazer a revisão
29:11
desse código. Todas essas guardas, eu acho que
29:13
caberia ele utilizar ele ali, ou então, como você falou, um
29:15
smokingtest também eu poderia utilizar, que eu fiz um
29:18
desenvolvimento com um modelo mais poderoso também e usei ele
29:21
como ele tá tá perdendo um pouco, ele tá no top 3 ali,
29:24
utilizaria ele como smokingtest também, né?
29:26
Ah, Felipe, mas ele vai demorar muito tempo para desenvolver.
29:29
Nesse tempo que a gente tem com o desenvolvimento do químico, a
29:31
gente pode explorar outras opções.
29:33
Então eu posso utilizar um desenvolvimento multi agente pra
29:36
começar a pensar na próxima espec e começar a pensar na
29:39
próxima fite a ser desenvolvida, enquanto eu tenho um agente ali
29:42
em background fazendo desenvolvimento.
29:43
Então acho que sim. Faz muito sentido utilizar o
29:45
químico como o desenvolvedor mão na massa e utilizar um modelo
29:49
flag chip ali como o cérebro por trás da operação.
29:53
É porque quando até eu fiz a pergunta, justamente porque na
29:57
minha cabeça eu não. Eu não consigo imaginar usando
29:59
outro modelo que seja o dantrop hoje pra gerar a especificação,
30:04
mas tendo uma especificação muito bem feita, muito bem
30:09
detalhada, com contratos de testes muito bem escritos,
30:14
qualquer modelo consegue implementar aquilo depois.
30:16
Qualquer modelo assim, qualquer modelo.
30:18
Bom, precisa ser o top modelo, pode ser até mesmo OOGPT Terra
30:22
não precisa ser o GPT sol pode ser Oo igual o Sonic da da
30:26
antrópio poderia ser o químico k 3.
30:28
A minha ressalva do k 3 é só o tempo, é porque realmente é o
30:34
tempo que ele leva numa tarefa que às vezes chega a ser 34
30:38
vezes superior aos demais. É a única coisa que me deixa
30:41
receoso de usar ele pra pra essa, pra essa, pra essa etapa.
30:45
Mas é uma é, é não pelo resultado gerado, só pelo tempo.
30:49
Não exatamente. E aí a gente tira no que o
30:50
Felipe falou, né? É no dia de hoje, onde a gente
30:53
tem é AIA trabalhando paralelamente em diversos
30:56
testes, digamos assim, né? E os stories?
30:58
A gente pode utilizar esse tempo que o que me vai levar para
31:02
desenvolver, para eu começar um espectro de outra, de outra
31:04
tarefa e de outra e de outra até que eu conseguia desenvolver.
31:08
E aí pessoal, a gente, eu comecei aqui o episódio falando
31:11
sobre o assassino chinês, né? Que é o.
31:14
O nosso k 3. E aí ele justifica o apelido,
31:18
ele justifica o frisson que foi causado na mídia.
31:21
Que que vocês acham? Esse apelido, ele surgiu muito
31:24
dessa, dessa aura que a gente tem sobre novos modelos, né?
31:27
Toda vez que a gente tem uma empresa lançando um novo modelo,
31:31
se cria sempre um hype sobre ela, né?
31:32
E eu acho que assim, comparando ele, ele se entrega como um top
31:36
teer, né? Comparando com os outros top
31:38
teer que a gente tem. A gente mesmo viu aqui durante o
31:40
papo que a gente utilizaria esse modelo apenas em em, em no nosso
31:45
dia a dia do desenvolvimento, a gente utilizaria ele apenas
31:48
tendo também os outros modelos pra fazer uma parte de mais
31:51
inteligência, levando em consideração essa questão do
31:53
tempo. Então assim, eu realmente é pelo
31:57
apelido e não me não me ganhou tanto, sabe?
31:59
E quando você compara o custo de 94 centavos com o custo de 1 USD
32:03
do do GPT 5.6? Será que ele é tão assassino?
32:09
Quando falam que ele é, não parece tanto.
32:11
Para entregar em 1/3 do tempo, né?
32:13
O gpt? Exatamente.
32:15
Sim, é realmente assim, embora aqui a gente conversou aqui
32:18
muito focado no desenvolvimento de software, mas assim, nos
32:21
testes de inteligência geral, deu muito próximos 3.
32:25
Então se eu tenho os 3 entregando Oo, mesmo resultado
32:29
dentro de tarefas mais generalistas.
32:31
Sendo que o fable five é extremamente mais caro, mas os
32:35
outros 2 estão bem próximos, sendo que OOO crime é muito mais
32:39
demorado. Então eu realmente eu acho que
32:40
ainda está um pouco longe ainda de de ser esse assassino de de o
32:46
assassino chinês, né? Que.
32:47
Talvez um crime 4, né? A gente não sabe.
32:49
E você que acompanhou esse episódio?
32:51
Vocês já conheciam o química 3 vocês já usou o química 3?
32:56
Qual modelo você usa? Baseado em que você escolhe
32:59
quais resultados você tem? Deixa aí nos comentários.
33:02
Se você quiser ficar por dentro sempre das últimas novidades,
33:05
fique de olho no newsletter da entre chaves.
33:09
Clica aqui no curtir. Compartilha esse vídeo com seus
33:12
amigos, com todo mundo que trabalha com IA, todo mundo que
33:15
tem um interesse nessa área e não deixa de seguir o entre
33:17
chaves no seu player de mídia favorito.
33:20
Muito obrigado, muito obrigado Felipe, muito obrigado Matheus e
33:23
até a próxima, pessoal. Eu muito obrigado pelo convite e
33:26
até mais pessoal. Também agradeço muito o convite,
33:28
até mais pessoal.