Latest / Entre Chaves / Claude lidera em código, mas trava no detalhe

Transcript

Claude lidera em código, mas trava no detalhe · Entre Chaves

• 0:00
  A gente volta para aquele velho diagrama, o bom, o barato e o
• 0:04
  rápido. Não tem como você ter os 3, você
• 0:07
  tem que escolher, você quer algo barato?
• 0:09
  EE bom, o que me ele tem entregado uma boa qualidade,
• 0:13
  porém ele demora muito para processar até que alguma coisa
• 0:17
  com qualidade e rápida. Esse é mais o foco tanto do
• 0:22
  fable quanto do Sol. Oo fable ele é mais focado em
• 0:25
  qualidade, o Sol ele é mais focado.
• 0:27
  Em velocidade, acho. Que a gente cai dentro do grande
• 0:29
  paradigma da computação que é strad off de fato, né?
• 0:32
  A gente nunca vai ter assim o melhor dos mundos.
• 0:34
  Ou a bala de prata pra, pra, pra todas as situações, né?
• 0:38
  Sempre vai depender muito do que que você quer fazer, como você
• 0:40
  quer fazer e o que que você tem disponível.
• 0:42
  Outro. Grande exemplo, os modelos, eles
• 0:44
  são treinados de forma diferente.
• 0:46
  Então nisso que você comentou que não existe bala de prata,
• 0:49
  isso vai até pra tarefa que está sendo realizada.
• 0:51
  O Quim ele desempenhou muito bem em tarefas de modelagem.
• 0:55
  Então, realizar a produção de sites com obras 3 DE afins,
• 1:01
  porém, em outras tarefas já não é mais o foco não é o material
• 1:05
  que foi utilizado para treinar o químico, então cada tarefa
• 1:08
  também demanda 11 específico. Eles têm desempenhos diferentes
• 1:12
  para tarefas diferentes. É, se a gente considerar o ciclo
• 1:14
  de desenvolvimento, vocês diriam que tem algum que se sobressai
• 1:19
  ou vocês estão muito próximos? O que que vocês diriam sobre
• 1:22
  isso? Assim incluindo.
• 1:24
  A parte da especificação e geração de tarefas, a parte de
• 1:27
  implementação e a parte de testes e verificação.
• 1:30
  Olha. Eu acho que dentro do do
• 1:32
  ecossistema de desenvolvimento, eu acho que eu costumo costumo
• 1:35
  dizer que a antrópica, ela vai se destacar em quase todas as
• 1:38
  etapas, né? A gente vai ter modelos ali que
• 1:40
  vão ser melhores pra parte de é da parte do spec mesmo.
• 1:44
  Vou ter modelos melhores ali pra parte de revisão de código, pra
• 1:47
  escrita de código, então. Eu costumo dizer que a antrópica
• 1:50
  está, ela navega muito bem em todas essas etapas, né?
• 1:52
  Então, para o desenvolvimento eu acho que ele é melhor.
• 1:55
  Entendeu? Isso vai um pouco a linha, até
• 1:57
  do próprio modelo. A gente tem todo o instrumental
• 2:01
  que engloba aquele modelo de AA antrópica, por exemplo, tem o
• 2:06
  cloud code. Muita gente pensa que é a mesma
• 2:08
  coisa que eu utilizar o cloud e utilizar o cloud code é a mesma
• 2:11
  coisa e não é. Eu posso utilizar o cloud code
• 2:15
  com. Diferentes modelos, né?
• 2:16
  A gente teve um grande problema de vazamento de segurança que
• 2:20
  tivemos com a antrópica que vazou o código da do cloud code
• 2:23
  e algumas pessoas conseguiram inclusive adaptar esse código
• 2:26
  pra rodar com modelos diferentes, porém de forma
• 2:28
  nativa. Toda arquitetura feita pela
• 2:31
  antrópica, ela funciona muito bem pra desenvolvimento da gente
• 2:35
  com o cloud. E como você compara, por
• 2:37
  exemplo, a tem o cloud code, mas ao mesmo tempo a open AE tem o
• 2:40
  claudex? Isso eu tenho utilizado o cold
• 2:43
  recentemente. Ele tem se saído muito bem.
• 2:45
  Eu percebi que ele possui um excelente sistema de sub adin,
• 2:49
  mesmo sem andar o comando. Eu sinto que quando eu utilizo o
• 2:52
  cold code, ele fica um pouco relutante ali de disparar um sub
• 2:55
  agente etcétera etcétera e essa criatura do do code?
• 2:58
  Ela está bem à frente ainda do que a gente tem no cold code.
• 3:01
  E aí tem uma coisa que eu queria trazer uma discussão aqui que
• 3:05
  acredito que muita gente está interessado nela, é essa questão
• 3:09
  do open source. Open parâmetros e porque quando
• 3:14
  a gente está falando de curso por token aqui, a gente está
• 3:17
  considerando que nós estamos usando a infraestrutura de
• 3:20
  terceiros. Eu estou usando OOOO cloud, eu
• 3:23
  estou usando o GPT, mas eles estão hospedados lá, lá na
• 3:27
  antrópica, lá na open AI, e aí eu estou pagando por essa
• 3:31
  utilização, só que o químico. Ele né?
• 3:35
  Uma das vantagens tem sido amplamente divulgadas dele é a é
• 3:39
  a possibilidade do self hosting, porque aí é já muda
• 3:43
  completamente o conceito de curso por token porque você está
• 3:46
  hospedando ele. Eu por curiosidade é eu fui ver
• 3:50
  até na eu pesquisei antes do do nosso episódio aqui e pra baixar
• 3:55
  o crime é uma bagatela de um ponto 56 TB pra você poder ter
• 4:00
  isso no local. E aí ele, né?
• 4:03
  Ele também está sendo divulgado que ele tem 2.8 trilhões de
• 4:07
  parâmetros. Então primeiro assim, pro nosso
• 4:09
  ouvinte às vezes não tem muita noção exatamente do que
• 4:12
  significa essa quantidade de parâmetros, o que que significa
• 4:15
  esse essa quantidade de parâmetros, o que significa o
• 4:18
  modelo ter 2.8 trilhões de parâmetros, como que isso se
• 4:21
  compara com os demais e o que que a gente vocês têm ideia do
• 4:26
  que que precisaria pra gente conseguir efetivamente rodar
• 4:29
  isso numa infraestrutura proprietária?
• 4:32
  Ok, vamos começar então, pela parte do tamanho do crime, 3 1.6
• 4:37
  TB é a parte mais fácil de se fazer a hospedagem 1.6 TB eu
• 4:41
  consigo comprar um HD e colocar esse modelo todo ali.
• 4:45
  Rodar o modelo é uma história completamente diferente.
• 4:48
  Eu preciso ter um processador, eu preciso ter uma Placa Gráfica
• 4:51
  capaz de realizar todo o processamento do modelo, e essa
• 4:55
  é a parte que realmente tem encalecido a utilização.
• 4:58
  Dia um ou mais é Placas gráficas e Placas de GPU, né?
• 5:02
  E aí a gente entra na numa discussão que é o quê?
• 5:06
  Tudo bem que o clima realmente é mais barato, mas se eu vou optar
• 5:09
  pelo self host por causa de toda essa segurança que é, eu terei
• 5:13
  ele rodando na minha infraestrutura atrás, o quanto
• 5:16
  que eu vou gastar de infraestrutura para manter ele
• 5:18
  rodando na com o mesmo desempenho que seria ele rodando
• 5:21
  pela? Própria Quina.