Latest / Entre Chaves / Você precisa dar um contexto melhor para sua LLM

Transcript

Você precisa dar um contexto melhor para sua LLM · Entre Chaves

• 0:02
  Isso é uma das coisas que as ferramentas estão evoluindo cada
• 0:05
  vez mais, né? Agora, falando de cursor, de
• 0:08
  GitHub, copiloti de cloud code, que é justamente essa arte de
• 0:12
  otimizar contexto. Às vezes as pessoas até ficam
• 0:15
  assim, mas qual que é a diferença entre, sei lá, o
• 0:18
  cursor e o GitHub copiloti? E para mim, essa parte da gestão
• 0:23
  do contexto é uma das diferenças que tem entre essas ferramentas.
• 0:26
  É como que elas fazem esses mecanismos de sumarizar o
• 0:31
  contexto na hora certa de definir, né?
• 0:34
  Em qual momento é, qual o contexto que é mais importante
• 0:38
  ou, enfim, qual Oo que que ela vai realmente incluir na janela
• 0:42
  de contexto da LM que é agnóstica como se fosse assim,
• 0:46
  né? ALM, ela tá lá como se fosse uma
• 0:49
  PI que tem uma janela e quem tá gerenciando o que que manda é
• 0:53
  são as ferramentas. É o cursor, é o copylet.
• 0:56
  E para mim, uma das coisas que diferenciam eles é justamente as
• 1:00
  estratégias que eles decidem fazer em como gerenciar esse
• 1:04
  contexto, né? Para otimizá Los.
• 1:05
  E eu acho que isso vem diminuindo em relação à
• 1:08
  distância cada vez mais que eu acho que essas ferramentas, elas
• 1:11
  junto com os framurs, né, que eu acho que também fazem muita
• 1:14
  diferença em relação à gestão de contexto.
• 1:16
  Eu acho que essa esse combo ferramenta e framur é o que vem
• 1:21
  diminuindo a diferença. Cada vez mais entre as
• 1:24
  ferramentas, porque elas ajudam justamente a dar o melhor
• 1:29
  contexto. E aí, dado que eu dei o melhor
• 1:31
  contexto, gente ALLM vai vai quase que eliminar o processo da
• 1:36
  ferramenta. Vai ser qual LM.
• 1:38
  Responde melhor agora, se aí se eu vou usar no cursor, no copay,
• 1:41
  eles tanto. Faz.
• 1:42
  Então é, é. Minha visão é essa.
• 1:44
  Assim que esse para mim foi, está sendo a evolução das
• 1:47
  ferramentas e para mim, elas estão se aproximando cada vez
• 1:49
  mais. E aí, claro, né?
• 1:51
  Anão ser que elas lancem features novas, que aí vem o
• 1:53
  negócio das skills, né? Dos agentes, dos sub agentes,
• 1:56
  que aí começa a trabalhar cada vez mais nesse negócio dos
• 1:59
  contextos. Né?
• 2:00
  Outro dia eu fiquei pensando, como estruturar isso?
• 2:03
  É essa ideia de de contexto. E como que é que as pessoas
• 2:07
  deveriam encarar o fluxo ali de desenvolvimento?
• 2:10
  E a gente ficou discutindo disso, fiquei discutindo disso
• 2:13
  com os amigos também, né? Que a gente fica fazendo esse
• 2:16
  intercâmbio assim é por horas e horas.
• 2:20
  Eu falei que é como se a gente tivesse assim, usando a
• 2:23
  programação. E a gente primeiro olha dentro
• 2:26
  do código, então você toma a decisão olhando dentro do
• 2:29
  código, naquele momento que você tá, em algum momento você vai
• 2:32
  falar assim, não é essa informação que não é suficiente
• 2:35
  pra eu tomar uma decisão. Imagine você tá numa camada
• 2:37
  front end, Ah, talvez eu vou precisar usar um componente
• 2:40
  novo, alguma coisa. Aí você vai lá e precisa usar um
• 2:43
  MCP. Aí você imagina que você tem um
• 2:46
  sua biblioteca de componentes toda num pendrive.
• 2:49
  Aí você pluga um pendrive lá no computador e começa a tirar o
• 2:53
  que que você precisa ali. Aí você precisa construir sua
• 2:56
  API. E aí você tá lá na API e começa
• 2:59
  a construir ela. E aí você fala assim, pô, eu
• 3:01
  devia saber como que meu banco de dados está, como que a
• 3:05
  informação está estruturada, para saber como que eu corrijo
• 3:07
  esse esse bug, para saber qual que é o são os formatos do banco
• 3:11
  para eu projetar melhor essa classe aqui.
• 3:13
  Aí você vai lá, tem um hoje em dia, né?
• 3:16
  Alguns mcp de de banco de dados, aí você pluga mais um mcp e aí
• 3:21
  você vai dando a informação Pra Ela trabalhar naquela parte do
• 3:24
  código, trabalhar naquela outra parte do código.
• 3:27
  Plugar numa fonte externa quando necessário.
• 3:30
  Só que essas Fontes externas também têm limite.
• 3:33
  Então aí que eu acho que assim os mcps e como que você vai
• 3:37
  programando e à medida que você vai quebrando esse fluxo ao
• 3:41
  longo do tempo. Você vai refinando e aumentando
• 3:43
  essa assertividade, se aproximando cada vez mais
• 3:47
  daquela daquela zona, né, de de assertividade de 99%, que é
• 3:51
  lelem tem e não poluindo totalmente ali as suas
• 3:56
  ferramentas em momentos desnecessários.
• 3:58
  E aí quando eu fiquei construindo, né, que a gente
• 4:01
  ficou construindo essa narrativa lá, a gente ficou falou assim,
• 4:04
  pô, então é, não é não é bem só uma arquitetura, né?
• 4:08
  Parece um pipeline. Eu falei, pô, parece mesmo um
• 4:10
  pipeline que você carrega uma informação naquele momento, faz
• 4:14
  um build ali, carrega uma informação.
• 4:17
  Então eu acho que assim, a engenharia de contexto é pensar
• 4:20
  nela como uma arquitetura e quebrar ela como uma
• 4:22
  arquitetura. Mas à medida que o trabalho vai
• 4:25
  evoluindo, né? Pra desenvolvedor, eu tô talvez
• 4:28
  restringindo aqui, mas isso pode ser em sistemas, pode ser em
• 4:31
  outros agentes, estejam construindo pra organização.
• 4:34
  À medida que ela for evoluindo, você também precisa construir um
• 4:37
  pipeline ali de passos certos. E Teerã em cima dessas
• 4:40
  informações até a próxima cadeia de decisão.
• 4:43
  Então acho que isso foi 11 iluminação que a gente teve
• 4:46
  naquele momento ali, que eu até fiquei guardando isso aqui para
• 4:50
  como que a gente pensa nisso em com engenharia de contexto, né?