Latest / Entre Chaves / Snippet #26 Harness Engineering na prática com Claude Code

Transcript

Snippet #26 Harness Engineering na prática com Claude Code · Entre Chaves

• 0:00
  Olá entre chaves, eu sou o Thiago, sou arquiteto na DTIE.
• 0:04
  Hoje a gente vai falar sobre Arns Engineering.
• 0:06
  Aqui nesse snip imagino que todo mundo que já tentou usar IAI no
• 0:10
  dia a dia já teve alguma situação que você ficou se
• 0:13
  pensando assim, se você consegue pode confiar no trabalho ali da
• 0:16
  IAE, tem que ficar revisando muita coisa.
• 0:18
  Tudo que AIA faz ou você confia demais às vezes não funciona ou
• 0:22
  você tem que ficar revisando coisas demais e gasta muito
• 0:24
  tempo também para resolver esse problema.
• 0:26
  A gente tem o conceito de ranners Engineering, basicamente
• 0:29
  é um arreio pra gente especificar como que IA que IA
• 0:33
  trabalhar num formato específico.
• 0:34
  Então a gente não estabelece esses formatos, ela tende a
• 0:37
  simplesmente usar o que ela tem de conhecimento de mundo no
• 0:39
  geral e pode muitas vezes não ser resultado o que você
• 0:42
  precisa, principalmente pra sistemas que já existem, né?
• 0:45
  Pra gente ir direto ao ponto, basicamente a gente vai fazer
• 0:48
  uma demo usando um ranners bem simples, os conceitos mais
• 0:52
  iniciais mostrando. O resultado sem usar o harners e
• 0:56
  a diferença quando a gente usa o harners numa aplicação bem
• 0:58
  simples de uma calculadora e vamos ver a diferença bom na
• 1:02
  nossa prática. Se a gente não for usar o
• 1:04
  harners nesse primeiro exemplo, só inicializei um projeto aqui
• 1:07
  em note poderia ser em qualquer linguagem lógico.
• 1:09
  E Na Na nossa ideia aqui com o pode, vou colar um prompt
• 1:12
  pedindo pra criar essa calculadora de uma calculadora
• 1:15
  que recebe parâmetros aqui de operadores e 2 números e me dá
• 1:19
  um resultado. Só isso.
• 1:21
  Não pedi Pra Ele fazer testes, nem nada disso, e ele vai criar
• 1:24
  pra mim. Só que eu não estabeleci nenhum
• 1:26
  tipo de regra, eu deixei a IA tomar todas as decisões por mim.
• 1:30
  Nesse caso aqui, vamos ver o resultado.
• 1:32
  Bom, ele já fez o trabalho dele, foi muito rápido, mas vamos
• 1:36
  dizer que se está adequado ao que eu gostaria, né?
• 1:39
  Como sistema, eu não especifiquei e.
• 1:41
  Nada muito específico Pra Ele, ele gerou um arquivo calk GS, aí
• 1:45
  o código ficou bem simples, bem direto, se a gente observar que
• 1:48
  no nosso Git a gente vai ver que ele não não comentou nem nada,
• 1:53
  eu não pedi, eu não especifiquei nada disso Pra Ele, beleza?
• 1:55
  Então sem o harners a gente tem aqui o nosso resultado é um
• 1:59
  arquivo calk GS simples, não foram criados testes, ele não
• 2:04
  comitou o resultado aqui eu não pedi nada disso, beleza?
• 2:08
  Meio que esperado subir dessa forma normalmente.
• 2:10
  Aí depois disso você iria pedir Pra Ele comentar, finalizar,
• 2:13
  adicionar testes. Se eu como deve lembrar disso,
• 2:16
  aí entra a parte onde entra o harners que ele pode ajudar a
• 2:19
  gente, em vez de toda vez eu ficar lembrando do meu agente,
• 2:23
  de como que eu quero trabalhar hoje, tem que ficar criando
• 2:26
  memórias específicas e tudo mais.
• 2:29
  Tem um jeito específico de trabalhar com isso?
• 2:32
  Que é o que a gente chama de harns and dnewing.
• 2:33
  Basicamente ele tem 2 grandes partes pra você definir guias de
• 2:38
  arquitetura, de como você quer trabalhar, de como que você quer
• 2:41
  que ele planeje e separe as suas etapas e sensores pra que ele
• 2:47
  revise o próprio trabalho dele sem que você precise revisar
• 2:49
  tudo e você chegue num num fluxo de trabalho com ele que você
• 2:54
  precisa revisar as coisas mais críticas de fato.
• 2:58
  A partir dos sensores que ele vai te dando feedback e um
• 3:01
  feedback pra si próprio. No nosso caso aqui pra
• 3:03
  simplificar. Voltando aqui pro nosso exemplo,
• 3:06
  agora com o Arns, eu no caso aqui do code seria no arquivo
• 3:10
  code MD, mas tem a convenção de usar o termo agente MD também,
• 3:16
  mas no code fica mais nativo dessa forma.
• 3:18
  Mas aqui basicamente já estabeleceu a primeira 2 regras
• 3:21
  aqui mais de guia Pra Ele. Primeiro a estabelecer que ele
• 3:24
  tem que planejar, ele não fez um planejamento no primeiro pronto.
• 3:28
  Então estabelecer um formato pra planejar e documentar esse plano
• 3:31
  pra mim. Depois eu gostaria de ser capaz
• 3:33
  de revisar em etapas se for necessário eu entender o que que
• 3:37
  foi feito. Então eu pedi Pra Ele fazer um
• 3:39
  controle de Comite Pra Ele comitar passo a passo.
• 3:42
  Tudo que ele tá fazendo aqui seria só um exemplo muito básico
• 3:45
  de guias. Eu poderia ir muito além com
• 3:48
  isso, colocar regra de arquitetura e tudo mais.
• 3:50
  Mas como exemplo é de só uma calculadora, então estamos sendo
• 3:53
  mais simples aqui. E uma terceira regra que se
• 3:56
  encaixa como sensor, nesse caso aqui, sensor e arquitetura.
• 4:00
  Eu pedi Pra Ele criar os testes automatizados unitários e rodar
• 4:04
  esses testes. E aí eu pedi Pra Ele só dar a
• 4:06
  tarefa como concluída, como quando ele tiver o retorno com
• 4:10
  sucesso dos testes, com todos os testes passando, quando os
• 4:13
  testes não passarem, isso funciona como sensor Pra Ele
• 4:16
  continuar tentando e corrigir os testes.
• 4:18
  Você pode fazer sensores com várias outras coisas, com vários
• 4:21
  outros. Tipos de ferramentas pode ser um
• 4:25
  teste no play right, retornando sucesso, pode ser até mesmo
• 4:28
  acesso de um MCP que retorna alguma coisa específica, como
• 4:32
  alguma coisa no banco de dados, até coisa do tipo e agora a
• 4:35
  gente vai fazer uma prática. Então, considerando esse rams
• 4:38
  que a gente explicou, vou usar o mesmo prompt pra gente ter um
• 4:42
  teste justo aqui, vou colar aqui e vamos ver o que que ele vai
• 4:47
  fazer. Vou deixar o automody aqui
• 4:49
  ligado Pra Ele não ficar pedindo permissões.
• 4:51
  Mas o que ele identificou? Ele tá identificando aí.
• 4:54
  Já o claud MD com as regrinhas do harn e agora ele já mudou o
• 4:58
  comportamento. Ele vai primeiro fazer o
• 5:01
  planejamento e eu pedi Pra Ele confirmar.
• 5:03
  Ele já parou aqui um pouco que ele já gerou o plano e mostrou
• 5:07
  um resumo, e ele fez o planejamento dele aqui de como
• 5:09
  que ele vai seguir me mostrou exatamente confirmando o que que
• 5:13
  ele vai implementar, vai gerar um arquivo de testes usando uma
• 5:17
  biblioteca GS que eu já tinha deixado lá configurada e beleza.
• 5:21
  Então eu concordo com esse plano, vou deixar ele seguir
• 5:24
  esse tipo de parada, estratégia que pode ser planejado pra
• 5:27
  qualquer etapa mais crítica. No caso do planejamento, é é
• 5:30
  interessante porque o planejamento é onde você gasta
• 5:32
  mais fink, né? Depois, quando você passa pra
• 5:34
  implementação, você pode passar, é um modo mais de execução.
• 5:38
  Agora ele tá já executando, tá criando os testes, todo o
• 5:42
  código, como dá pra ver aqui, ele pensou um pouquinho mais de
• 5:45
  tempo, mas ele fez todas as etapas, criou os testes, passou
• 5:48
  por alguns erros ao longo do processo.
• 5:50
  Mas ele foi se resolvendo e só deu como concluída depois que
• 5:54
  ele conseguiu o sucesso da validação dos testes, ele rodou
• 5:59
  internamente esses testes via sub agentes.
• 6:02
  No caso dos sub agentes, ele ajuda a economizar tokens, ser
• 6:05
  usado da maneira correta ali. Mas ele rodou, teve sucesso.
• 6:08
  Finalmente nos testes, passou tudo, considerou que tá
• 6:12
  resolvido, que tá pronto. Se eu sempre te olhar aqui no
• 6:15
  nosso Git do harnes está como se não tivesse nada.
• 6:17
  Mas na verdade nossa árvore aqui já está aqui o comit dele pronto
• 6:22
  com todo o trabalho salvo, conforme tinha instruído o legal
• 6:26
  disso que eu só tive que fazer isso uma vez.
• 6:28
  Eu só tive que configurar uma vez.
• 6:29
  Eu posso compartilhar isso com meu time.
• 6:31
  Vai funcionar de uma forma mais determinística, por mais que ela
• 6:35
  não seja determinística, mas. Esse tipo de coisa de ajuda, ela
• 6:38
  ter um trabalho mais determinístico no seu time.
• 6:41
  Fica mais fácil de compartilhar essas regras e reforçar esses
• 6:44
  arrios no seu código, independente de em qual máquina
• 6:47
  que está sendo executado. Então está aqui o resultado.
• 6:50
  Ele criou o teste, considerando que é uma aplicação bem simples,
• 6:53
  cobrindo bastante regras. Eu numa pesquisa demais, né?
• 6:56
  Como que ele deveria criar esses testes?
• 6:58
  E devido a eu ter instruído ele criar testes, ele criou um
• 7:01
  código aqui também mais organizadinho, vamos dizer
• 7:04
  assim. Eu poderia também especificar
• 7:07
  toda a arquitetura do código e tudo mais, mas pro exemplo, o
• 7:10
  ponto era esse de demonstrar que você consegue reforçar como que
• 7:14
  você deseja o output ali do seu resultado, principalmente pra
• 7:18
  situações também que você já tem um código existente, isso é
• 7:21
  especialmente necessário. Bom, então é isso.
• 7:25
  Obrigado por me escutar. Espero que vocês tenham gostado
• 7:27
  desse snip, que tenha sido bem útil para você esse papo sobre
• 7:31
  harner e Engineering e me conta aí depois.
• 7:34
  Testa aí a sua maior dor de engenharia que você tiver
• 7:37
  criando o seu cloud MD para fazer o seu primeiro hainess,
• 7:41
  valeu?