Latest / Entre Chaves / O maior problema da engenharia de prompt foi resolvido?

Transcript

O maior problema da engenharia de prompt foi resolvido? · Entre Chaves

0:02
E agora, o engenheiro, a função dele, na verdade, é como que ele
0:06
consegue garantir a qualidade daquilo que o iá tá gerando, né?
0:10
Para ter o menor interferência humana possível, e.
0:13
Aí como construir esse harners, né?
0:15
E dar todo o contexto tanto de entrada quanto de validação, né?
0:19
Todo as ferramentas e o contexto para que ela, aquele agente,
0:23
aquele modelo, consiga. E aí, que que acontece, na
0:26
verdade, o engenheiro, Nessas Horas?
0:28
Muitas vezes ele não vai querer assim, se ele está vendo que a
0:31
Iata gerando alguma coisa que não é adequado, em vez de ele ir
0:35
lá no código e reparar no código, ele vai pensar onde eu
0:37
mexo no harness? Exato, aí pra mim é.
0:40
Isso não volte a acontecer e da próxima vez seja.
0:43
Melhor voltando ao tuíte que você comentou, identificar o
0:45
erro daquele cenário e aplicar uma correção permanente.
0:48
Né? Exato.
0:49
Pra mim, gente, isso aí é a mudança de mentalidade que você
0:52
quem está nos ouvindo. Puder pegar, né?
0:54
Se tiver uma coisa que vai pegar desse episódio, pegue isso.
0:58
Não fique conformado com o quão o seu modelo ou o seu agente
1:04
está gerando código para o seu sistema.
1:07
Se ele tá ruim, não se conforme com isso.
1:10
Melhore o seu harner. Se ele tá ruim, é porque o seu
1:13
harner tá ruim. É porque você não arquitetou
1:16
corretamente o contexto que você tá dando, mas também as
1:20
ferramentas que você tá dando. Para esse modelo, para esse
1:23
agente validar o seu próprio trabalho.
1:25
Ou seja, gente, não tem dessa para mim.
1:28
Ah, mas meu sistema é legado, claro.
1:32
Sistemas legados, eles tem. Com certeza você vai ter mais
1:35
dificuldade de criar um bom Arns, né?
1:37
De criar os seus bons controles. Mas.
1:41
Não acho que não tem jeito, eu acho que tem.
1:43
Só que aí provavelmente você vai ter que alterar mais, você vai
1:46
ter que, né? Refinar mais o que que é aquilo,
1:48
né? Como garantir?
1:50
Mas com certeza tem como é. Essa é a minha visão aí e.
1:54
Isso traz a gente pra pra discussão sobre categorias de
1:57
Haynes, primeira grande categoria, que é a questão da
2:00
manutenbilidade do código, e realmente essa primeira parte a
2:04
gente falou. Você vai rodar análise estática
2:06
de código linnter, vai fazer primeiro tudo computacional que
2:10
você puder manda pra LLM Pra Ela fazer um code review, vai,
2:13
porque tem certas certos tipos de duplicação de código que uma
2:17
análise estática pega, tem certos tipos, que é uma
2:19
duplicação um pouco mais sutil que você precisa de ter.
2:22
Tô com um code review. Pegaria, passou por isso?
2:25
Você tem a segunda parte, que é a validação arquitetural do seu
2:29
projeto, eu tô eu tô furando alguma camada, eu tô criando
2:33
algo onde eu não deveria, eu tô rompendo alguma regra
2:37
arquitetural do meu projeto, tô acessando minha camada de dados
2:40
direto da caixa de apresentação. Aí a gente tem as velhas, boas e
2:43
velhas fitness functions, que é o é a parte computacional, e aí
2:46
mais uma vez pode ter mais uma camada de Lelê m aí fazendo mais
2:50
uma análise. EE aí por último a gente chega
2:54
na categoria, que é o comportamento do código gerado,
2:59
que é efetivamente equivalendo hoje, ou que a gente, o que
3:03
sempre foi até hoje na história, a parte do qwei, principalmente
3:07
a parte qwei manual, né? Que sempre foi muito focado
3:09
nisso. Então assim, eu estou
3:11
desenvolvendo um app, então é como se eu fosse.
3:14
É abrir o app, vou clicar ali, eu espero uma tal mensagem, de
3:18
tal cor de movimentação. Dessa forma eu espero esse tipo
3:21
de resposta que é o comportamento, porque a partir
3:24
da hora que a gente consegue colocar um harners completo, que
3:27
vai desde espectro event, passa pelo pela qualidade de código,
3:32
passa pelas pelos cheques arquiteturais, passa pelo cheque
3:36
todo de comportamento, a gente fica assim, na beiradinha de
3:40
fala assim, de começar a pensar assim, será que eu consigo?
3:44
Passar uma especificação para AIAE?
3:47
Eu só. Eu já vou direto Na Na loja de
3:50
aplicativo já baixo o aplicativo de lá.
3:52
Pois é, e é exatamente isso, né? Quando a gente pensa nesses
3:56
rainers e até vendo esses exemplos tanto da open EI quanto
3:59
da striper, a gente pode entrar um pouquinho mais no detalhe
4:01
deles aqui. Para mim, é a hora que a gente
4:04
olha e fala, poxa, talvez chegou um negócio realmente novo em que
4:09
eu dado que eu consigo estabelecer uma intenção do que
4:12
eu quero. Eu vou pegar, eu vou chegar no
4:15
meu código lá em produção lá só, né?
4:17
Ou seja, será que eu vou precisar revisar código ainda?
4:21
E aí pra complementar, né, essa polêmica do e aí, porque até
4:25
então, o que que a gente defendeu aqui no entre chave,
4:27
gente, eu planejo com AIA, delego a execução, mas eu vou lá
4:32
e reviso no final porque afinal, né, a minha a pode ter
4:35
alucinado, pode ter gerado bug, pode ter gerado vulnerabilidades
4:39
que eu não quero colocar em produção.
4:41
O que a gente está falando aqui agora, gente, com o harners, né?
4:44
E com toda essa coisa, né, que está vindo aí é, será mesmo que
4:49
eu preciso revisar meu código? E é polêmico isso, né?
4:53
Quando o Luiz falou que sobre o papel do engenheiro, agora ele é
4:56
muito mais de garantir a qualidade, não necessariamente
4:59
garantir a qualidade é fazer o teste no final.
5:01
O garantir a qualidade talvez vai ser instrumentar todo o meu
5:04
harners, né? Pra tanto na hora que eu estou
5:08
codificando que o meu. Meu agente, meu modelo consigam
5:12
acessar as coisas corretas para ele se validar quanto meu
5:15
paperline tem um tanto também de ferramentas, né?
5:17
Determinísticas, enfim, que consigam também criar novas
5:21
validações quanto também é o de tempos em tempos rodar algumas
5:24
ferramentas que vão validar a qualidade do meu código.