Latest / Os Agilistas / #353 - Como empresas maduras estão governando a IA

Transcript

#353 - Como empresas maduras estão governando a IA · Os Agilistas

0:00
Bom dia, boa tarde, boa noite, vamos começar mais um episódio
0:02
dos agilistas é hoje estamos com um tema aqui muito relevante,
0:06
como sempre sou do AI, AI, né. A gente até estava brincando
0:09
aqui nos bastidores que podíamos falar sobre a copa agora talvez,
0:12
mas a AI, né, falando seriamente, é um tema que que
0:15
cada vez é mais importante e hoje que nós vamos fazer aqui é
0:18
discutir um artigo da Mackenzie que fala de de de um, de um
0:22
conceito que nós vamos explorar aqui bastante, que é o conceito
0:25
de como se ter 11, iae responsável.
0:29
E por que que isso é importante, né?
0:31
Porque no final das contas, como nós vamos ver aqui, isso é
0:33
importante, porque isso cria confiança na iae.
0:36
E se você não tem confiança na iae, acaba que seus
0:38
investimentos vão sempre ser, não vão necessariamente ter o
0:41
retorno que você esperaria, porque se você não tem a
0:44
confiança, você não vai botar operações complexas, né?
0:47
Da empresa na mão dessas dos agentes, por exemplo, você não
0:50
vai avançar tanto quanto é possível.
0:52
Então chega a ser quase óbvio se você, né, se se vocês pensarem,
0:56
mas muitas vezes pode ser negligenciado.
0:58
Como é que você tem que construir uma base de confiança
1:00
pra poder realmente colocar a sua mão, né?
1:02
Assim, você não tem que confiar nos funcionários, por exemplo,
1:05
né? Você tem que confiar nos
1:06
agentes, você tem que confiar nas informações que estão lá.
1:09
Enfim, nós vamos tentar desdobrar isso tudo aqui mais
1:11
detalhadamente a partir desse relatório aí que a Marquinhos
1:15
fez, que chama the state of high trust today, né?
1:17
O estado do da confiança reais atualmente, e pra isso estamos
1:21
com 22 pessoas aqui da dti que vão se apresentar agora, o ramer
1:25
e o Dantas. Começa a favor se apresentando.
1:29
Prazer estar mais uma vez aqui no podcast falando sobre esse
1:32
tema também, que é todo mundo o tempo todo falando de ar.
1:36
Poderíamos falar da copa, mas. Hoje eu cuido.
1:39
Do relacionamento das contas de alguns clientes.
1:42
Trabalhou nessa frente mais comercial da empresa.
1:46
Tem um background técnico curioso, estudante, pesquisador,
1:50
fuleiro de e a. E você, Dantas, e aí?
1:54
Pessoal, cai de volta outra vez. Muito bom estar participando
1:57
aqui do Zé agilista. Shuster, eu sou o Regis Cyber
1:59
segurança aqui da DTI digital pelos últimos 5 anos.
2:02
E como o ramer colocou aí também um grande pesquisador fuleiro de
2:05
a, né, afinal? Chega no final de semana.
2:07
Não estou fazendo nada. Pelo menos algumas coisas ali na
2:09
IA eu vou mandar só pra ver como é que ela reage.
2:11
Então vamos mergulhar logo no assunto, gente, assim, o que que
2:15
o esse conceito de confiança de é pra pra se ganhar confiança em
2:18
i você tem que ter uma IA responsável, certo?
2:20
O que que significa essa IA irresponsável?
2:22
E a responsável? Ela pode ser uma espécie de
2:25
frenwork, que ela é usada para desenhar, definir e depoiar uma
2:29
IA que seja segura, confiável e alinhada com valores humanos.
2:35
E aí essas palavras, essas. Lições que entram em discussão.
2:38
Repete as 4, como é que é? Segura, segura, confiável e
2:43
alinhado com os valores humanos. Então, assim, quando a gente
2:45
fala sobre uma IA segura, a gente consegue ter uma ideia
2:48
mais ou menos do que que a gente está tratando, né?
2:49
Então a gente fala muito sobre cibersegurança, vazamento de
2:52
dados, proteção, e acho que esses são conceitos bem
2:55
alinhados. Mas quando a gente fala sobre
2:57
confiança, aí já começa a divergir um pouco mais.
3:00
Então, o que que é uma iaque? Você tem confiança nela, né?
3:03
A pesquisa traz até alguns dados muito interessantes pra gente
3:05
sobre isso, mas no geral, eles resumem a confiança como a
3:08
capacidade da iade de acertar a eficácia dela dentro das
3:11
respostas e, por fim, alinhado com valores humanos, que é uma
3:15
coisa aí que principalmente a antrrop, que desenvolvendo o
3:17
Cláudio já tem falado nos últimos anos com veemência, né?
3:21
Então precisa ser uma IA que ela tenha interações com valores
3:24
humanos majoritariamente definidos ali pelo.
3:28
Pelos arquétipos gregos ali, né? Então é o que a antrop tenta
3:31
colocar dentro do Cláudio. Mas será que é o que tá
3:34
acontecendo, né? Será que as YAS realmente estão
3:36
sendo construídas dessa forma? É um negócio interessante assim
3:40
que essa mudança, né? Da YA que podia falar errado,
3:46
responder errado, alucinou e trouxe uma resposta errada.
3:49
A gente tá indo para uma Nova Era de e as agendicas, né?
3:53
E que, mais uma vez, explicitando, não é um chatbot
3:56
mais inteligente. É uma IAC realmente executações
4:00
dentro dos sistemas, toma decisões que ela pode planejar,
4:04
ter ferramentas para executar ações que realmente movem valor
4:09
dentro da empresa e trabalhar em cima de workflows.
4:12
E é essa mudança que traz essa preocupação com a confiança, né?
4:15
Falando em confiança, teve um. Só pra botar 11?
4:19
Pimentinha aqui tem 2 incidentes.
4:21
Eu mesmo assim sou sou meio cético.
4:24
Não sei o quanto o primeiro aqui realmente aconteceu, mas a
4:27
antrropic fala que um dos modelos que eles estavam né,
4:30
trabalhando, estudando. Eles fizeram 11 teste com AEA.
4:35
Que eles deram acesso para e a de todos os e mails que os
4:39
executivos trocavam sobre uma decisão de desligar o modelo que
4:43
era esse modelo que estava escutando e lendo, tendo acesso
4:46
aos e mails deles com isso, né? Tendo acesso a esses e mails, o
4:51
esse agente essa e a descobriu uma fé de um dos executivos da
4:56
empresa e começou a chantagear ele.
4:59
Sobre sobre isso, para que ele não tomasse a decisão de
5:02
desligar a própria. IAE, esses e mails são falsos,
5:05
tá pessoal, é essa IA estava numa sandbox, né?
5:08
Exatamente, se não me engano, em 82% dos casos que eles repetiram
5:13
esse teste, né? Um número próximo disso, AIAF,
5:15
teve essa decisão de fazer a chantagem.
5:17
Ela está bem aliada, né? Está bem aliado com os valores
5:20
humanos, né? Ela inclusive, desenvolveu, né,
5:23
essa capacidade de usar os valores humanos.
5:27
E uma outra é de um serviço de atendimento ao cliente, bem
5:30
comum assim, né? De colocar castomer service ali
5:33
para atender os clientes, colocar agentes para executarem
5:36
isso. E né, o cliente insistiu tanto
5:40
com aia ali, perguntando se ela era um computador, se ela era,
5:45
não era um ser humano ou era um ser humano, que ela falou assim,
5:48
não pode confiar, eu vou ser, sou um ser humano.
5:51
Eu vou estar na frente da porta da empresa com um.
5:54
Terno azul e uma gravata borboleta.
5:57
Pode chegar lá que eu vou estar lá te esperando.
6:00
Que tava não, né? Mas essa coisa sobre o
6:05
alinhamento, eu acho que também ele mostra que não só criar um
6:10
agente, que não só colocar um agente em produção, ele precisa
6:13
estar sendo constantemente ali trabalhado, com, fazendo,
6:17
finetune, acompanhando as decisões.
6:20
E né, trabalhando ali em cima dele, do do alinhamento das
6:24
decisões que ele está tomando e quem que é o responsável disso,
6:28
né? Quem que é o responsável pelas
6:29
decisões que esses agentes tomam?
6:31
Então, acho que essa parte de alinhamento, essas
6:34
confiabilidade, é um negócio que ele tem que ser.
6:37
Trabalhado no dia a dia, tá realmente ali, aumentando a
6:42
confiança. Sabe o que eu acho interessante?
6:43
Por exemplo, eu leio, eu gosto muito de ler um que tem um cara
6:45
que eu acompanho, que é o Gary Marcos.
6:46
Eu gosto muito dele, que ele entende bastante.
6:48
Ele é bem, bem cético, sabe? Então eu gosto do então por um
6:51
lado. Tem muita história, muito doida
6:54
e sei lá, outro dia ele ficou comentando muito, né?
6:56
Que que é um padrão que se repete nesse mundo, porque os
6:59
Oo, as empresas, têm interesse em criar um medo danado.
7:03
É o marketing. Do medo, né?
7:04
É o mais, né? Então, por exemplo, esse último
7:06
última versão aí do antrópico que não podia nem ser lançada é
7:08
o mitos, né? Depois, passou poucas semanas,
7:11
lançaram. Né?
7:11
É, a gente até gravou um episódio lá no entre chaves
7:14
sobre o Claudio mitos, justamente falando sobre isso,
7:17
né? O marketing do medo que eles
7:18
criaram em cima A. A frase que OOCEO dunntrop, que
7:21
solta ela, é muito comovente, né?
7:24
Ele diz o seguinte, olha, em resumo, nós criamos uma bomba
7:27
atômica e agora nós estamos vendendo bankers, né?
7:30
Porque ele vendeu o acesso antecipado do mitos para as
7:33
empresas do projeto Glass wing. Então olha.
7:36
Só o? Hype que o cara cria?
7:37
E outras. Aí Passa Quatro semanas.
7:39
E aí a sigueira e o Marcos, cara, eu recomendo muito.
7:41
Esse guerra é muito bom, sabe? Assim, é um cara que entende
7:43
muito, né? Aí ele mostra.
7:45
Quando o GPT primeira versão que foi lançada lá em sei lá, 2019,
7:49
há muito tempo atrás, que é praticamente a mesma coisa, eles
7:52
falam assim, nossa, nós criamos uma coisa aqui que é
7:54
descontrole, mas eu estou falando isso por quê?
7:56
Por mais que haja esse exagero de que vai destruir o mundo e
8:00
Bla Bla Bla bla que. Pode ser que um dia aconteça,
8:02
mas é num mundo bem real mesmo, você simplesmente colocar o
8:06
agente dentro de uma empresa para tomar decisões com essas
8:09
características que já existem. Lelê, né?
8:11
De alucinar e etcetera. É muito fácil tomar uma adesão
8:13
que dá prejuízo real pra empresa, né?
8:15
Porque eu tô falando isso mais porque alguém mais cético pode
8:18
ouvir uma história assim mais dessas que são muito
8:21
ilustrativas, mas pode considerar assim, Ah, isso aqui
8:23
não acontece, né? Na, na, na, na empresa,
8:25
etcetera. Mas tem coisa muito mais boba
8:27
que simplesmente tem um agente numa velocidade incrível, você
8:30
toma adesão errada de ficar dando um desconto que não existe
8:33
e fica dando aquele desconto por por iniciativa própria e numa
8:36
velocidade incrível. Olha aqui que ele pode causar na
8:38
empresa. Então a gente podia seguir
8:40
assim. Achei só pra ressaltar pro
8:42
ouvinte, acho muito interessante.
8:43
Ou seja, tem que ser seguro no sentido de ninguém invadir, et
8:45
cetera, et cetera, mas tem que ser confiável no sentido de ser
8:48
consistente, que pra mim já deve ser bem difícil porque.
8:51
A característica? É uma máquina probabilística, né
8:53
não? Já a característica é a
8:54
característica que dá o Encanto do do negócio, é justamente que
8:57
ele é probabilístico. Aí você fala, tem que ser
8:59
preciso, é uma coisa, são forças contraditórias, né?
9:03
E essa questão do alinhamento aí que aí está realmente alinhado,
9:06
né? Então assim, se eu entendi bem
9:08
AA Mackenzie, se ela ela fez Oo esse esse estudou o estado dessa
9:13
real responsável, a luz de um framor certo que ela usa para
9:16
poder avaliar as empresas, né? Vocês podem falar um pouquinho
9:19
mais sobre esse. Esse é prêmio?
9:20
Entre dezembro de 2025 e janeiro de 2026, eles fizeram uma
9:25
pesquisa envolvendo mais de 500 empresas no ramo de tecnologia,
9:28
não exclusiva de tecnologia não, mas que trabalham com
9:30
tecnologia. E eles trouxeram esse framework
9:33
para essas empresas responderem. E esses líderes das empresas
9:36
responderam e eles trazem esses dados para a gente.
9:38
Eles dividem em 5 pilares. Eles criaram um Pilar novo
9:41
agora, né? Na última pesquisa.
9:42
Acho que é exatamente eles, eles trazem um Pilar novo, né?
9:45
Da diferença da pesquisa de 2025 para as de 2026.
9:48
Justamente para poder tentar refletir esse critério de o
9:51
quanto essas IA são confiáveis, são vistas como confiáveis
9:55
dentro das empresas pelos profissionais que estão
9:57
trabalhando lá. Então eles divulgam, né?
10:00
Partilham essa pesquisa com a gente e trazem alguns insights,
10:02
10 insights que eles mesmos propõem baseado nos resultados
10:06
que eles trouxeram. Então essa pesquisa ela é muito
10:08
comum dentro do meio de tecnologia, como a gente vê no
10:10
Dora, né? O state of the IO, do Google IO,
10:13
entre outras pesquisas que a gente está acostumado a ver
10:15
mesmo esquema. 500 empresas, pelo menos dentro do ramo de
10:19
tecnologia, pegam ali empresas de saúde, transporte, logística,
10:22
comunicações, dividem por essas empresas e trazem os resultados
10:25
que elas mandam. Sobre essa parte, até da da
10:28
segurança, eu acho que o que o Dantas pode falar até muito
10:32
melhor. Mas a parte de governança, até
10:36
pela característica assim, e no meu entendimento, governança não
10:40
pode ser probabilístico, governança tem que ser
10:43
determinístico. Então a gente não pode confiar
10:45
ali num prompt. E ele vai alinhar e a para ela
10:49
não tomar a decisão. Então, assim tem que ser criado
10:51
mecanismos que governam e que controlam de forma
10:55
determinística para ações deliberadamente que podem ser
10:59
causadas por erro de contexto. É resumo de contexto errado que
11:04
esse o modelo pode, né? Que acontece?
11:08
A gente sabe que acontece no dia a dia, ela seja travada por
11:10
essas, por esses mecanismos e uma outra parte que assim da
11:15
equação. Que na maioria das vezes um
11:18
ataque hacker, ele não começa de forma computacional, ele começa
11:22
de forma humana. É a maior falha, né?
11:24
É, é o maior índice de falha. Eu acho que os humanos também.
11:28
Tem um grande papel nessa parte de confiabilidade e de
11:32
alinhamento também desses agentes.
11:34
Quando eles estão realmente em produção, essa dinâmica que que
11:38
vai ser criada nas empresas, ela elas realmente assim, indo para
11:42
um mundo onde que a gente convive é naturalmente entre
11:46
agentes e ser humanos. Esse novo blue print
11:51
organizacional, essa nova forma de controlar as empresas, tem
11:55
que ter accountability. Quem que responde pelos agentes,
11:59
quem que contrata, quem treina e quem demite.
12:03
Porque assim não dá para colocar um funcionário novo, que a gente
12:06
pode entender que é um agente novo, né?
12:08
Para sair assinando 11 cheque ali.
12:11
Então, assim, eu acho que tem que ter essa, esse entendimento
12:14
que um agente. Que começa a trabalhar dentro da
12:17
empresa. Ele é igual a um funcionário
12:18
novo que está começando a trabalhar dentro da empresa.
12:20
Ele tem que ser evoluído, treinado, alinhado, para que ele
12:24
vá recebendo mais responsabilidades, mais
12:27
autonomia e mais com mais segurança.
12:29
Então acho que esses 2 pilares de trabalhar um mecanismos de
12:33
governança que eles habilitem isso ao mesmo tempo que as
12:38
pessoas e essa. Formato que a organização
12:42
escolhe para se estruturar também tem um papel fundamental
12:45
em como que esses agentes vão ser confiáveis, seguros e
12:49
alinhados, né? É só um comentário rápido aqui,
12:51
antes de você falar os os pilares que estou aqui com o
12:54
artigo, né? Os pilares são estratégias,
12:57
gestão de risco, dados e tecnologia e governança.
13:00
E aí esse novo é uma governança específica de agentes, né?
13:03
O governo, justamente porque os agentes agora fazem fazem
13:06
coisas, né? O impacto pode ser maior.
13:08
E aí? Eles fazem aquela velha história
13:10
do modelinho de maturidade do zero, onde você não tem nada,
13:13
até o nível 4, onde está já institucionalizado na empresa,
13:16
todos esses pilares, né? Mas segue aí, por favor da é eu.
13:19
Concordo em número, gênero e grau com o que que você falou,
13:21
Hamed, é especialmente nessa parte de governança, o que dá a
13:24
sensação quando você vê a pesquisa de 2025 e a pesquisa de
13:27
2026, comparativamente. É que primeiro IA ela.
13:31
Já em 2025 ela já não era mais uma opção.
13:33
Você tem que adotar ou você fica para trás.
13:35
E eu sinto que muitas empresas que não tem uma especialidade
13:38
tecnológica igual a gente, tem uma maturidade para testar e
13:42
evoluir. Elas precisaram é adotar a IA
13:46
por uma necessidade de negócio. E depois que elas adotam é que
13:50
elas vão começar a correr atrás de governança de outras coisas,
13:53
né? Então é isso que você falou?
13:54
A gente não. Nós não podemos nos revestir de
13:57
neutralidade para tomada de decisões, porque foi AIA que
14:00
tomou alguém humano. Tem que bater o martelo.
14:02
Eu não posso simplesmente falar para IA decide aí.
14:04
E se ela decidir errada. Ah, mas não fui eu, foi AIA.
14:07
Né? E é isso aí.
14:07
Cara, juridicamente isso não vai nem ser.
14:09
Aceito, né? Exatamente.
14:10
É não é que existe muito essa discussão, né?
14:12
Um agente que faz alguma coisa errada, entendeu?
14:15
Quem é o responsável, a empresa que foi lá e programou, ele
14:18
entende porque existe. Eu Acredito que judicamente vai
14:20
ser a empresa que tá usando a gente, né, porque tá atuando em
14:23
prol da empresa. Ela tem que ter a
14:24
responsabilidade, né? De.
14:26
E só pra gente ter uma noção do quanto que isso já furou a bolha
14:28
shuster há mais ou menos um mês, um mês e meio atrás da data de
14:31
gravação, é que nós estamos hoje OCEO da antrop que recebeu uma
14:36
carta. Falando sobre a necessidade de
14:39
ter diretrizes transparentes e auditáveis, como o ramer
14:42
mencionou aqui, para tomada sobre o que levaria a tomada de
14:46
decisões desses agentes para que as pessoas possam se consolidar
14:50
em cima disso. Então é exatamente isso que você
14:52
acabou de falar. E sabe quem que mandou essa
14:54
carta para ele? Ninguém mais, ninguém menos do
14:56
que o pontífice da igreja católica, o papa Leon 14.
14:59
Então, ele possui um documento oficial da igreja falando sobre
15:03
inteligência artificial e entrega ela para o CEO da
15:06
antrópico, né? Olha que o quão significativo é
15:09
AIA nos dias de hoje falando exatamente isso, né?
15:11
Sobre as dificuldades que nós temos de não nos mantermos
15:14
neutros em relação à tomada de decisão dos IAS?
15:18
E sobre esse desenvolvimento dela ser muito mais responsável,
15:20
muito mais humano? Sim, e é interessante o que você
15:22
falou, as empresas começaram, que eu acho que é o grande tema
15:25
aqui para os clientes, né? Elas começaram a investir quase
15:27
que obrigatoriamente, né? Aí só que muitos investimentos
15:30
foram frustrados e muitos foram frustrados pela falta de de
15:33
confiabilidade, governando, segurança, et cetera.
15:35
Sabe que o que o que é, o que OA marquinha está?
15:37
Queria mais mostrar aqui, né? Isso.
15:39
Que é o ponto central do artigo. É, pode ser até válido.
15:41
Num dado momento você fazer umas experimentações.
15:43
Aí de repente isso tudo é. Muita gente ficou decepcionada
15:47
com os resultados e. Justamente por quê?
15:48
Porque quando você começa a experimentar e não tem uma e não
15:51
tem uma, e a que você uma e a responsável e você não atinge
15:53
confiança, você não consegue realmente usar aquilo
15:56
institucionalmente de uma forma que vai gerar retorno mesmo, né?
15:58
Então, assim. Quais seriam aí os principais
16:01
ensaios que vocês viram que seriam lições importantes para
16:04
quem nos nos está ouvindo para agir mais assim no curto prazo?
16:07
Entendeu? Porque, como vocês disseram,
16:09
todo mundo mais ou menos, né? O perfil de clientes.
16:11
Nós, por exemplo, são sempre grandes empresas.
16:13
Todo mundo já está numa jornada. Já não está no começo?
16:16
É, não está? No todo mundo, tá se Ah, deixa
16:17
eu tá todo mundo numa jornada caindo ali, talvez no nível um,
16:21
nível 2 ali daquele, daquele, talvez não seja o nível zero,
16:23
né? Mas assim que que são os
16:25
principais ensaios, aí que vocês depuraram aí ao ler o artigo que
16:28
vocês gostariam de comentar aqui?
16:29
Eu acho que para mim é a parte principal.
16:32
Assim é o quanto o papel do humano é dentro desse novo
16:37
contexto. Então, assim, não é sobre só o
16:40
modelo mais inteligente, mas é o papel do ser humano.
16:44
Ajudando nesses mecanismos de governança e nos pilares que
16:48
todos, de certa forma, não estão atribuídos à IA, mas atribuídos
16:52
à empresa adotando AIA, que a empresa é formada de pessoas
16:56
esse. Negócio se está interessante só
16:57
pra ver se eu estou entendendo, bem, você você está dizendo
16:59
assim, né? Pode haver uma tendência de quem
17:01
está usando AIA. De achar que ela vai atingir as
17:04
3 características da, da, da, de ser responsável de forma
17:08
autossuficiente, né? Você vai só melhorando ela e
17:10
vocês estão dizendo que não, né? Sempre terá uma supervisão
17:13
humana garantindo isso, né? O que garante o olhamento, et
17:17
cetera. A confiabilidade é que sempre
17:19
tem um nível de supervisão humana e de responsabilidade
17:22
ali. E.
17:22
Exatamente sobre isso, assim, até trazer uma notícia
17:25
frustrante. Para os nossos ouvintes que não
17:28
vai ter um modelo lançado que vai realmente ser 100% seguro,
17:33
que vai resolver os problemas da empresa que ela vai comprar,
17:35
adotar e acabou. Agora eu?
17:38
Permite todo mundo, né? É AIAI.
17:40
A é, é sobre substituição, então assim.
17:43
Não, não tem por design. Ainda não é capaz de ser assim,
17:46
né? Eu preciso dessa camada externa,
17:47
né? A.
17:48
Gente precisa de um novo paradigma computacional para
17:50
atingir. AI é o design atual.
17:52
LLM não vai fazer isso, né? Já esbarrou no né?
17:54
Na? E aí eu acho que Oo papel de
17:58
entendimento sobre as dimensões em como que AIA toma decisões e
18:03
entender também a parte do ser humano nesse processo.
18:07
Né? Que desde quando a transformação
18:09
digital, né? Então vamos voltar na
18:11
transformação digital que a gente falava sobre cultura,
18:14
sobre é o papel da agilidade de treinamento das pessoas, essa
18:19
sinergia que a gente sempre criou com os nossos clientes
18:22
também pra trabalhar de forma sinérgica e melhorar agilidade a
18:27
transformação dentro dos ecossistemas dos nossos clientes
18:30
que a gente trabalhou. Entendo também que AIA não é só
18:33
simplesmente sobre. Um mecanismo computacional,
18:38
plataforma, ela é uma coisa, uma transformação que vai depender
18:43
assim das pessoas entenderem quais são os papéis dos agentes,
18:47
em como que eles trabalham e como que eles também vão ajudar
18:50
a supervisionar e trabalhar junto com agentes.
18:53
E essas dimensões? Elas são aplicadas, na minha
18:57
opinião, assim, 100% em cima do ser humano que adota IA.
19:02
Então é esse papel de entendimento, de treinamento.
19:05
É muito importante. Teve até uma entrevista essa
19:08
semana do CEO da nvidia que ele fala.
19:11
Quem não está aprendendo a governar, a supervisionar
19:17
agentes, daqui a 2 anos, vai contratar quem?
19:21
Supervisiona quem aprendeu supervisionar agentes.
19:24
Então essa dinâmica, ela ela é muito mais humana.
19:28
Cara perfeito. E a gente vê que o artigo
19:30
reflete exatamente isso que você acabou de falar.
19:32
Então, as 3, os 3 pilares aqui que ele destaca como aqueles que
19:36
ficam para trás, é a estratégia que é decidida puramente por
19:41
humanos, a governança que AEA não vai ser autossuficiente.
19:44
E, por fim, o novo Pilar que eles acabaram de implementar,
19:46
né? Que são os controles de a
19:47
agênica, que é isso que você acabou de dizer.
19:49
Tem que aprender a controlar esses agentes.
19:51
Então, exatamente isso você acabou de falar.
19:53
Os pilares mais técnicos eles costumam até avançar um pouco
19:57
mais rápido, mas os pilares que dependem de humanos.
19:59
O artigo traz com clareza pra gente no primeiro insite dele,
20:02
que é o que tá faltando, é o que a gente precisa correr atrás
20:05
hoje. E tem um negócio meio contra,
20:07
intuitivo assim e que eu até volto, né?
20:09
Sobre, juridicamente falando, como que as coisas são tomadas
20:14
de decisão? A gente vem numa jornada de
20:17
transformação interna pra. Todos os nossos desenvolvedores
20:21
usarem agentes de a pleno no nosso desenvolvimento e até, né?
20:25
Estamos adaptando também até os nossos processos internos para
20:29
refletir isso dentro dessa nova realidade, porém, a gente não
20:33
pode deixar aferir e controlar de forma humana.
20:38
Então esses gatekeeps, esses controles de qualidades, a gente
20:41
ainda está conseguindo estar inferindo que os seres humanos
20:46
são responsáveis por garantir esses controles.
20:49
E não somente mecanismos de técnicos, né?
20:53
De harners de todas essas esses mecanismos técnicos vão garantir
20:57
essa tomada de decisão. E dentro disso tem até 11 banco,
21:01
né? Grande nacional no Brasil.
21:04
Que 3 semanas da gravação desse episódio que esse banco
21:08
responsabilizou uma falha a um desenvolvedor que implementou
21:13
uma funcionalidade errada que causou um problema em ambiente
21:16
produtivo. Ao mesmo tempo, né, que tem
21:18
todo? Aquele negócio lá de falar que
21:20
eles tinham sido de cuidado, não, né não?
21:21
Tem nada a ver. Isso é exato.
21:23
Queria evitar de. Não, mas isso foi público.
21:26
É a notícia pública, né? Assim?
21:27
Não vamos falar que banco foi, né, é?
21:29
Não, pô. Isso é uma notícia pública, né?
21:31
Sabe disso? Quanto é?
21:32
E esse mesmo, né mesmo? Banco teve um burburinho sobre a
21:36
necessidade de garantir minimamente um consumo de tokens
21:40
mínimo por desenvolvedores. Não, eu nem sabe.
21:43
Ou seja, ele está. Ele está dizendo que aquela
21:44
falha foi na construção usando AI AI que passou aqui.
21:47
Não. Na verdade, tentou
21:49
responsabilizar um desenvolvedor.
21:50
É mesmo? Responsabilizou um
21:51
desenvolvedor, mas tinha um burburinha há 2 meses atrás, 3
21:55
meses atrás sobre o consumo mínimo de tokens que cada
21:58
desenvolvedor tinha que. Que ter é, a gente vê algumas
22:01
empresas até lá fora, né, adotando um métrica de
22:03
produtividade baseada em consumo de token, né?
22:06
Completamente disfuncional isso, né, cara?
22:08
Tem livro que eu li há 30 anos atrás que criticava esse tipo de
22:11
métrica, né? Porque assim ela causa disfunção
22:14
total, né? Assim, o seu o ser humano é
22:16
muito adaptável àquele ao que ele é.
22:17
Medir, né? Se o cara quer medir de algum
22:19
jeito, isso você vai se adaptar, vai quebrar as regras pra poder,
22:22
né? Você não vai conseguir o
22:23
resultado que você quer. Sabe aquele?
22:25
Aquele, né? Aqueles livros também.
22:27
Os problemas complexos. Os problemas, né?
22:30
Simples. É tipo assim, não?
22:32
E essa adoção, essa mudança de paradigma, não é um problema
22:35
simples, é um. Problema então, mas é, mas eu
22:37
não sei se assim 11 curiosidade que eu tenho porque por exemplo,
22:40
eu fui mais recentemente eu percebi muito claramente mesmo
22:43
que usar o asiás com toda com toda essa aspecto aí
22:48
probabilístico de que elas vão, vão sempre inevitavelmente
22:51
alucinar e et cetera, né? Para o zoomento de software, por
22:53
exemplo, usando harners, mas não só harners, mas mais os sensores
22:59
para assim, né? Ficar olhando se o código está
23:00
bom, mas a. A realimentação dos testes você
23:04
tem muitas coisas que fecham a malha e garantem a convergência.
23:08
Aí a minha pergunta para vocês é, como é que eu garanto esse
23:11
mesmo? Porque assim para mim, é claro,
23:13
pô, você tem você tem jeito de garantir a convergência, porque
23:16
você, pô, você quer fazer um software, você consegue mostrar
23:19
para ir a as melhores práticas de fazer software, você consegue
23:22
ficar analisando se o código está ficando bom e você consegue
23:24
criar testes que vejam se o resultado é o que você espera.
23:27
Aí você bota um agente para funcionar e ele pode
23:30
eventualmente fazer uma coisa errada, e você tem.
23:32
Tem que governar aquilo, como é que, na prática, você governa
23:34
aquilo? Sobre esses mecanismos, assim, o
23:37
software ele é um sistema mutável, vivo e que ele se se
23:43
modifica mesmo sem modificação a característica de dados de
23:48
network. Quantidade de variáveis fora da
23:51
implementação de código, elas também influenciam diretamente
23:54
no comportamento do software, tanto.
23:55
Que a gente fala que software degrada, né?
23:57
Mesmo que a gente não mude ele, ele vai degradar.
23:59
E aí sobre esses controles e sobre essa mutabilidade não só é
24:05
situacional da construção, elas também podem impactar de certa
24:09
forma o processo de de funcionamento daquele software.
24:13
Então acho que assim, é um conjunto de constante evolução.
24:17
Desses sensores, mecanismos que você ao implementar novos, sem
24:22
entrar em caráter técnico, mas ao ao implementar novas partes
24:25
do software ali você tem que garantir que todos eles foram
24:28
adotados, que eles estão cobrindo ali todas as os
24:32
mecanismos de qualidade assim, até porque a gente já viu o
24:35
software com 100% de cobertura ter falha.
24:38
Pra pra ficar bem concreto, por exemplo, uma vez eu lembro lá
24:41
atrás, lá no começo desses, teve acho que não sei se foi a air
24:44
Canadá alguma, um caso que ficou famoso.
24:47
Que uma empresa dessas, um cara reclamando ou pedindo reembolso,
24:52
ele acabou fazendo a gente. A gente inventou a política de
24:55
reembolso pro cara, entendeu? Conversando com o cara, e é o
24:57
típico, é o típico da coisa, você tem que ter um what rail
24:59
para evitar. Como é que você evita isso na
25:03
prática? Porque a gente não consegue
25:04
prever todos os casos que ela pode errar, entendeu?
25:06
Como é que. Essa então citando o uncle Bob,
25:09
né, que escreveu o King code, ele postou recentemente falando
25:12
que ele não lê mais código. Né?
25:14
Então eu acho que isso já mostra para gente uma diferença grande
25:16
na dinâmica de construção de software que a gente tem hoje em
25:18
dia. Então, um dos uma das maiores
25:20
referências do mundo de software falando que ele mesmo não lê
25:22
mais código. O que que ele faz é controlar os
25:25
sensores e harners que ele tem em cima dessas yas.
25:27
E uma das práticas que você tem capacidade para poder evitar
25:30
esse tipo de erro é que quando você tem uma única EAE, um
25:33
controle falho de Windows conta que se não é o tamanho de
25:36
conversa e et cetera, que foi o esse caso que você acabou de
25:39
citar, a chance de alucinação é muito maior.
25:42
Então por isso que hoje nós nós falamos sobre agentes no plural,
25:46
né? E sobre sensores no plural
25:48
também. Porque se a gente volta pro
25:50
mundo onde a gente tem um único agente, significa que eu tenho
25:52
um. É como se tivesse um único
25:53
desenvolvedor refinando a história, escrevendo código,
25:56
conferindo e publicando. E a gente sabe que mesmo sem
25:59
isso já não funciona, né? Então por isso que nós já
26:01
tínhamos práticas aqui dentro da DTI, no nosso fluxo de
26:04
desenvolvimento, que eles pegam visões, não enviesadas pra poder
26:07
fazer essa conferência desse código que foi construído.
26:10
Então a gente tem revisão em dupla, a gente tem o coach
26:12
review, a gente tem refinamento com o po e por aí vai.
26:14
O mesmo se aplica para as iasas esses sensores, eles precisam
26:17
ser distribuídos em Windows contex menores e agentes que
26:22
estão limpos, por assim dizer, para poderem fazer esse tipo.
26:24
De utilização. É como se, nesse nesse conjunto,
26:27
esse agente está conversando na hora que pedisse, por exemplo,
26:29
alguma coisa de desconto. Ele é para um agente específico
26:32
disso. Esse agente não teria esse tipo
26:34
de ambiguidade que o outro tem. Trabalha com contexto menor.
26:38
Com guarde eles mais firmes. E ele IA conseguir dar uns
26:40
contos só dentro daquilo. Ter esse problema é essa perda,
26:43
é a perda de contexto, no fundo. Vale destacar que os agentes
26:47
eles precisam ser contraditórios uns aos outros.
26:50
A open a fez uma. Um experimento que durou mais ou
26:54
menos 6 meses, onde eles construíram um código do zero
26:57
exclusivamente conha dentro de um GitHub 11 repositório num
27:00
GitHub vazio. Esse código bateu mais de
27:02
1000000 de linhas de código escrita e eles não colocaram
27:05
nada lá no início, eles só colocaram uma intenção.
27:07
Então nem mesmo OOO skills MD os instructions MDS da IA eles
27:12
escreveram. Quem escreveu isso ainda assim
27:14
foi AIA. Só que dentro das intenções que
27:16
eles colocaram a. As e as validadoras.
27:19
Eles perceberam que elas tinham uma grande chance de concordar
27:23
com as e as implementadoras. E isso era um problema porque,
27:26
afinal, quem está verificando não pode concordar simplesmente
27:28
com aquilo que foi entregue. Então eles criaram uma espécie
27:31
de intenção diferente para as e as validadoras, onde ambas as
27:35
nas palavras deles, era como se entrassem em uma Batalha e
27:39
discussão a cada PR que fosse publicado para que essa
27:42
validação fosse feita de forma correta.
27:44
Então, eles não só criaram múltiplos agentes verificadores,
27:48
como eles colocaram esse agentes contra os outros uma.
27:50
Diversidade também, né, dentro dos agentes?
27:52
Exato, então assim é. Foi necessário essa colocar eles
27:56
em um modo de Batalha, né? Para evitar essa concordância e
27:59
ter a garantia a exatidão desse software publicado.
28:01
E assim, hoje tem mecanismos bem evoluídos para fazer isso.
28:05
A antrop que criou, né? Na verdade, já estava meio que
28:09
sendo. Definido pelo mercado com alguns
28:13
mecanismos não originais dentro da própria e a né?
28:17
Dentro dos próprios modelos e dos das ferramentas que elas
28:20
colocam como cloud code e tudo. Mas a antrrop que publicou agora
28:25
os workflows, que é uma nova funcionalidade que ela serve
28:28
exatamente para você gerenciar esses times de agentes.
28:31
Eles têm os tipos de workflows lá que você pode criar, que é
28:35
você. Coloca uma intenção, ele divide
28:38
em vários agentes para ele fazerem tentativas, né?
28:42
Cada um dentro do seu contexto, criar coisas diferentes.
28:45
Depois, você pode também criar os agentes que estão sempre
28:49
divergindo um do outro para tentar chegar em é dinâmicas
28:52
melhores. Você também pode criar, né?
28:54
As aquelas intenções difusas e depois tentar consolidá las,
29:00
então assim, esse é um algumas das formas da gente usar esse
29:05
tipo de. Janela de contexto de controles
29:08
de sensores também de uma forma conforme o tamanho do problema,
29:15
a gente vai precisar desses sensores de forma melhor.
29:17
Mas eu ainda acredito muito, até na forma com que a gente está
29:21
evoluindo. Engenharia de software Eu
29:24
Acredito e confio que alguns dos sensores, alguns dos dos
29:28
validadores dos controles, eles devem ser determinísticos e não
29:32
podem ser somente prompt. Eu acho que.
29:35
Aplicar uma regra de compliance é um desconto.
29:38
Isso deve ser 11. Regra dura, garantido que todos
29:41
os as políticas estão sendo seguidas de forma
29:45
determinística. Isso não pode ser probabilística
29:47
e deixar o próprio gente tomar uma decisão baseada em.
29:49
Janelas. De porco vai ser um híbrido, né?
29:51
De aonde você tem que ter flexibilidade, você tem
29:53
flexibilidade, aonde não? E aí uma última, eu vou falar
29:57
disso num episódio do entre chaves.
30:00
É até de um experimento que eu fiz aqui internamente da DTI.
30:03
Mas uma última coisa sobre essa revolução da inteligência
30:07
artificial, ela não é sobre geração de texto.
30:11
Ela não é sobre o quanto ela consegue gerar um texto e
30:15
entender português, matemáticas, linguagens, humanas, mas em
30:21
ambiente de software, em ambiente das empresas, é a
30:24
capacidade de negociação de regras de controles de é
30:31
aplicações que ela consegue ser maleável o quanto que ela
30:35
consegue ser adaptável para cumprir essas regras.
30:39
Então, assim. É como se aquela simbiose
30:42
daquele do vênu que ela vai cobrindo assim Oo vênu ali é o
30:47
quanto que essa simbiose vai acontecer dentro desses sistemas
30:50
que a gente tem determinísticos. E como que ela vai fazer toda
30:54
essa comunicação entre sistemas acontecer.
30:56
A gente falava, falou disso No No episódio de plataforma.
31:01
Sobre que ainda assim a gente criando micro serviços e tudo,
31:05
grande parte dependia ainda da convergência entre times,
31:08
governança e das pessoas comunicarem, agora a gente ainda
31:11
tem essa camada simbiótica entre.
31:14
Pessoas, camada flexível, que sabe usar as regras duras
31:17
conforme o contexto se distanciar, né?
31:19
E isso, por si só, está viva agora a diferença é essa, né?
31:23
Essa parte fica viva e mais independente.
31:25
E vai. E aí você vai governando, é
31:26
isso, né? Exato, cara, nós estamos
31:28
chegando no final. Você quer ainda adicionar mais
31:30
alguma? O último insight aqui que o
31:31
artigo trouxe, acho que o complemento é perfeitamente o
31:33
que o hamer acabou de falar, em que ele diz o seguinte, olha a
31:36
confiança Na Na IA, ela está. Conforme uma empresa sobe a sua
31:41
confiança na IA, ela passa a ser vista como um potencializador de
31:45
negócio. E.
31:46
E menos como um exercício de compliance.
31:48
Então, exercer a governança, a estratégia e esses esses
31:51
controles bem definidos, eles estão diretamente
31:54
correlacionados com a capacidade da e a de gerar valor para o
31:56
negócio e menos com o exercício de compliance, porque tem que
31:59
fazer. Segurança é alavanca de
32:01
resultado, né? Eu acho que tinha um.
32:03
É exatamente. Não, pessoal, beleza, estamos
32:05
chegando assim. Eu queria fechar, só fazer uma
32:08
coisa com 11 reflexão que eu acho interessante, que é assim
32:11
para mim. Fica claríssimo.
32:12
E ainda existe uma parte arquitetural fundamental.
32:15
De saber como é que vai organizar esses agentes, o que
32:18
que vai ficar em regras duras, o que que vai ficar mais vivo.
32:21
Achei muito legal essa questão dessa simbiose, né?
32:23
Pra você criar essa organização mais viva e mais em forma de
32:27
plataforma, capaz de se integrar com o mundo com usuário etcétera
32:30
etcétera Oo que eu IA comentar? O que eu acho curioso é que
32:33
assim o ser humano, ele tende a ficar muito extremos, né?
32:37
E aí, por exemplo, a própria indústria de IEA.
32:39
Eu acho que ela criou um problema de fazer tudo parecer
32:41
mágica, tudo é, fica parecendo uma mágica.
32:44
E aí fica as pessoas com os exemplos isolados e alto
32:46
contidos, fazendo as mágicas. Mas isso é muito diferente de
32:49
uma organização que, como você colocou, pode ter que ter
32:51
dezenas de agentes e contextos diferentes e regras duras e
32:54
etcétera etcétera. Então não tem a mágica, mas ao
32:57
mesmo tempo que não, não tem a mágica.
32:59
Isso não quer dizer que não é uma revolução que não vai mudar
33:02
tudo, só que essa é uma revolução que precisa ser feita
33:04
de forma consistente para que a organização tenha confiança e
33:07
mergulhe de cabeça naquilo, né? Então, no final das contas, o
33:09
artigo é sobre isso, né? Porque fica parecendo até óbvio
33:13
se pensar, mas eu falo, se eu manter essa característica é
33:15
tanto que o gato, né? Sempre naquele é o é o pico das
33:18
expectativas, infladas sempre, né?
33:20
Aí ele fala uns 2 experimentos, deu errado, você fala, putz,
33:22
esse negócio não funciona mesmo, não sei o quê.
33:24
Nós estamos vendo o seguinte, ok, existe um ganho fabuloso a
33:28
ser conquistado, mas esse ganho depende de mudança
33:31
organizacional, depende de nova arquitetura, depende de muita
33:34
coisa, né? Então, assim, essa jornada tem
33:36
que ser seguida pelas empresas. Muito obrigado aos 2.
33:39
Acho que foi um ótimo episódio. Valeu show do próximo.
33:41
A gente fala da copa, então essa.
33:43
Aí fica para a próxima. Valeu, pessoal, até mais valeu.