Latest / Entre Chaves / #228 IA responsável: princípios, dilemas éticos e desafios para devs

Transcript

#228 IA responsável: princípios, dilemas éticos e desafios para devs · Entre Chaves

0:03
E. Está começando mais um entre
0:05
chaves, o seu podcast de desenvolvimento de software.
0:08
Eu sou a Rafa e hoje a gente vai falar sobre o elefante na sala,
0:12
né? Aquele ali que está todo mundo
0:13
vendo está ignorando que é o uso indiscriminado de IA, né?
0:17
A gente está vendo aí essa onda, né, esse hype e junto comigo, a
0:21
Fernandinha e minha colega de bancada.
0:23
E aí, Rafa? Pois é.
0:25
E aí, pessoal, então, né, esse tema ele vem tomando as grandes
0:29
empresas, né? As.
0:30
Big techs vem tendo algum cuidado, né?
0:33
Criando frameworks, criando princípios para lidar com esse
0:37
tema, mas realmente é um negócio que é complicado pra caramba.
0:41
E aí é como você falou, né? O elefante da sala que todo
0:44
mundo quer ignorar que existe todo.
0:46
Mundo quer lançar um ex, gente, todo mundo quer lançar uma
0:49
solução. Mas acho que é hora que hoje a
0:51
gente sentar, conversar e explicar um pouco mais sobre e a
0:54
responsável, né? O que que está sendo feito?
0:56
E para isso a gente trouxe nosso convidado aqui, né?
0:59
De longa. Data, Francisco malagutti,
1:01
cientista de dados aqui da DTI. bem-vindo novamente.
1:04
Tudo bem, gente? Então novamente vai apresentar.
1:06
Para quem não me conhece, meu nome é Francisco malagutti.
1:09
Estou aqui na DTI há uns anos, já já participei de vários entre
1:12
chaves e eu atuo principalmente com o arquiteto de soluções e
1:15
ciências de dados aqui na DTI. Falar um pouquinho sobre a
1:18
responsabilidade ou até irresponsabilidade do uso
1:21
indiscriminado de a por algumas empresas em alguns cenários que
1:24
a gente tem hoje. Então, para começar, vamos
1:26
primeiro definir, né, o que que é e a responsável, porque é um
1:29
conceito. Que varia, né?
1:31
Muito amplo. E aí, também queria que você
1:33
contextualizasse com esse momento atual, né?
1:36
Esse hype? Então vamos falar um pouquinho
1:38
sobre o uso de ar e o ar crescente que a gente tem hoje.
1:42
Acho que desde o lançamento do chat GPTA gente tem visto cada
1:45
vez mais o público aderindo ao uso de ar no dia a dia.
1:48
Era uma coisa que antigamente era muito mais voltada ou para
1:52
para o público da academia ou até algumas empresas.
1:54
Era bem limitado. E agora, com o desenvolvimento
1:57
de Ásia, a popularização delas, o que a gente tem?
2:00
É a integração disso, não só no nosso dia a dia, mas também no
2:03
nosso fluxo diário, seja no trabalho, seja respondendo um
2:06
e-mail, seja em alguns cenários, fazendo aquela mensagem porque
2:10
você deixou para o último momento, para o aniversário de
2:12
algum amigo e talvez você não está tão animado assim para
2:15
fazer. O grande problema que a gente
2:16
tem aqui é que muitas vezes esse uso ele não tem tanto problema.
2:20
Ele está ali no nosso dia a dia, ele está ali para facilitar o
2:23
nosso trabalho, mas tem um risco embutido nesses usos que vem.
2:26
De onde estão vindo esses dados que estão sendo usados para
2:29
treinar esse ar? Quais que são os problemas, os
2:31
dados que estão usando? Ou talvez um pouco do viés que
2:33
tem lá dentro? Ele traz um pouco do que a gente
2:36
tem às vezes de pior na nossa sociedade.
2:38
E quando a gente embute isso, no nosso progresso, em como a gente
2:42
está se desenvolvendo, a gente acaba potencializando.
2:45
Como vai ser esse uso? De onde estão vindo esses dados?
2:48
Como a gente está tratando isso de maneira irresponsável e
2:51
agravando alguns problemas que a gente tem, às vezes a violação
2:53
de algumas coisas básicas que a gente tem na própria legislação,
2:57
como ALGBD, que a gente deve falar um pouquinho mais pra
2:59
frente. Mas a ideia é que a gente
3:01
consiga, dado o desenvolvimento que a gente tem hoje, lidar de
3:05
maneira responsável anão infringir esses direitos, não
3:08
infringir esses problemas e conseguir andar no caminho
3:11
corretos. Aí há para melhorar o nosso dia
3:13
a dia. Mas como eu disse, e a gente
3:14
deve passar um pouco mais por isso aqui, quando a gente tem
3:17
algo que gera uma potência muito grande no mercado e a gente está
3:21
falando de milhões ou até trilhões de dólares de mercado,
3:25
muitas vezes a gente vê algumas empresas ou pessoas abrindo mão
3:29
disso. Porque isso?
3:30
Isso vai te colocar um pouco à frente.
3:31
Então cheira esse problema aí. Até onde eu vou manter o meu
3:35
cenário ético, sabendo que isso vai me deixar atrás e num nível
3:38
de tecnologia? Então você acha que isso está
3:41
incentivando, né? As empresas a ultrapassarem os
3:45
limites para poder, né? Beber a Água Limpa, né?
3:48
Chegar mais rápido? Com certeza.
3:50
Isso é um ponto que a gente tem. Isso é um limite ético que a
3:52
gente costuma ter isso quando a gente vai lidar com esse tipo de
3:55
coisa, principalmente na área de dados, seja pra inteligência
3:58
artificial, como tem hoje. Até mesmo no passado o Facebook
4:01
teve muito isso, quando teve aquele problema relacionado a
4:04
eleições nos Estados Unidos, que é o quanto eu vou abrir mão de
4:09
uma coisa que ela é antiética. Se ela me dá um potencial de
4:12
mercado ou se ela me dá, ela me bota à frente de um mercado, né?
4:15
Ela me bota à frente de outros competidores.
4:17
Então, se eu tenho uma coisa que ela fere esse princípio, mas ao
4:21
mesmo tempo ela vai me colocar à frente, isso significa que quem
4:25
seguir esse princípio vai estar atrás.
4:27
Então o que vai acontecer é que essa.
4:30
Corrida vai incentivar com que as pessoas ajam de maneira não
4:34
tão ética ou até mesmo ilegal. E no final das coisas assim, né,
4:37
só dando um passinho atrás que eu queria só definir um
4:40
pouquinho melhor. Não sei se todos os nossos
4:42
ouvintes compreenderam exatamente o que que é de fato.
4:45
Então aí a responsável, né, que basicamente então é um é um
4:48
conjunto mesmo de regras, princípios, práticas, framurs
4:52
que orientam o desenvolvimento, implantação e uso de sistemas
4:55
com e a basicamente é isto, né? E aí a gente está falando um
4:58
negócio que eu acho bem. Legal que é essa essa dicotomia
5:02
mesmo entre inovação e regulação, porque, é claro, a
5:06
gente está vendo uma tecnologia igual IA, né?
5:08
Igual essas IAS generativas, essas ferramentas tipo GPT
5:12
cloud, inclusive ontem, né, foi lançado cloud 4, essa semana
5:16
também teve o Google e o então assim, a gente tá vendo as
5:18
tecnologias avançando muito rápido e é claro que os Marcos
5:21
legais não acompanham, né? E é claro que as empresas
5:24
também, elas têm o seu papel nessa parte de regulamentação e
5:27
eu concordo muito com você que é isso, existe então essa.
5:30
Briga essa, essa dicotomia mesmo entre eu ser inovador, eu ser o
5:35
cara da ponta, o cara que está surfando na crista da onda, né?
5:38
A empresa que está e a e a regulação, que às vezes puxa um
5:42
pouco. E aí fica essa esse cabo de
5:45
guerra mesmo entre inovação e regulamentação, né um.
5:47
Ponto que eu acho que vale a pena a gente dar uma passada
5:50
aqui. É primeiro a separação entre o
5:52
que é ético, que varia ali com a definição da sociedade mesmo, e
5:55
o que é legal. O que é legal normalmente está
5:57
mais atrasado, porque é assim que a lei funciona.
6:00
A ideia é que algo aconteça para que então a lei reaja e legisle
6:04
sobre essa situação, enquanto a ética ela está mais relacionada
6:07
sobre a visão de sociedade sobre aquilo.
6:09
Então a gente vai ter já essa primeira separação.
6:12
E quando a gente vai lidar ainda com essas 2 situações?
6:15
A gente tem 2 pontos, que é um sobre a tecnologia em si e o
6:19
segundo sobre o uso da tecnologia, a tecnologia, ela
6:22
não necessariamente ela é antiética ou ilegal.
6:25
Às vezes o uso dela é ao mesmo tempo.
6:27
A gente tem cenários de aqui, eles são.
6:30
Antiéticos ou ilegais, fundamentalmente porque eles vão
6:33
infringir liberdades individuais, como o direito das
6:36
pessoas a ter os seus dados mantidos em sigilo.
6:39
E coisas como a gente sabe hoje, a própria lei do copyright que
6:44
muitos autores tiveram infringido porque modelos de ar
6:47
utilizaram dados que são autorais, sem o devido pagamento
6:51
para o treinamento delas. Então hoje a gente tem esses
6:54
modelos se não é nada em cima de dados autorais, ao mesmo tempo
6:57
que isso não teve a devida ação legal de pagamento.
7:00
De aquisição, então, basicamente a utilização de pirataria para
7:03
desenvolvimento num software privado.
7:05
Então vamos falar dos princípios, né?
7:06
A gente sabe que existem algumas versões, né?
7:10
Diferentes, né, cartilhas diferentes, mas a gente vai por
7:13
alto aqui passar por cada um dos pilares, né?
7:15
O primeiro que eu queria trazer, que eu acho que é o mais
7:18
complicado da gente falar que é OA explicabilidade e
7:21
transparência, porque modelos de ar hoje muito são totalmente
7:24
caixa preta. E aí só para dar uma
7:26
contextualizada no assunto, eu queria trazer uma notícia que.
7:30
Que aconteceu com AIBM. Depois de muito tempo
7:32
trabalhando junto com AIBME, eles encerraram um experimento
7:35
um com OEA que foi o uso de um chatbot no drive thru.
7:40
Depois de assim uma vários vídeos de memes no TikTok de
7:43
pessoas tendo problemas com esse chatbot, né?
7:46
Tem um vídeo engraçado que soltaram que AA menina estava
7:49
pedindo e aí estava adicionando um tanto de Chick machnugged e
7:53
ela implorando pra parar. Eu já tinha mais de 200 check
7:56
nuggets, então assim qual que é o desafio, né?
7:58
De você ter essa? Essa Black Box e você ter que
8:02
tentar entender de debugar o resultado do seu modelo?
8:05
Isso é um ponto que a academia tem se debruçado há alguns anos.
8:10
Principal problema que a gente tem quando a gente lida com
8:12
explicabilidade é que hoje modelos caixa preta.
8:15
Não que a gente não tenha modelos que são mais whitebox ou
8:18
que a gente consiga debugar, mas modelos caixa preta, eles
8:21
normalmente têm um desempenho melhor do que modelos que são
8:25
whitebox ou que você consiga ter uma melhor explicabilidade.
8:27
E como eu disse, se você tem algo que te.
8:30
Dá uma vantagem competitiva de mercado, você normalmente vai
8:33
optar Por Ela, então você teria que de alguma forma, se você
8:36
quiser usar um desses modelos, né?
8:37
Você teria que reduzir a diferença entre um modelo
8:40
explicável ou não. E nesse cenário, não é simples
8:43
modelos normalmente de pilaning. O nome dipp vem exatamente
8:47
disso. Ele é um aprendizado profundo,
8:49
ele passa por camadas e camadas, e o que ele faz ali, no cerne
8:53
dele é identificar padrões e vieses.
8:56
E nesse cenário, tal qual Oo ser humano, que é básico.
9:00
Realmente uma máquina orgânica de identificar padrões, ele vai
9:03
identificar e aplicar isso. E a gente sabe que alguns desses
9:05
padrões são errados. Eles estão errados, seja porque
9:09
ele é um viés dodado que está sendo utilizado para treinar.
9:12
Isso a gente consegue mitigar de alguma forma, fazendo alguns
9:15
estudos em cima ou um viés do modelo.
9:17
E nesse cenário, ele é um viés arquitetural e acertar a maioria
9:20
das vezes não quer dizer que ele vai acertar da melhor forma.
9:23
Existe todo um estudo sobre quais são os falsos positivos,
9:27
falsos negativos para você fazer em cima disso e.
9:30
Depois, pra você explicar como ele chegou nesses fatos.
9:33
O principal problema é que quanto mais camadas, mais
9:36
difícil fica de você embutir no seu modelo mecanismos de
9:40
explicabilidade. Você consegue.
9:41
Talvez identificar que há uma característica que eu passei pro
9:45
meu modelo, por exemplo, reconhecimento de imagem.
9:47
Ah, eu consigo identificar que alguma pequena forma ou que
9:49
algum Pixel foi relevante para identificar a imagem de um
9:52
cachorro na no meu modelo, mas conseguir identificar e explicar
9:56
a fundo o nível de causalidade, ou seja, qual a causa.
10:00
Que fez o modelo identificar aquilo.
10:01
Isso está muito longe do trivial.
10:04
Isso é uma coisa extremamente complexa em alguns cenários,
10:07
quase impossível pela quantidade de camadas que a gente tem.
10:10
Hoje existem modelos com centenas, milhares de camadas,
10:13
com bilhões de parâmetros que fazer esse tipo de análise.
10:16
Ele é simplesmente inviável. Ele é computacionalmente
10:19
inviável. E aí, como que como fazer com
10:22
que esse princípio seja meio que respeitado com sistemas de ar?
10:25
Porque quando a gente fala sobre software, né, é muito fácil, é
10:28
muito claro a. A gente consegue auditar
10:31
perfeitamente o que que um software faz.
10:33
Ele, basicamente, você tem lá os seus infiels, suas regras muito
10:36
claramente implementadas, né? Então eu consigo fazer
10:39
auditorias simples e claras para falar assim, esse software aqui
10:42
ele nunca vai para um caminho. Eu consigo falar com certeza
10:46
absoluta, né? O que não é verdade para esses
10:49
modelos que surgiram a partir de treinamento de dados e eles
10:52
mesmo tomam e aprendem com aquilo e tomam decisões, né?
10:55
E aí, como fazer com que esse princípio seja respeitado?
11:00
A do mesmo nessa era? O que acontece hoje é colocar um
11:02
pouco na balança, o que o pessoal tenta fazer é mitigação,
11:06
na ideia é não é uma coisa viável de se resolver no seu
11:09
cerne. Exatamente por isso que eu
11:11
falei, a forma como a gente trata isso internamente, no
11:13
modelo, não é atoa que a gente chama isso de pesos e vieses
11:17
dentro do modelo, é realmente isso que ele tem, é o peso que a
11:19
gente vai dar para aquele viés. E um dos nossos objetivos é
11:22
mitigar esses problemas conhecidos, então é onde entra
11:25
um pouco dessa balança de ética, moral e até do do.
11:30
Legal. E por isso que eu pessoalmente,
11:32
acredito que a regulamentação é tão importante, porque isso vai
11:36
ser utilizado de base para mitigar os problemas que vão ser
11:39
embutidos naquele modelo. Então, se você tem um problema
11:42
que ele acontece, o que vai acontecer é que você precisa
11:45
mitigar a ele. Você precisa se tratar ele de
11:46
alguma forma e remover esses dados, adicionar alguma análise
11:49
de características que vai conseguir identificar o que que
11:52
está causando para você a partir de um estudo, identificar aqui
11:55
fundamentalmente o que está causando aquele resultado.
11:58
Tem relação com algum? Uma parte ética ou legal e você
12:01
tratar para mitigar isso igual a gente está, vai ficar voltando e
12:05
voltando muito nesse assunto, né?
12:07
O principal problema é que quando alguns desses vezes, por
12:10
piores que eles sejam e a gente sabe que eles são, ainda assim,
12:13
eles vão também causar maior assertividade em algum outro
12:17
cenário e por isso, comercialmente eles valem mais a
12:20
pena. Por isso que a regulamentação e
12:22
também em alguns cenários, a ação maior é necessária, porque
12:26
você precisa garantir que, por mais que se esteja ferindo
12:29
algum. Princípio ou alguma parcela da
12:31
população, aquele ganho financeiro que seria gerado por
12:35
esse benefício, né, que também está atrelada a um viés, ele
12:38
seja atenuado. A gente está falando disso.
12:40
Eu fiquei meio curiosa, porque essas empresas grandes, elas
12:44
sofrem auditoria, né? O tempo inteiro.
12:46
Igual eu falei, eu estava falando aqui sobre auditorias de
12:49
software, o quanto elas com certeza são mais simples, né, do
12:51
que auditorias de sistemas de ar.
12:53
Como que você acha assim que essa parte vai evoluir junto o.
12:57
Que a gente faz é criar uma coisa que a gente chama de.
13:00
Altura de causalidade existe uma série de métricas e ações que a
13:04
gente faz uma série de estudos em cima de dados e resultados
13:07
para tentar identificar estruturas de causalidade para
13:10
falar, OK, esse viés é resultado por essa ação.
13:13
O problema disso é que a gente tem muitas coisas que a gente
13:15
chama de co Founders e por aí vai, que são diferente coisas
13:19
geram o mesmo resultado ou às vezes uma coisa que parece ser
13:22
igual a gera diferenças resultados.
13:24
Então é muito difícil às vezes fazer isso.
13:25
Então essa auditoria, por mais que tenha alguns cenários que a
13:28
gente consiga tratar e. Ele direto, né?
13:30
E falar não, isso aqui é o caso a gera, o caso bi, muitas vezes
13:34
é possivelmente o caso a pode gerar o caso bi.
13:38
Então ele entra muito no que eu falei da balança de o quanto
13:41
isso vale, o quanto isso vale a pena.
13:43
E aí entraria na questão de hoje se esse esforço maior talvez
13:47
conseguir explicar, principalmente se você é uma big
13:50
tech, se você tem um modelo e você quer alcançar um modelo
13:53
maior de mercado e se colocar à frente de conseguir, como o meu
13:56
modelo é melhor para esse cenário, como o meu modelo vai
13:58
evitar esse problema que a. A gente sabe que gera uma visão
14:01
muito negativa, então vamos tentar explicar e trazer isso à
14:04
tona. Inclusive, né?
14:06
Esse princípio da explicabilidade, ele tem
14:08
motivado as provedoras de clouds a se desdobrarem e trazer essas
14:12
ferramentas para dentro de serviços que a gente já tem, né?
14:15
Por exemplo, sede make, a gente tem o clarify para o vertex, AI
14:19
a gente tem OX play, nable, a gente tem isso dentro do emel
14:24
Studio, também da aju, então todas elas já estão trabalhando
14:28
isso, né? Trazendo como se fossem fit.
14:30
Centro de recursos de a. Essa parte, ela tem um ponto
14:33
muito interessante que é como provedor, como alguém que vai
14:37
ceder esse serviço. Isso não só é uma venda que você
14:40
gera, né? É um serviço que você presta,
14:42
Como Ele É, de certa forma, um repasse.
14:45
O modelo, ele tem o viés, mas a partir do momento que eu te
14:48
cedi, não só o modelo como a ferramenta de estudo, essa minha
14:51
responsabilidade de identificar, ela deixa de ser mídia,
14:55
identificar esse viés e passa você que vai usar esse modelo no
14:58
seu produto final, você. Você tem que tomar esse cuidado
15:01
e nós estamos de cedendo a ferramenta.
15:03
Então essa responsabilidade nossa, ela deixa de ser caso no
15:06
futuro ela seja, né? Judicialmente, nossa, ela passa
15:09
a ser sua, que optou por usar isso no modelo, num produto
15:12
final, que foi uma escolha sua de como identificar esta viés ou
15:16
não. E responsabilização, né?
15:17
Rafa? É até um outro princípio também
15:20
da utilização, né, da dessa parte toda, de a responsável,
15:23
que é basicamente isso, né? Assim, a gente tem muita clareza
15:26
das responsabilidades das decisões da IA, né?
15:28
O que você acabou de falar? De que as as empresas, elas,
15:31
quando elas dão AA explicabilidade a causalidade e
15:35
esse tipo de análise, elas também passam a responsabilidade
15:38
para quem está usando. Tem um princípio também do
15:41
sistema de a dessa parte de a responsável, que é a
15:43
responsabilidade, né, a responsabilização, que isso seja
15:46
claro, que as decisões tomadas pelo pelo IA tenham
15:50
responsáveis, né? Então esse é o próximo princípio
15:53
aqui que a gente pode falar sobre responsabilidade,
15:55
responsabilização, e basicamente é isso, né?
15:58
A gente ter muita clareza de quem.
16:00
Culpar na hora que ela IA tomar uma decisão.
16:02
E tem várias notícias. Rafa, pode trazer até melhor do
16:05
que eu algumas notícias sobre isso, mas eu mesma vi um cara
16:09
que tentou comprar 111 passagem aérea e basicamente ele falou
16:13
que ele tinha, né, alguma coisa relacionada com o enterro, né,
16:16
de um algum parente e tinha parece que um desconto, um
16:19
reembolso. Nessa passagem.
16:20
EAA falou isso com ele, deu um procedimento do que ele tinha
16:24
que fazer na hora que ele foi executar o procedimento, a
16:26
companhia aérea falou, não, não, não é esse o procedimento, o
16:29
procedimento você tinha que ter. Pedido antes.
16:30
Aí o cara falou, ué, mas foi a sua própria, AO seu próprio
16:33
assistente do seu site, que me falou, o que que eu tenho que
16:36
fazer? Como assim que não é isso?
16:38
Então aí o cara processou, né? E teve todo.
16:41
Aí ele ganhou. O mais bizarro é que eles
16:44
argumentaram que AIA era uma entidade jurídica distinta.
16:49
Então AIA seria responsável. Como assim?
16:52
É estranhasse isso mesmo, né? Tipo assim, a sua IA que você
16:56
forneceu no seu site. Eu não posso confiar nela, né?
16:59
Tipo assim que. Isso é uma coisa, na verdade,
17:01
que se você parar para olhar historicamente, a gente está
17:04
desenvolvendo aos pouquinhos, até chegar nesse cenário que a
17:07
gente tem uma inteligência artificial.
17:08
Já tem uns bons anos que algumas empresas têm tentado separar as
17:13
pessoas físicas que atuam dentro delas, da visão que o público
17:17
tem de responsabilidade. Um exemplo disso, e ele é muito
17:20
claro, e a gente consegue ver ao longo do tempo, é a criação de
17:24
alguns mascotes ou entidades para representar aquela empresa.
17:28
Então, muitas vezes a ideia. Ideia é que a visão e até o
17:31
princípio do marketing embutido nisso é que a visão estaria não
17:35
mais relacionada à pessoa em si que tomou aquela decisão, mas a
17:39
persona criada para representar aquela empresa seja uma coisa
17:43
boa ou ruim, né? Seja uma virtude ou um defeito.
17:46
Ela não estaria, talvez naquele CEO, naquela pessoa que
17:50
trabalhou naquele software ou naquela tomada de decisão de um
17:53
produto embutido naquela empresa, mas naquele personagem
17:56
fictício criado para representar isso.
17:59
Como andar minha? De desenvolvimento da
18:01
tecnologia. A gente tem agora outros
18:03
cenários e também com alguns princípios que a gente acaba
18:06
lidando na parte legal, que é a separação jurídica em alguns
18:10
desses cenários e criação disso como uma inteligência apartada.
18:13
Então, agora não é só mais o personagem que representa aquela
18:16
entidade jurídica. Agora, aquela entidade jurídica
18:18
consegue atuar ativamente, seja através de um de um LLM ou de um
18:23
modelo de linguagem, ou até mesmo de maneira autônoma,
18:26
utilizando algum agente. Então, como assim uma pessoa vai
18:29
se responsabilizar? Usada por uma decisão e ação
18:31
tomada por um agente autônomo, entre muitas aspas, que
18:35
consequentemente fez toda ação sozinho, que é representada por
18:39
uma entidade jurídica não relacionado a uma pessoa, no
18:43
caso, que seria uma pessoa física.
18:44
Então, a ideia de gerar essa separação, até para poder que
18:47
isso seja tratado separadamente, só que a gente sabe que esses
18:51
agentes, que essas situações, tudo isso que foi criado, ele
18:55
tem um processo, ele vem de algumas tomadas de decisão, ele
18:58
vem dos viés dos dados. Então, se a gente.
19:00
A gente for seguir essa carreira, se a gente pegar esse
19:02
fio e for puxando, a gente vai chegar em alguém ou em alguém,
19:05
no caso de várias pessoas, né, que foram decisões tomadas,
19:09
algoritmos implementados, decisões de modelos, segregação
19:12
e obtenção de dados que geraram esse resultado final.
19:15
O grande problema é que antes você tinha uma pessoa que tomava
19:18
essa decisão. O que agora você tem é uma série
19:21
de decisões que geram um modelo que internamente tem um viés que
19:24
vai gerar o resultado final. Então, de todas essas pessoas
19:27
que estão nessa empresa, que atuaram a.
19:30
Ativa mente ou não, que seja direta ou indiretamente, quem é
19:33
o responsável. Agora, por exemplo, por um
19:36
modelo que tomou uma decisão, até onde a gente pode colocar
19:38
isso? Se a gente embutir isso e fizer
19:41
num cenário onde, por exemplo, fizemos agentes autônomos e
19:44
vamos colocar ele numa parte de saúde, ele vai comandar um
19:47
aparato médico num erro que gera a perda de uma vida.
19:51
Quem é responsabilizado? Porque se hoje um médico comete
19:55
um erro, ele é responsabilizado. Se eu crio um agente autônomo,
19:58
quem é responsabilidade? Por essa decisão do agente, ela
20:01
está tão embutida e tão diversificada que cada pessoa
20:05
tem apenas uma fração da tomada de decisão ali dentro.
20:08
Às vezes, elas não têm nem noção do resultado final da ação
20:11
tomada. É difícil de rastrear.
20:14
Nos chatbot aí tem tudo tem nome, né?
20:16
Daqui a pouco cria CPFE, você vai poder processar aí?
20:19
Né? Exatamente o que você falou no
20:20
início. Você falou do agente, dos
20:22
agentes autônomos, entre aspas, mas de fato, né?
20:24
Assim, a gente vê todas essas notícias e o caminho que o
20:28
mercado está seguindo e todo mundo está.
20:30
Falando de agente autônomo, né? Cada vez mais autônomo.
20:33
Carros autônomos imagina um acidente de?
20:36
Trânsito é tanto. Quem você vai processar nesse
20:38
cenário? Carros autônomos até que nem nem
20:40
é tão novidade, né? E essa discussão de ética já é a
20:43
antiga, né, que é tipo, quem eu vou processar o carro autônomo,
20:46
qual decisão ele vai tomar? Tinha umas coisas assim, né?
20:49
Você prefere que o carro bata e machuque quem está dentro do
20:53
carro ou atropele várias pessoas, entendeu?
20:55
É uma tomada de decisão. Existe já, né?
20:57
Essa discussão desde quando o carro autônomo?
21:00
Surgiu essas discussões sobre ética, dessas decisões também.
21:03
E quem eu vou responsabilizar? E agora?
21:06
Sim, claro, né? O carro autônomo, a gente ainda
21:07
não vê ele com tanta amplitude, pelo menos no Brasil, mas
21:11
agentes autônomos agora no meu produto, fazendo alguma coisa,
21:15
às vezes um pouco mais simples, eu acho que a gente vai passar a
21:17
ver pra caramba. Mas eu acho que uma forma que a
21:19
gente pode falar, né, que tipo assim, saindo um pouquinho da
21:22
questão de não só a responsabilidade, né?
21:24
De quem que é ocupado por essas tomadas de decisão, a gente indo
21:27
um pouquinho para como evitar que.
21:30
Isso se aconteça o que tenha, se essa necessidade, a gente tem um
21:33
segundo, a gente tem na verdade agora um terceiro princípio, que
21:36
seria a questão de justiça e mitigação de viés, que
21:39
normalmente a gente vai tratar um pouco de férnes ou até um
21:41
pouco da robustez. O modelo, quando ele precisa
21:44
lidar ali com diferentes públicos, quanto isso que você
21:47
está criando, ele funciona fora do contexto específico que ele
21:51
foi criado para. Por exemplo, eu mexo muito com
21:54
saúde, é uma área que eu gosto muito, sempre gostei e pensa na
21:58
seguinte maneira, os dados que você.
22:00
Se utiliza para a saúde, eles vêm de algum lugar.
22:01
Eu hoje estou no Brasil, fiz o meu estudo, vamos supor que
22:04
todos os meus dados vêm do Brasil, o quão bem ele funciona
22:07
em outro lugar do mundo. Então o que eu usei hoje para
22:10
treinar o meu modelo, para fazer todas essas tomadas de decisões
22:12
com esses dados que vêm do Brasil, eles funcionam só
22:14
aplicar esse mesmo modelo lá fora.
22:16
Se aplicar ele nos Estados Unidos, se aplicar ele na África
22:19
e aplicar ele em outro lugar, esse tipo de coisas que a gente
22:21
normalmente chama de data shift, ele gera um impacto no modelo.
22:24
E quando eu falei aqui de país, é uma coisa muito clara, mas
22:27
quando a gente vai falar do quão justo é um modelo?
22:30
Normalmente, ele está muito mais relacionado a os dados que se
22:32
obtém. Eles vêm de um público muito
22:35
específico e quando a gente vai aplicar esses modelos, eles
22:38
estão focados a esse público. Quando você sai dele é onde você
22:41
normalmente identifica viés, racismo e outros tipos de
22:45
problema atrelado. Um clássico de isso é para dados
22:48
de saúde. Quando você pega informações de
22:50
smartwatch, é um público específico.
22:52
Eu acho que é muito claro, ainda mais em países que têm uma maior
22:56
é o maior problema relacionado à disparidade.
23:00
Parem que pessoas que têm smartwatch ou outras aplicações
23:03
ou até aparelhos para fazer monitoramento de saúde são
23:07
pessoas de maior poder aquisitivo.
23:08
Então os dados vêm desse viés e não necessariamente eles se
23:11
adequam a pessoas com menor poder aquisitivo.
23:14
Às vezes eles podem ser inclusive um problema.
23:16
Às vezes alguns modelos de saúde que funcionam muito bem para
23:18
esse público geram problemas de saúde em pessoas de baixo poder
23:21
aquisitivo. Isso não é uma coisa que é
23:23
tratada com tanta seriedade e. Isso, né?
23:26
Esse esse princípio. Ele eu acho que é Oo que mais?
23:30
Viralizou as notícias de tão bizarro as coisas que já
23:33
aconteceram, né? Acho que o mais clássico é o
23:35
chatbot Ty da Microsoft, que no Twitter isso é bem antigo em
23:39
2016, né? Foi acho que o primeiro grande
23:42
caso bizarro assim onde o chatbot começou a aprender com
23:46
respostas no tuíte e aí começou a ter frases antissemitas,
23:50
racistas, sexistas e aí eles desligaram o projeto, né?
23:53
E tem outros casos também, tem no caso da saúde que você falou,
23:57
tem 11 estudo de 2019 na. Science, que falou que um
24:01
algoritmo de previsão de saúde que era usado por hospitais dos
24:04
Estados Unidos e também seguradoras que eram esse
24:08
algoritmo era usado para identificar pacientes que
24:10
precisam de cuidado de alto risco e descobriram que tinha
24:13
muito menos probabilidade de sinalizar pacientes pretos
24:17
comparado com pacientes brancos. Isso aí é mais um caso.
24:20
A gente tem outro também de EI usado em recrutamento pela
24:23
Amazon, que eles tiveram que desligar, tiveram que
24:25
descontinuar porque estava sendo sexista e etarista.
24:29
Estava privilegiando? Contratação de homens, né?
24:31
Isso a gente até aqui no entre chaves já falou um pouquinho
24:34
sobre algoritmos racistas, né? No passado, que eu acho que tem
24:37
tudo a ver com isso, mas esse tema ele vem voltando, né?
24:40
E a gente o tempo inteiro tem que ficar preocupado mesmo com
24:43
esses vieses dos modelos, né? Porque é isso, a gente treina,
24:46
treina com dado que a gente está produzindo aí o tempo inteiro,
24:49
né? E é uma preocupação mesmo muito
24:51
grande. Nesse cenário, a gente está
24:53
tratando ainda com um dos nossos pilares, que teoricamente a
24:57
gente está tendo problemas que não foram.
25:00
Inspirados ou que eles foram causados não intencionalmente.
25:03
Só que Oo problema aqui também de um outro viés que a gente
25:06
tem, de um outro tipo de Pilar que a gente tem, é a parte de
25:09
segurança. Um dos problemas é, estou
25:11
treinando o meu modelo, estou disponibilizando.
25:13
Ele tem muito viés que está embutido, mas e quando a gente
25:16
vai disponibilizar isso para o público?
25:18
O seu caso que você citou, né? Da notícia relacionada à
25:22
primeira e a que foi famosa do no Twitter, né?
25:25
No antigo Twitter, agora ex, ele vem não só de erros.
25:30
Da hora de talvez pensar em como esse produto está.
25:33
Mas da questão de segurança, ele é um ataque hoje conhecido.
25:36
Foi feito por pela comunidade do forxan, né?
25:39
Foi uma das comunidades que atacaram AIA com o objetivo de
25:42
infetar ela. Infetar os dados de treinamento,
25:45
né? Não só porque a ideia, sim, da
25:47
quantidade de treinamento. Normalmente a gente tem os dados
25:49
originais de treinamento e tem uma parte de aprendizado, de
25:52
retreino e de react, de como ela vai reagir a essas ações, né?
25:56
De reaprender ou de melhorar esse conhecimento.
25:58
E nesse caso, vem a parte. De segurança, porque eles não
26:01
pensaram que teriam ataque orquestrado e organizado para
26:05
gerar esse tipo de impacto. E isso hoje é um problema,
26:08
porque se a gente falou em um dos princípios que a gente tem
26:11
que responsabilizar de quem é a responsabilidade de quem
26:14
treinou, o modelo, de quem está atacando.
26:16
Agora, se no passado a gente teve que a IAP me mostrou algo
26:21
errado e por isso a companhia aérea teve que me pagar, o que
26:24
me impede de de alguma forma induzir AA me falar algo errado
26:28
e aí agora eu vou fazer? O que a companhia aérea tenha
26:31
que me pagar algo, entende? Como você evita esse tipo de
26:34
fraude? Como é que você evita tipo de
26:35
segurança? Como é que você vai tratar isso?
26:38
Eu acho que é um é, é complexo, porque nesse caso, o fato da IA
26:42
ela ser constantemente retreinada nessa etapa de react
26:45
que você falou, isso é algo intencional.
26:48
Você treinou AIA para aprender com as interações são feitos com
26:51
ela, então isso é intencional. Agora, isso é diferente para o
26:53
exemplo de ter uma vulnerabilidade de segurança
26:56
causada com uma IA que foi não intencional e.
27:00
Que aconteceu, né? Isso, por exemplo, existe o
27:03
sequestro de prompt, que eu acho que é o mais comum, né?
27:06
Isso, por exemplo, é uma falha de segurança que é totalmente
27:08
acredito que seja não intencional, mas que existe é.
27:11
Um exemplo é Oo Git lab, né? Que ele tem um assistente de AI
27:15
chamado duo, usado para editar, commit, escrever código,
27:19
revisar, e aí foi Descoberto uma falha de prompt injetion que
27:23
você poderia manipular a resposta colocando 11 HTML
27:27
suspeito que redirecionasse o usuário ali para um site.
27:30
Vicioso, então, assim, eu vejo como 2 coisas diferentes, sabe?
27:32
Algo que é é intrínseco a uma funcionalidade do e a de
27:36
reaprender, e outro que é algo uma vulnerabilidade.
27:39
Mas, ao mesmo tempo, não necessariamente é só a questão
27:42
de aprender. Existem a vulnerabilidade igual
27:44
você falou, é uma vulnerabilidade de segurança.
27:46
Você fez um ataque direto e tem o mau uso ou o uso
27:50
indiscriminado nesse cenário, seja nessa questão do
27:52
aprendizado ou em até outras. É um caso que, pra mim, esse é o
27:56
caso mais absurdo, quando a gente vai lidar com OEA, por
27:59
exemplo, de. Imagens você vai lidar com o uso
28:01
de imagens e existe quando você vai fazer esse tipo de uso, uma
28:05
série de seguranças que você precisa ter de disponibilizar
28:08
isso. O grande problema é quando você
28:10
consegue burlar essas Barreiras. Você começa a gerar conteúdos
28:14
até em alguns cenários criminosos, onde você começa a
28:17
fazer coisas como de pifeike, nudez, às vezes utilizando face
28:22
de outras pessoas ou em até em alguns cenários mais absurdos.
28:25
O que já aconteceu e tive teve que ser lidado em alguns
28:28
cenários, até na justiça, no. Desrelacionada a menores de
28:31
idade, onde pode ser ou não de uma pessoa existente.
28:35
Quando ela não é uma pessoa existente, ela cai num vácuo de
28:38
algumas legislações de alguns países e isso é um problema.
28:41
Um exemplo de filtro, né, que eu passei recentemente por isso,
28:45
foi que a gente estava tentando gerar com imagem imagens de
28:49
pessoas em campanhas de marketing.
28:51
E para a gente conseguir usar imagens de pessoas, gerar
28:54
imagens de pessoas, a gente tinha que preencher um
28:55
formulário, né? Tipo, para se cadastrar para
28:58
remover um filtro, porque. Não era possível você gerar esse
29:02
tipo de conteúdo, por mais que seja conteúdo que não é adulto,
29:06
né? Simplesmente imagem de pessoa
29:08
qualquer. A gente já teve que pedir uma
29:10
autorização, então assim, existem formas de resolver, né?
29:12
O problema eu acho que é uma linha muito tênue entre você
29:15
restringir demais e você proibir o uso para essas situações onde
29:19
você não estava fazendo nada que é e antiético ou criminoso, e
29:23
você simplesmente impedir pessoas que gerem imagens para
29:27
violar direitos de crianças e adolescentes.
29:29
E. Uma das coisas que a gente vê é
29:31
como agora, todos esses princípios, quando a gente vai
29:33
lidar, principalmente dessa questão de computação, ética,
29:36
EAE, tudo mais, elas começam a se comunicar.
29:38
Porque, por exemplo, vamos tratar um pouquinho da
29:40
segurança. Onde eu deveria colocar a
29:42
segurança? Eu deveria impedir que meu
29:43
modelo crie isso de alguma forma, poderia tratar igual, por
29:47
exemplo, a questão do que muito acontece, né, de tratar esse
29:51
tipo de ataque vindo direto do do usuário final.
29:55
Aconteceu muito no início do GTPT com pirataria, onde as
29:58
pessoas falavam, Ah, eu não posso perguntar se.
30:00
Site pirataria, então vou perguntar quais sites eu deveria
30:02
evitar por serem conhecidos por conteúdos piratas?
30:05
Então esse é o tipo de coisa que você está atacando.
30:07
Prompt é um objetivo claro, agora, como quem estiver
30:11
fornecendo isso vai tratar como é que ele vai ser
30:14
responsabilizado. Ele deveria bloquear isso de ser
30:16
feito pela e a ou, como acontece em alguns cenários, quando ele
30:19
gera uma imagem indevida, ele às vezes coloca um Blur por cima.
30:23
Então, e se o usuário conseguir atacar e remover essa imagem de
30:26
alguma forma, de que que é responsabilidade é de quem gerou
30:29
essa imagem. Imagem, mas que talvez não tomou
30:31
o devido cuidado, ou é de quem atacou ou seria dos 2, porque
30:35
quem ingerou essa imagem sem o devido cuidado também deveria
30:38
ser responsabilizado. Então a gente começa a pegar
30:40
essa parte de segurança que conversa com a parte de quem vai
30:43
ser responsável, que conversa com a parte do que que seria
30:46
ético ou não de ser feito. Isso vai montando um caminho que
30:49
a gente vai depois gerar, que é esses frameworks que normalmente
30:52
as big techs estão tentando implementar para evitar
30:54
problemas futuros que já estão tendo, né?
30:57
Várias discussões relacionadas a essa parte de legislação, como
30:59
como. Como é que elas vão repassar
31:01
isso para frente e se necessário?
31:02
E, por fim, fechando os princípios a gente tem.
31:04
O último que seria relacionado à privacidade e governança de
31:08
dados, é a gente tem legislações que já existem de ter LGPD no
31:11
Brasil, a gente tem AGDPR Na Na união europeia.
31:15
E aí um exemplo que é um pouco recente, foi final do ano
31:18
passado que a Itália multou a open ey em 15000000 de euros por
31:21
violações de privacidade de usuários porque alegaram que
31:24
eles estavam usando dados de menores de 13 anos para
31:28
retreinar os modelos. Né isso?
31:30
Isso é um exemplo, mas a tendência é que a gente veja
31:32
isso mais, isso acontecendo mais vezes assim.
31:35
Qual que você acha que é o maior problema aí, né?
31:37
O que que você acha que a open i poderia ter feito para evitar
31:40
esse tipo de situação? No caso, aqui novamente, a gente
31:44
tem a questão da balança de toda vez que eu começo a ter mais
31:47
cuidado, quando eu começo a tratar melhor, digamos assim,
31:50
com mais delicadeza, esse tipo de coisa, normalmente menos eu
31:54
vou conseguir andar em direção à liderança no mercado.
31:57
Então, normalmente a diretoria dessas empresas, eles.
32:00
Eles estão num eterno. Eu arrisco ser punido por uma
32:03
decisão e ao mesmo tempo conseguir avançar mais com meu
32:06
modelo, com meu produto, ou eu talvez agora que eu estou numa
32:09
liderança, eu começo a mitigar esses problemas ao mesmo tempo
32:13
que eu abra a possibilidade de outras empresas tomarem essa
32:16
parcela do mercado. Esse caso da OPE, Ah, eu acho
32:18
que ele entra nesse ponto. Não foi uma coisa que eles
32:21
tiveram os devidos cuidados. Quando você vai tratar esse tipo
32:24
de coisa, você tem uma série de legislações que você vai lidar
32:27
individualmente em cada país ou em.
32:30
Entidade, como por exemplo, a união europeia, outras
32:32
situações, outras entidades que você vai ter que lidar.
32:35
Só que esse ponto é tipo assim, eles poderiam ter evitado isso.
32:38
Talvez isso envolveria um esforço ter menos.
32:40
Dados, verificação de idade, né, que você precisa ter uma conta
32:43
pra? Isso envolveria, por exemplo,
32:45
ter menos usuários. Vamos colocar a verificação de
32:47
idade, tudo bem, vamos colocar. Só que isso envolve menos
32:50
usuários, isso envolve menos interação.
32:52
Quem está hoje produzindo mais, a gente não sabe.
32:54
Então, se fosse, por exemplo, muitas pessoas menores de idade,
32:57
que talvez por serem menores de idade, têm meia.
33:00
Menos receio do uso, às vezes indiscriminado dessas
33:03
tecnologias, estão usando muito para treinar, estão gerando
33:05
muita informação. Estou colocando informações
33:07
valiosas lá dentro, principalmente porque hoje
33:09
pessoas mais novas, elas são cronicamente online, elas têm
33:13
infinitas informações disponíveis, então você consegue
33:15
fazer o cruzamento dessas informações e gerar 11 lead, uma
33:19
informação muito qualificada, não necessariamente você vai ter
33:22
isso com todo mundo, então você vai, você vai abrir mão de todo
33:25
esse conhecimento precioso que você pode usar, entende?
33:27
Então poderia ter feito isso, poderia, mas ao mesmo tempo,
33:29
talvez. Eles não estivessem, estão na
33:31
liderança de mercado, a meta, teoricamente, porque eu não vou
33:35
afirmar nada que eu possa ser processado.
33:37
Talvez, segundo Fontes, tenha usado vários dados pirateados
33:41
para treinar o modelo dela, ela poderia ter evitado isso fazendo
33:44
uma verificação de obtenção desses dados?
33:46
Poderia, ela fez, provavelmente não.
33:49
A diretoria tem conhecimento disso, teoricamente sim.
33:52
Dito isso, ela afirma que não, então hoje ainda está muito
33:55
difícil de identificar isso é uma parte que só a legislação é
33:59
a regulamentar. Ação desse tipo de coisa vai
34:01
poder tratar, mas não é fácil e não é trivial.
34:04
Muitos disso não vou falar a todos, mas muitos desses
34:06
problemas que a gente vai lidando, eles podem ter
34:09
tratativas, mas ou porque na corrida que a gente tem para
34:13
gerar esses melhores modelos, ou seja, até pela questão de
34:16
disponibilidade, pela obtenção desse mercado consumidor, elas
34:20
acabam sendo deixando de lados até, às vezes Oo problema que
34:23
ela vai gerar não é tão grande quanto o lucro que ela gera.
34:26
Exato, é o que a gente conversou no início, né?
34:28
O essa dicotomia entre inovação e.
34:30
Regulamentação e ética e tudo mais.
34:31
E o quanto vale a pena igual você falou, né, é foda falar
34:34
isso, mas às vezes o valor do processo é é menor do que o
34:37
lucro, né? Então é complicado, né?
34:39
Tem muita coisa dentro do capitalismo, mas quando a gente
34:41
fala desse princípio de privacidade e tudo mais, a gente
34:44
aqui no entra chave já falou muito também sobre as
34:46
ferramentas de ar e a exposição de dados, né?
34:49
E uma coisa que eu tenho visto muito é que as ferramentas, elas
34:52
estão se preocupando muito mais do que no início em deixar claro
34:56
o termo de não estamos usando o seu dado para.
35:00
Andamento não estamos armazenando o seu dado de alguma
35:03
outra forma que você não concorde no início.
35:05
A gente até teve episódios aqui da entre chaves falando da
35:07
dificuldade da gente entender os termos de uso dessas ferramentas
35:11
e se estava usando, se não estava usando, qual que era?
35:13
E hoje eu vejo é essa preocupação muito mais clara,
35:17
né? Por exemplo, o cursor, que é um
35:19
que eu assinei recentemente, ele tem lá assim quase que na página
35:22
principal, tipo um trust, né? Uma quase como já que você está
35:25
pagando, né? Claro, porque AO gratuito nunca
35:28
te dá essa habilidade, né? De não.
35:30
Não compartilhar seus dados mas já que você está pagando, os
35:32
seus dados não estão sendo compartilhados de forma alguma.
35:35
O consentimento não é só você colocar o usuário para ler ali
35:38
uma página com 2000. Linhas?
35:40
É exatamente. E no início era muito assim, né?
35:42
Era. Você tinha que ler o termo lá,
35:44
que era uma melhor impossível de entender.
35:46
E hoje eu vejo que as as ferramentas, as coisas que estão
35:49
sendo lançadas, elas têm muito mais esse compromisso de
35:52
mostrarem quando elas estão usando o seu dado e quando elas
35:55
não estão. Até porque hoje em dia isso
35:57
também tem um valor de mercado falando uma coisa que já vai
35:59
datar. Ao episódio, isso acontece muito
36:01
com novas ou tecnologias ou mercados.
36:04
A gente tem hoje um problema que está sendo discutido até em CPI,
36:08
que é a questão das bets, o que que normalmente acontece.
36:11
Primeiro ele é um mercado, um mercado gigante que ainda
36:14
aparece, um novo mercado aparece, existe toda uma busca e
36:18
Conquista por esse mercado, então depois ocorre a
36:20
regulamentação desse mercado, que é onde a gente está hoje.
36:23
Toda a discussão sobre ética e legalidade, a mesma coisa
36:25
acontece com o ya, né? A questão que da de falar dessa
36:27
questão da Beth é mais pra fazer o paralelo com o que a.
36:30
Acontece hoje que a gente vê hoje, mas com isso também
36:32
aconteceu. Só que no passado, a gente só
36:33
está numa parte, um pouco mais à frente, onde a questão
36:36
relacionada à segurança e governança, ela deixou de ser só
36:40
uma discussão e ela se tornou também uma característica que
36:43
ela é desejada. Então, o motivo de ter ficado
36:46
mais claro, por exemplo, de ter planos que vão te dar mais
36:49
privacidade, é porque isso também é algo que é desejado
36:52
pelas pessoas que estão pagando. É uma preocupação das empresas
36:54
que estão utilizando, principalmente porque se você
36:57
colocar informações relevantes e embute isso no seu negócio, se
36:59
você. Perder isso, você perde o seu
37:01
diferencial de mercado. Então isso passa a ser embutido,
37:04
isso passa a ser mais regulamentado e também passa a
37:07
ter um receio de, após essa Conquista e essa corrida pelo
37:10
mercado, não tem mais tanto para você expandir.
37:12
Então você começa a tratar nos diferenciais, na segurança, na
37:16
possível regulamentação Futura, porque você não quer perder o
37:19
mercado que você conquistou ou se tornar um diferencial ali
37:21
dentro. Então a gente passou aqui, né?
37:23
Por todos os princípios que os sistemas de a deveriam se
37:27
preocupar quando a gente fala sobre o tema de a responsável.
37:30
E as big techs, elas estão implementando framex, né?
37:33
Táticas para tentar seguir esses princípios, sentar, lançar
37:37
realmente produtos que elas não vão ter grandes problemas,
37:40
principalmente porque os riscos são enormes, né?
37:43
E esse fremo que pelo menos eu peguei aqui. 11 abordagem do
37:46
Google, que também é bem parecida com a da Microsoft,
37:48
porque ambos são baseados num num femo que já existente né?
37:52
Chamado nish, que basicamente tem 4 grandes pilares, aí que é
37:55
de governar, mapear, medir e gerenciar.
37:57
Assim, por alto, basicamente a primeira.
38:00
Etapa de governar, essa é ter aprovação das lideranças antes
38:03
de você lançar, né? Um produto de ar, você realmente
38:05
ter protocolos de lançamento, coisas assim, mapear, ou seja,
38:10
ter grupos especializados com acesso antecipado para que você
38:14
consiga mapear riscos que você tem, aquele sistema de a
38:17
entender e tal e tudo mais, medir que aí é uma avaliação pré
38:20
e pós lançamento daquele produto de AE, medir de fato as
38:24
vulnerabilidades, o que que está acontecendo né, naquele produto
38:27
e gerenciar que é basicamente então sem implemento.
38:30
Comentar gradualmente as coisas e fazendo, né?
38:33
Gestão de fato de um produto igual a gente faz, gestão de
38:36
produtos digitais normais, então as empresas, elas também já
38:38
estão seguindo, né? Algum passo a passo claro que
38:40
isso aqui não é nada que é muito novidade para ninguém, mas é um
38:44
passo a passo para realmente mitigando os erros das falhas
38:49
com o sistema de a para tentar evitar esses vieses, evitar
38:53
alguma falha de privacidade e tudo mais.
38:55
Enfim, né? Lançar produtos mais
38:57
responsáveis, vamos falar assim. Isso que você fala?
39:00
Falou né, que é OAI principal da Google, tem um site também com
39:04
um material né, pra ser consultado, eu acho que é
39:06
interessante né, que as próprias provedoras façam essa
39:09
conscientização. Do lado da Microsoft a gente tem
39:12
também o ajude responsable, EI standard, que é um documento com
39:16
todos os os objetivos né, para alcançar AEA responsável, né?
39:20
E quais são, qual o passo a passo ali no que precisa ter?
39:23
Mas não só isso, né? A gente vê também que há um
39:26
desdobramento técnico para resolver alguma dessas questões,
39:29
a gente tem o. Oo dashboard do emel Studio da
39:32
AGU, que também é muito completo, né?
39:34
Tem ferramentas de interpretabilidade, como eu
39:36
falei, análise de erro, de lelemes, perturbações.
39:40
A gente tem também o vertex AI também, que eu falei
39:43
inicialmente, né? Com x planum a gente tem também
39:46
algumas ferramentas também na WS, dentro do say de make eu
39:49
comentei uma delas, mas além disso a gente tem o model
39:52
monitor para gerar alertas das LLMSA gente tem o groun de
39:57
truff, onde você consegue aplicar o feedback Human.
40:00
Ano, né? Dentro de um modelo de de
40:02
machine Lane, durante todo o ciclo de vida desse modelo aí,
40:04
você consegue melhorar a precisão, et cetera.
40:07
A gente também tem a observabilidade com e a que é, a
40:10
gente vê a data dog que surgiu com essa feature, né?
40:14
Você passa a utilizar aquela observabilidade de sistemas
40:17
tradicionais para monitorar o output, né?
40:20
De modelos, então isso é muito interessante.
40:22
Inclusive a gente vai gravar um podcast sobre isso, então não
40:24
vou dar muitos detalhes aqui agora.
40:26
Aguardem os próximos episódios. É, vai ser bem legal, mas a
40:29
gente vê que há um. Desdobramento técnico?
40:31
E não só de conscientizar, né? Que é importante também porque
40:34
também é uma questão cultural. Uma coisa interessante disso que
40:37
você muito bem falou a respeito de tudo isso que está disponível
40:41
para observabilidade, identificação e tudo mais desses
40:44
modelos, é que ele permite um andamento que para mim ele é
40:48
muito necessário, que é não só andar no objetivo de onde tem
40:52
mais assertividade, porque mais assertividade nem sempre andar
40:56
no caminho certo, como a gente muito bem bateu aqui porque você
40:59
está testando isso num. Subgrupo numa população e às
41:01
vezes vai gerar um viés quando você colocar isso para o público
41:04
geral, mas que isso vai te permitir identificar para onde
41:07
isso está andando e vai pegar o agora a análise humana para
41:11
direcionar para onde ele vai, que você vai direcionar ele às
41:13
vezes não só para onde eles teria uma melhor performance,
41:17
onde você está treinando, mas onde ele deveria andar para ter
41:20
uma melhor performance geral, uma performance mais justa de
41:24
maneira geral. Até então aqui, no episódio
41:26
gente, a gente falou muito sobre a responsável e o papel da.
41:30
As empresas, né? Nisso com os princípios, com
41:33
esses framex e o quão elas são responsáveis, né?
41:36
Em realmente criar sistemas, produtos de ar com é uma maior
41:40
responsabilidade mesmo, né? E tudo mais.
41:43
Mas uma outra coisa por último aqui que eu queria puxar é o
41:45
papel do governo nisso, porque como a gente falou no início,
41:49
claro que os Marcos legais, as leis, elas não acompanham a
41:53
inovação tecnológica, mas alguma coisa já está sendo feita nesse
41:57
sentido. Claro que existem iniciativa.
42:00
Todas espalhadas aí pelo mundo sendo feitas.
42:02
Eu sei, por exemplo, que no Colorado, né?
42:04
Nos Estados Unidos, foi aprovada uma lei que agora entra em
42:07
vigência em 2026, que é pra gerar proteção contra
42:11
discriminações, contra contra sistemas discriminatórios.
42:15
Eu às vezes fico fico meio confusa de como que essas coisas
42:18
vão ser auditadas, né? Essas leis vão ser realmente
42:21
colocadas na prática, mas já é um caminho, né?
42:24
Então, no Colorado, nos Estados Unidos, essa lei foi aprovada,
42:27
tem algumas outras que foram recusadas, algumas.
42:30
Outros que estão em andamento. E aqui no Brasil também tem
42:32
algumas leis em andamento. E uma última que eu vi foi no
42:35
estado de Goiás, que parece que eles aprovaram alguma coisa ali.
42:38
Uma lei estadual no Brasil que é de Liberdade para inovar, com
42:42
supervisão em relação ao IA. Mas assim, Oo fato é que essas
42:47
leis, elas estão correndo atrás de alguma forma de regulamentar
42:50
os nossos acessos, os nossos sistemas e vamos ver para onde
42:53
que elas vão. Existe um Marco civil da
42:55
internet, né? Quem sabe a gente não tem aí no
42:58
futuro Marco civil da IA? Interessante.
43:00
E tipo assim, se a gente parar para pensar um pouquinho nos
43:03
problemas que a gente tem, e um dos problemas da gente do do
43:05
viés na IA, é que hoje AIA ela é treinada com os dados que a
43:09
gente tem. Mas se a gente está usando OIA
43:11
para gerar novos dados, essa IA está pegando o viés interno dela
43:16
e expondo isso nos seus novos dados, que vai ser usado para
43:19
treinar novas IAS com ainda mais viés embutida dessa IA anterior.
43:23
Então isso se faz necessário? Existe em algum momento, ou
43:26
seja, pela tratativa, ou seja, até pela questão.
43:30
Tão legal, seja pelas empresas, mas ela é necessário.
43:34
Eu pessoalmente acredito que uma regulamentação ela é necessária.
43:38
Não acredito que ainda mais no cenário atual, onde existe uma
43:42
briga pelo andamento do mercado, onde cada vez mais e as empresas
43:46
querem alcançar estupro e essa parcela que é extremamente
43:49
lucrativa, vão se regulamentar sozinho.
43:51
É necessário uma regulamentação em cima do uso indiscriminado de
43:55
ar. Bom, gente, assim eu gostei
43:57
muito desse episódio, a gente falou sobre.
44:00
E né, desde o conceito de a responsável, falamos sobre
44:03
inovação, regulamentação, falamos muito sobre os
44:06
princípios, né? Do que que as empresas, do que
44:09
que as big techs estão se atentando para conseguir
44:11
produzir sistemas, softwares, responsáveis, né?
44:15
Quando a gente fala sobre a, falamos um pouco também sobre o
44:17
framework, de como que elas estão fazendo pra na prática
44:20
mesmo. E no final das contas falamos um
44:22
pouco sobre lei e acho que isso foi tudo esse tema, ele claro,
44:25
né? A gente tá falando do dia de
44:27
hoje igual a gente tá brincando, né?
44:29
Entre chaves todo. É o episódio que a gente está
44:31
gravando aqui hoje, no dia 23 de maio, inclusive hoje é dia que o
44:34
Java completa 30 anos. Parabéns Java, mas enfim, é um
44:37
episódio datado, então assim, a gente está aqui discutindo
44:41
coisas que estão emergindo agora, né?
44:43
E as nossas opiniões sobre isso, né?
44:44
E é isso que é legal e a gente vê AA legislação acompanhando e
44:47
as coisas sendo feitas na prática ongonha enquanto né, o
44:51
carro está trocando a roda enquanto está andando mesmo, né?
44:53
Então é isso, seja responsável com seu sistema de a agora
44:56
olhando para a câmera e é isso aí, até a próxima gente, tchau,
44:59
tchau, valeu. Pessoal, tchau, tchau.