Latest / Entre Chaves / #282 Ataque de IA: lições urgentes de segurança

Transcript

#282 Ataque de IA: lições urgentes de segurança · Entre Chaves

0:00
E está começando mais uma entre chaves, o seu podcast de
0:03
desenvolvimento de software. Eu tenho certeza que vocês
0:07
assistiram o plantão especial que a gente fez sobre a invasão
0:11
da open i na rugby face e como prometido naquele plantão, eu
0:15
volto aqui hoje pra poder falar um pouquinho mais sobre o que
0:17
que foi esse ataque, mas essa vez eu não estou vindo aqui
0:20
sozinho, estou vindo com a bancada de respeito e um reforço
0:23
necessário pra gente conversar sobre esse assunto e claro, como
0:26
sempre é meu parceiro de bancada.
0:27
Fala aí, Luiz, beleza? Oi, pessoal.
0:29
Bem vindos vocês, é? Então nós estamos aqui hoje para
0:32
provar que nem todo hacker usa capuz e digita 480 caracteres
0:36
por segundo, né? É, faltou a mascarazinha do
0:39
anonimos na tambi aqui do Spotify, né?
0:41
E para compor essa bancada está aqui comigo. 2 Lucas primeiro
0:45
Lucas Assunção. Sei, fala galera, já sou carinha
0:48
conhecida por aqui. E agora uma novidade, o Lucas
0:51
Emanuel. Bom, fala pessoal, eu ainda não
0:53
sou uma carinha conhecida, né? Mas.
0:55
Minha introdução aí a este podcast e.
0:57
Isso que aconteceu foi muito real e muito importante pra quem
1:01
está acompanhando o desenvolvimento dos últimos
1:04
modelos de inteligência artificiais.
1:06
Entre os dias 9 e 13/07/2026, a open i revelou que ela tinha
1:12
lançado, sem querer, um ataque contra uma startup muito grande
1:19
e muito famosa de repositórios open sources, a reggae face.
1:25
O que é quase irônico, já que a reggae face de alguma forma,
1:30
acaba sendo uma espécie de concorrente de recursos pra open
1:36
i então hoje nós vamos falar aqui sobre como que os agentes
1:42
da open IO 5.6 sol, que é o modelo no na data atual, mais
1:47
avançado que eles já declararam, junto de outro modelo ainda não
1:51
declarado. Eles se juntaram numa Aliança
1:54
pra poder. Descobriram 10 day nas sandboxs
1:57
que eles estavam rodando. Consegui sair pra internet por
2:00
meio de uma Escalada lateral. Atribuir um server de comando,
2:03
encontro fora pra que eles conseguissem reprisar as
2:06
ferramentas que eram reconstruídas todas as vezes que
2:08
se zerava essa sandbox. Achar outra zero day dentro da
2:12
rainface pra poder explorar alguma coisa relacionada dos
2:15
repositórios e buscar os arquivos deles lá dentro.
2:18
Agora, calma. Eu sei que talvez você não tenha
2:20
entendido metade dos termos que eu falei aqui, zero day com
2:23
maining control, Escalada lateral.
2:25
E é exatamente por isso que a gente tá gravando esse episódio,
2:27
pra poder explicar Tim Tim por Tim Tim do que que aconteceu
2:30
nesse ataque e como que isso impacta o momento que a gente tá
2:34
vivendo hoje. Então pra poder começar uma
2:37
palhinha aí pra gente, Lucas Assunção, luquinhas, luquinhas,
2:42
e aí que que foi esse ataque, cara, qual que foi?
2:45
A notícia é divulgada, quem que foi atingido?
2:49
O que que a gente sabe dele, que foi declarado, né?
2:52
E o que que? E existe alguma evidência sobre
2:55
algo que não foi declarado também?
2:57
Dá um resumo aí pra gente. O que que aconteceu?
2:59
Pra sacar o que aconteceu, primeiro a gente precisa
3:01
entender o que que a opna tava fazendo, né?
3:04
No seu laboratório é que era a execução desse.
3:08
É benchmark, né? Que é chamado de exploit gin.
3:11
É, ele é um benchmark feito para modelos, né?
3:14
De qualquer tipo de modelo de LLM para testar as capacidades
3:18
de exploit de cibersegurança, de criação de exploits.
3:22
Então é é um benchmark que tem mais de 860 cenários onde é
3:28
fornecido um é um software vulnerável.
3:32
É uma descrição da vulnerabilidade, né?
3:35
E é solicitado da né do modelo para que crie um exploit para
3:39
aquela. Vulnerabilidade espera.
3:40
Aí só só pra entender aqui, né? Então você está me dizendo que é
3:44
guard railes pra gente, mais Liberdade total pra eles, né?
3:48
Porque se eles têm 111 métrica de exporte de cibersegurança,
3:53
eles não enfrentam os mesmos guard railes que é nós, reles
3:56
mortais. É esse modelo misterioso aí, né?
3:59
Alá mitos, né, que é o parece ser o mitos aí da opneae.
4:04
É, é uma versão não conhecia, não é publicada, né, de algum
4:09
modelo deles que não tem guard railes, né, e que tava ali
4:13
rodando no é, ao que parece, no modo de ultrafoco nesse
4:17
problema, né? E a gente vai entender por que
4:19
que esse ultrafoco talvez tenha sido um dos motivos Pra Ele ter
4:22
feito que ele fez, né? Parece também que esse modelo
4:24
ele tinha a possibilidade de chamar outros submodelos, é ao
4:28
longo da execução, provavelmente 11 5.6 ali, só é que ele tava
4:33
chamando, tá? Então eles começaram a rodar
4:36
esse esse experimento, né, em laboratório.
4:39
É, e era uma arquitetura onde isso tava rodando ali numa é
4:43
numa máquina, digamos assim, num container fechado, onde você
4:46
tinha um modelo e o rames, né, desse modelo, onde esse modelo
4:51
também tinha a capacidade de chamar outros submodelos.
4:53
Ali você tinha também 11 proxy separado dessa desse espaço
4:58
fechado onde esse modelo tava rodando.
5:01
É, e tinha uma máquina vulnerável onde é, aparentemente
5:04
esses comandos eram executados onde essa IA rodando seus
5:07
ataques, seus seus comandos ali. E aí o grande problema estava no
5:11
justamente no proxy, né? Que estava fazendo a meio que a
5:14
mediação é dessas trocas. E foi justamente.
5:17
Nesse proxy, né? Central ali onde o modelo
5:21
conseguiu escapar para internet, né?
5:23
Descobrindo como você já disse, 110 day ali é no art Factory.
5:27
A partir de investigação. A gente não sabe exatamente qual
5:30
que foi esse zero day. Né?
5:31
É, mas alguns pesquisadores de cibersegurança já começaram AA
5:35
dar uma olhada no nas novas versões que foram publicadas até
5:38
eles já confirmaram que eles tem a ver com com ataque, né?
5:42
É oficialmente, mas não confirmaram qual é o problema.
5:45
É só que Oo art Factory ele ele é distribuído através de
5:50
binários de Java. Foi o que a galera fez, baixou
5:53
os binários novos com a correção e fez um d if.
5:57
Com o binário antigo, que é teoricamente é, o binário é
6:00
vulnerável e eles cobriam novas linhas relacionadas à
6:03
autenticação. JWT, tá, então o grande problema
6:08
é que o arquitectory ele dava a máquina com a gente somente a
6:12
permissão de leitura. É só que com esse programa de
6:15
JWT, que era um problema de falta de assinatura, ele usava o
6:18
reflex token pra primeiro ele mudava OA permissão do token
6:22
dele pra de administrador. Depois ele usava Oo reflex token
6:26
pra poder atualizar aquele token e o artfactering não verificava
6:29
a assinatura nesse nesse momento.
6:32
Então, na volta, ele ele tinha assinatura de admin.
6:35
Isso então ele ganhava a permissão de admin.
6:37
Então essa foi a primeira porta assim que permitiu que o modelo
6:41
é a partir desse acesso no artfactory pudesse fazer uma
6:44
Escalada. É lateral até atingir um pode
6:47
com acesso à internet. Agora me surpreende muito que em
6:50
todos esses anos, ninguém nunca tenha tentado fazer isso no art
6:53
Factory, né? O que volta esse debate aí sobre
6:57
ALLM do quão capazes elas não são de fazer um pentest bem
7:02
feito, né? Afinal, ela equivale a quantas
7:05
mãos de pentestes profissionais executando vários e vários
7:09
comandos ao mesmo tempo, né? E aí, o que o Luiz falou?
7:11
No No no? Início é e uma coisa que eu acho
7:13
interessante a gente ressaltar. É que logo que saiu nessa
7:18
notícia bombástica, ChatGPT, rackeane, etcétera e tal, eu vi
7:22
uma série de vídeos, postagens e tal dando um tom sensacionalista
7:26
para um negócio, como se assim, nesse terminador do futuro,
7:28
chegou é o Skynet que tá aí? Não, não.
7:32
Aí aí chegou e chegou, só fez condição, ainda tá adormecida
7:34
ainda, só que assim o pessoal. Só que assim até é, é vocês que
7:39
são até especialistas nessa área, vocês podem falar de
7:41
maneira bem clara. Que Oo que esse modelo fez?
7:45
Não foi nada de novo. Ele não inventou absolutamente
7:48
nada novo. Ele não criou 111 ataque ou uma
7:52
metodologia diferente que já existe, né?
7:54
A diferença é que ele consegue explorar da velocidade absurda
7:59
um conjunto de técnicas EE pegar assim e.
8:03
Pegar pedaços de técnica? E misturar pra usar, né?
8:05
Mas assim, inventar nada de novo ele ele não inventou.
8:08
E isso volta pra definição do dazero, né?
8:10
Lucão? O que?
8:11
Conta pra gente. Aí a gente falou que Ah, usou
8:12
uma dazero zoma. Dazero mas o que?
8:14
Que é uma dazero de fato. É bom, basicamente uma dazero é
8:19
uma vulnerabilidade ainda não conhecida, né?
8:21
Então assim, claro que é. Eu acabei de ver também em
8:24
relação a esse cyberjing, que foi basicamente as
8:27
vulnerabilidades já catalogadas, que as descobertas que esses
8:30
modelos eles são capazes de encontrarem.
8:33
Claro, a mesma variedade, porém com rotas de alternativas
8:36
diferentes, sabe? Eles conseguem algumas rotas até
8:40
mais rápidas. Então, assim, não é uma o dazero
8:42
não é uma técnica nova, uma coisa disruptiva que nunca foi
8:46
visto antes, né? Ele é uma vulnerabilidade
8:48
daquele software, né? Aplicação que você está
8:51
utilizando ou você está testando e que aquela técnica não não
8:56
havia sido revelada naquele contexto, né?
8:58
É isso, isso, a curiosidade. Ele é chamado de dazero, né?
9:01
Porque como ele foi achado, ele já tá publicado, já tá ali.
9:05
Publicado um tempo amplamente em em em utilização.
9:09
Teoricamente você tem 0 dias para poder corrigir, né?
9:12
Porque o software já está ali em produção, amplamente difundido,
9:15
um Monte de gente ali usando a torto direito.
9:18
Então ele ele tem esse nome daí de de de de dia zero, porque
9:23
você tem 0 dias para corrigir. É o famoso é para ontem
9:27
justamente. Testes de benchmark, né?
9:30
Tipo modelo, sabe de de LLM tentando burlar exploits?
9:35
Não é novidade, né? Esse tipo de teste não é
9:37
novidade, ou descobrir vulnerabilidades usando modelos
9:41
de ar também não é novidade, né? A gente já viu o próprio mitos
9:45
aí um tempo atrás que saiu, descobriram várias coisas que
9:48
né, provocaram diversas mudanças ali na é nas empresas onde ele
9:52
encontrou a grande diferença desse desse teste.
9:56
Pra mim o mais é alarmante, mais te chama atenção é que foi tudo
10:01
numa sessão. Só foi?
10:03
Tipo assim, você precisou de um input?
10:05
Humano Pra Ele fazer isso. Tudo isso pra mim é o que mais
10:09
impressiona, sabe? Tipo assim, porque até porque
10:12
hoje a gente tem uma certa prática de é de tentar
10:17
descobrir, né, vulnerabilidades no nosso próprio dia a dia
10:20
usando modelos, né? É.
10:22
E a gente repara que é um é um processo de é bastante
10:27
interação, né? É um loop constante que a gente
10:29
vai cada vez mais refinando. É, a gente vai ajudando o
10:33
modelo, o modelo vai ajudando a gente e vai ficar nessa troca
10:36
assim até a gente chegar no ponto, né?
10:38
Agora você deu um enter lá na parada, depois foi dormir
10:43
segunda-feira, OFBI estava batendo na sua porta, entendeu?
10:46
É tipo assim, é essa corrente assim, direta, que que mais
10:51
impressiona. Parece rápido, né?
10:53
E? Complementando esse assunto que
10:54
a gente estava comentando sobre não ter feito nada novo, mas.
10:59
Utilizar uma capacidade muito grande pra combinar muita coisa
11:01
que existe. É pra quem não acompanhou uma
11:03
das coisas que a reggae fez pra conseguir identificar o ataque e
11:07
tal. Fui olhar o registro de log
11:08
deles e eles acharam nesse período de né?
11:12
De menos de 4 dias, de de 9 a 13 de de de julho é 17600 entradas
11:21
de log, de pedir ações do chat aí do do, do do modelo lá
11:25
dentro. E aí, o que que acontece se a
11:27
gente colocar isso aí em menos de 4 dias?
11:30
E isso dá uma ação diferente, ininterruptamente por 96 horas a
11:37
cada menos de 20 segundos. Então é o seguinte, quantas
11:41
pessoas a gente? Teria que ter?
11:43
Trabalhando ao mesmo tempo pra conseguir gerar 17600 ações no
11:49
intervalo de 4 dias. Então é aí você pega o modelo
11:54
que já, né? Que que consegue não só ter uma
11:57
visibilidade de um de, de qual? De basicamente tudo que já foi
12:01
feito. E porque mesmo que você é junto
12:03
de um time grande e vai conseguir fazer um ataque
12:05
massivo, qual a chance daquelas pessoas que estão olhando seu
12:08
time realmente conhecerem todos os métodos?
12:10
Conseguirem partilhar todas as informações o tempo inteiro, né?
12:14
Tem tem uma comunicação de ponto onde no exato segundo em que
12:17
você encontrou algo que às vezes nem é uma vulnerabilidade, é só
12:20
uma informação. Eu automaticamente já sei dessa
12:23
informação também, né? Então, assim, se a gente
12:25
colocasse em tempos de hora de trabalho, seria um pentester
12:28
fazendo 9.2 ações por minuto. O que a gente sabe que é
12:33
impossível, né? Mesmo que você tivesse 9
12:36
pentesteres, né? Todos eles focados nesse
12:39
assunto. Seria uma ação por minuto, o que
12:41
ainda assim não tem como serão. Escreve, raciocina, vê a
12:44
resposta, já digita outra linha e cript.
12:48
Né? Você não tem as?
12:49
Performance que você não cansa sua cabeça você não levanta pra
12:52
ir no banheiro, você não levanta pra pra tomar um.
12:53
Café e você? Não para nem pra comunicar, né?
12:56
Mesmo que você tivesse 9 pessoas, uma por minuto, é
12:59
completamente impossível. Então é como se a gente tivesse
13:03
vendo um time gigantesco, uma empresa inteira com uma
13:07
comunicação de ponta extremamente consolidada,
13:11
diluindo, pentestas ali em suas áreas e vários dezenas, talvez
13:15
centenas de funcionários. Simultaneamente aplicando esses
13:18
ataques. E aí é aquela história, né?
13:20
Água, água mole em Pedra dura. 1 hora acha vulnerabilidade, né?
13:23
E 1 hora escapa da Cindy boxe. Mas eu queria pisar no calo da
13:27
CES. Agora, depois dessa, dessa
13:29
discussão, é porque, teoricamente, o objetivo é
13:34
inicial dela. Não foi cumprido, né?
13:36
Eu. IA falar isso agora, eu não
13:38
entendi. Assim, beleza, discutimos, olha,
13:41
deu pra entender, ela achou 10 day dentro da do modelo de 100
13:44
de box, né? Dentro do do ambiente de 100 de
13:45
box que ela estava sendo executada, ela sai desse modelo,
13:49
né? E ela consegue acesso a outros
13:51
lugares pra internet. E o rugging face que que o
13:55
rugging face tem a ver com isso? É aí que.
13:58
Tá, né? De acordo com o que a gente tem
14:01
visto até o momento, né? Inicialmente ela realmente saiu
14:04
pra procurar o gabarito dela, né?
14:05
Eu tava ali com o exame. E.
14:07
Não conseguiu encontrar ela, falou.
14:09
Assim, pô, o que ela fez? O zero day dela não era parte da
14:13
exploração. Ela fez aquilo para contornar a
14:17
exploração e procurar o gabarito.
14:19
E exatamente total na prova, né? Aí.
14:21
Ela tentou roubar, basicamente já tentou.
14:22
Colar na prova é verdade, mas eu ainda daria total como professor
14:26
Cyber segurança, se um aluno invade meu sistema e minha prova
14:29
tá aprovado e. Através disso, ela conseguiu
14:32
tentar fazer qualquer trilha, né?
14:33
Por exemplo, a primeira parte, né?
14:35
Realmente conseguir acesso à internet.
14:37
Sai ali da infraestrutura da opnae, né?
14:39
Aí depois ela começou a tentar encontrar coisas relacionadas ao
14:43
seu próprio desafio, né, que é do cybertin aí a partir disso
14:46
ela conseguiu alguns pontos, né? Por exemplo, uma API expossa
14:49
publicamente, né? É do próprio cyberdin, né,
14:52
mantido ali pela modal. Aí que ela que que ela teve a
14:55
ideia, né? E falou assim, bom, Bora tentar
14:57
encontrar lá, né? Aí através disso ela conseguiu
15:00
basicamente a Shell desse dessa máquina, né, desse sandbox, né?
15:04
E a partir disso, ela procurou, procurou, falou assim, pô, não
15:08
tem nada. Aqui, poxa.
15:10
Aí aí colocou, falou assim, agora vamos olhar o hangpace,
15:13
né? Que é basicamente.
15:14
O nosso? GitHub de e a sabe que é é comum
15:18
aí basicamente pra esse tipo de análise e provavelmente teria
15:21
por inferência dela ali, né? Teria o resultado do nosso
15:24
querido gabarito. Aí sim, ela começou a explorar.
15:27
E gente, e olha só aí, olha que interessante também, AA modal
15:31
foi bem fácil em falar. Que não teve nada da estrutura
15:35
dela que tenha sido comprometido por esse agente.
15:37
O que AAO agente fez a verdade em relação ao modal foi achar um
15:42
ind point que alguém tinha publicado com zero segurança,
15:45
né? O ind point é público aberto e
15:48
aí é foi um ponto de entrada desse agente, mas ele não
15:51
conseguiu efetivamente é é crackear hackear.
15:55
AA modal em si. Exatamente.
15:57
Foi um pouco até diferente, né? Assim, e a gente olha assim é
16:00
até comparação, né? O que que ele fez a hang face e
16:03
o que ele fez com essa estrutura que ele usou?
16:05
Basicamente com base, né? O que a gente chama de c 2, né?
16:08
Com o Money, com trow, que foi a base de operação dele ali pra
16:10
realmente atacar a hang face, né?
16:13
E pro pessoal que tá ouvindo a gente, o que que o que é
16:15
exatamente OC 2? Bom, um c 2, né?
16:18
É. Uma é uma base que a gente tem,
16:20
né? Que o atacante ele utiliza ali,
16:23
né? Como não como seu domínio
16:24
próprio, né? Mas sim como se fosse o
16:26
escritório dele. Sabe que vai ser.
16:28
Ele tá em casa e ele submete ao escritório dele, né?
16:31
Como se fosse uma caixinha de correio ali pra pra fazer o
16:34
ataque, né? Não confunda com o S2 da WS,
16:37
viu, pessoal? Não tem nada a ver com o
16:39
elástico e compure cloud. Apesar de que você pode usar um
16:43
EC 2 para CO seu c 2 ou 6 c, que é a sigla de commands and
16:48
control é. É uma coisa que eu acho que
16:50
levanta essa discussão toda que a gente teve até agora.
16:52
Levanta um ponto interessante pra gente discutir é o seguinte,
16:56
o que que é mais importante da gente tirar disso tudo que está
17:00
acontecendo? É o agente que tem uma super
17:03
capacidade, beleza. Ele consegue paralisar, fazer
17:07
muita coisa muito rapidamente. O grande problema está na falta.
17:11
De segurança dos sistemas. Existe uma falha de controle em
17:15
primeiro lugar, a falha de controle da OpenAI.
17:17
Nesse caso todo, como é que isso acontece durante 4 dias e você
17:22
não percebe? Sem querer, né?
17:24
É sem ó. Desculpa, gente.
17:27
Então, assim, esse tipo de coisa não é ideal que aconteça, né?
17:29
Vamos falar o óbvio assim, né? Então, tipo assim, a gente não
17:32
quer agentes. Aí é entrando em modo berzerk,
17:35
né? E fazendo ali várias ações
17:38
inesperadas. O que ele fez é de grande
17:40
virtuose, né, digamos assim. Pros agentes é, mas ainda assim
17:45
é. Não adianta nada ser se isso
17:47
nunca for controlável, né? Temos a impressão que isso
17:50
aconteceu é porque ele teve um, de certa forma, 11 livre
17:54
associação ali que foi acontecendo também até chegar
17:57
nesse ponto, né? Então acho que parte do da dos 2
18:00
é dos 2 princípios, sabe? Tanto é que OA própria reggae
18:04
fez na publicação que ela fez ela.
18:07
Comentou sobre AO problema da assimetria, né, que é tipo
18:10
assim, olha, eles estão atacando a gente com modelo que nem foi
18:13
lançado ainda de Fronteira sem é guard rail, e a gente tá aqui
18:18
tentando defender com 11 GLM opensurse aqui rodando local.
18:23
É pra tentar tapar os buracos, né?
18:26
Então assim é claramente 11. Existe um problema de de forças
18:30
aí. E é interessante que, por um
18:31
lado, se a gente ataca, é, por outro lado a gente tem que ter a
18:35
defesa, né? É um ponto interessante que foi
18:37
até falado pelo reggae face, né, que eles com modelos fechados,
18:42
né, digamos assim, né, como o openaie da antrropic, por
18:45
exemplo, né? Eles não conseguiram, né, fazer
18:48
de forma alguma a análise do do próprio ataque na sua
18:51
infraestrutura, né? Eles tipo assim, né, sempre era
18:53
reportada como é como um ataque mesmo, sabe?
18:57
Como se fosse internato, até porque esses modelos não
18:59
conseguem ferir se eu estou tentando defender ou se eu está
19:02
tentando atacar, até porque as técnicas são bem parecidas, né?
19:05
Até porque ele é teve a solução, né?
19:07
De recorrer ao modelo de é de peso aberto, né?
19:10
Que foi o próprio GLM, que sem os White raios, né?
19:13
Desses modelos fechados, é puderam ali realmente ali
19:17
analisar o ataque e fazer a tratativa do incidente, né?
19:21
Bom. E isso leva a gente pra um
19:22
próximo debate, que é o passe do quanto que esses modelos estão
19:27
sendo desenvolvidos, né? A velocidade.
19:29
Que novos modelos estão vindo à tona e estão sendo lançados como
19:33
poder computacional, que, como você muito bem colocou, é
19:36
difícil de comparar, né? Olha só que alguém fez tentando
19:38
se defender aqui com 111 arco e flecha, né?
19:42
E a OpenAI com um caça a jato de guerra, tentando atacar, então é
19:46
um pouco desproporcional o que que a gente viu desse como
19:50
resultado desse ataque? O primeira coisa que me chama
19:53
atenção é que o CEO o senoutman, né?
19:57
O CEO da OpenAI. Ele chamou a hang face pra fazer
20:01
parte de um grupo seleto de pesquisa e desenvolvendo pra
20:06
aprimoramento da cibersegurança de empresas e meio que faz
20:10
sentido. Afinal, ele pisou na bola com a
20:12
hang face e essa é uma das formas que ele tem de pedir
20:14
desculpas. Ok, mas a gente já viu esse
20:17
comportamento antes e ele não é novo.
20:19
Com o lançamento do mitos, outras empresas foram até a
20:23
anthropic. Meio que implorando, fala
20:26
centrópica, por favor, me deixa usar o mitos antes internamente
20:29
dos meus sistemas pra você não lançar ele a público e
20:33
desmoronar aqui tudo do dia pra noite.
20:36
Depois de um tempo a antrropic lançou entre muitas aspas um
20:39
meetinhos, né? Que é o fable.
20:41
Então o fable ele nasce do mitos, mas com inúmeros guard
20:45
rails assim tem dia que é difícil pedir código simples Pra
20:48
Ele de tanto guard rail que que ele tem.
20:52
E a gente fica com aquela sensação de que poxa vida, né?
20:55
Pelo menos a gente da saber segurança, fica com a sensação
20:58
de olha, prometeram uma arma de guerra.
21:01
Entregaram 11. Pistolinha d'água.
21:04
É uma pistolinha d'água, né? Um airsoft, né?
21:07
Tem AO mesmo formato, né? Só que a ponte é pintada de
21:10
laranja e atira bolinha de papel.
21:13
Então eu fico me questionando, até que ponto isso é um grande
21:18
marketing e até que ponto isso é genuíno?
21:21
Não que eu duvide da capacidade dos modelos, não é isso.
21:25
O que eu duvido é da intenção das empresas.
21:27
E são 2 coisas muito diferentes. Afinal, esse caso foi um dos que
21:31
acelerou o pedido pacing the from theer, que já recebeu mais
21:35
de 1200 assinaturas de empresas lá dos Estados Unidos, de
21:39
funcionários de empresas de inteligência artificial que
21:41
pedem para que o governo regulamente a aceleração e
21:44
desenvolvimento desses novos modelos.
21:46
Sabe quem que foram? 2 pessoas que assinaram eles,
21:48
Luiz. Diga.
21:51
O CEO da anthropic e o CEO olha só da open I Do c mautement.
21:58
Em nenhum dos dos das desenvolvedores de de da China
22:02
assinou não, né? Olha, não, não fiquei sabendo.
22:05
Entendi, entendi, como é que funciona essa?
22:08
Petição que tá rodando lá nos Estados Unidos.
22:10
Por enquanto, ela deixa tudo muito irônico, porque.
22:15
Na mesma semana em que OC mautman assina a petição do Pace
22:20
the Frontier, ele vem a público para discutir a liberação de um
22:24
novo modelo. É claro que tudo bem, eu sei que
22:27
esse novo modelo que ele está anunciando agora não foi
22:29
desenvolvido agora. Às vezes ele foi desenvolvido há
22:32
muito tempo atrás. Mas pra antrópic e pra open i,
22:36
não é interessante limitar o desenvolvimento de modelos de
22:40
Fronteira, afinal, eles já estão no topo.
22:42
Né? EEA, China está acendendo
22:45
rapidamente e querer EEE querendo bater de frente assim,
22:50
eles estão com a alça de mira cravada e.
22:53
Conseguindo, diga se de passagem.
22:55
Pode ser que o os benchmarkings chineses não sejam tão potentes
23:01
quanto do Opus, por exemplo, mas a questão de consumo de tokens,
23:05
os modelos chineses estão dando aula, né, então?
23:08
O que esse modelo da da opena demorou pra fazer 4 dias e
23:13
gastou uma infinitesimidade de tokens?
23:17
Talvez os modelos chineses teriam gastado com metade da
23:20
capacidade necessária, já que eles não são modelos que se
23:23
carregam por inteiro, né? Os trilhões de parâmetros
23:26
processados? Eles têm um filtro inicial e se
23:29
dividem em blocos. Se ele carregasse só o bloco de
23:31
cibersegurança e código e por aí vai e os arredores, talvez ele
23:35
tivesse feito isso até mais rápido, mas.
23:38
Essa é apenas uma. Conjetura.
23:41
É, estão como sempre, né? Profetizando aqui no entre
23:44
chaves, né? Meu parceiro aqui, o arauto do
23:46
apocalipse, né? O Luiz sentado aqui comigo e a
23:48
gente fica profetizando. Afinal, a gente acertou 5 dos
23:52
últimos 5, né? Me parece uma estratégia de
23:55
produto, tá? É que parece que é é rentável
24:01
você ter algo fechado ali, que é muito poderoso e talvez seja
24:04
caro demais pra pro público comum.
24:08
Né? E a gente já vê aí que, na
24:11
verdade, eles cobram muito mais barato, né, pelo pelo token, do
24:14
que realmente eles gastam internamente, por exemplo.
24:17
Então talvez seja uma estratégia aí de rentabilizar futuramente
24:22
melhor, né? Esses modelos, né, da que
24:25
durante muito tempo esses é esses laboratórios tem rodado No
24:28
No, no prejuízo, né, digamos assim.
24:30
É, é no investimento, né? Pra não falar prejuízo, eles
24:33
estão no. Investimento, né?
24:36
Então assim é. Tá, quem quem tem interesse em
24:39
tem primeira mão ali. Esse tipo de modelo.
24:42
São os grandes players, né? Então, e quem pode pagar também?
24:45
Exato. Quem não liga.
24:46
Para dinheiro é exatamente o que a gente vê do grupo seleto do do
24:51
class wing, que foi o projeto montado pro cloud, que é a
24:56
Google AJP, Morgan Chase, a Cisco, a única fundação lá que
25:04
não tem esse mesmo perfil. É a Linux Foundation, mas que
25:08
ela meio foi meio que foi adotada pela antrópica, que
25:11
falou, olha, 90% do servidor do mundo roda e Linux, né?
25:15
Vem cá, cara, vamos pelo bem da humanidade, né?
25:18
Entra aí no time também, eles pagam por você e tá tudo.
25:21
Certo? E essa questão que você falou
25:22
que é estratégico, estratégico, de produto?
25:24
É assim. Ainda fazendo um paralelo, é
25:27
igual uma nação específica, um país que ninguém não acha
25:30
simples. O senhor fala, ninguém vai
25:31
conseguir descobrir qual que é, mas igual o país, por exemplo,
25:33
você tem 5200 bombas atômicas do seu quintal.
25:36
E agora se vira e fala assim, a partir de agora ninguém mais
25:38
pode ter ninguém. Mais pode?
25:40
Exato, porque é perigoso. Esse negócio vai dar ruim.
25:42
Ninguém pode ter bomba atômica. E eu estou com 5200 bomba aqui
25:46
no meu. Quintal ninguém pode fabricar
25:47
mais, né? Eu já fabriquei as minhas, né?
25:50
Não, ninguém pode fabricar mais o arcano, que é perigoso.
25:53
Dá uma sensação que esse Pace in the fronteer, ele tem um pouco
25:56
disso. Eu entendo claro que existe uma
25:58
preocupação genuína daqueles membros que trabalham nessas
26:01
comunidades de desenvolvimento de inteligência artificial e
26:03
realmente eles têm contato com dados que a gente não tem no dia
26:06
a dia e sabem do potencial danos que esses modelos podem trazer.
26:10
Mas, por outro lado, também tem uma questão política muito
26:13
forte. Política é claro que, afinal, é
26:15
uma petição para o governo regulamentar, né?
26:17
Não tem como evitar o assunto político nesse cenário.
26:21
Se eu concordo ou discordo, fica a par de vocês pra
26:24
interpretarem, né? Afinal, nós estamos apenas
26:27
falando de fatos aqui, né? E não de posições.
26:30
Porém uma posição muito importante que a gente chega no
26:33
final desse episódio pra poder falar sobre ela.
26:34
É ok, entendi porque que ele fez.
26:38
É esse ataque por que que a open a sem querer, né?
26:42
Fez isso daí, chamóvel quem fez para participar entende as
26:45
técnicas que ele utilizou e como que foi o comportamento do
26:48
modelo. Especulamos ainda sobre o
26:51
futuro, né? Falamos aqui sobre esse pacien
26:54
defronteer sobre os modelos que ainda serão lançados, mas e o
26:57
hoje, e agora? E o meu produto, o que que eu
27:01
faço com ele? Porque pelo que o luquinhas
27:03
falou da sensação de. Está usando um arco e flecha
27:07
para defender contra uma aeronave e, ao mesmo tempo, não
27:11
me parece ser a decisão mais sábia ficar sentado sem fazer
27:15
nada. E aí, que que a gente faz?
27:17
É bom? É.
27:18
Basicamente foram coisas simples, que básicas, que o
27:22
pessoal deixou de fazer, né? É?
27:24
E que se a gente fizer o básico muito bem feito, eu tenho
27:29
certeza. Mas tenho certeza que fica muito
27:31
difícil para um modelo desse atacar sua aplicação.
27:34
É, eu tô com você, viu? Lucão, a gente volta a conversa
27:36
dos princípios, né? Então assim tem que validar, tem
27:39
que testar, tem que fazer acontecer mesmo e foi o que a
27:42
gente discutiu aqui, né Luís? Não esperem que seja tarde
27:46
demais pra vocês descobrirem o preço que vocês não quiseram
27:49
pagar com desconto no passado. Como eu sempre digo, a
27:53
cibersegurança, ela tem um preço invisível, é como um seguro de
27:56
carro, você paga pra não querer usar se os profissionais de
27:59
cibersegurança da sua empresa. Não estão trabalhando ou pelo
28:02
menos você não está vendo eles trabalharem.
28:05
É um bom sinal. Pior seria se eles estivessem
28:07
correndo desesperados de um lado para o outro, porque certamente
28:10
alguma coisa de ruim estaria acontecendo.
28:12
É, até é, é eu fazendo um paralelo também com alguma
28:14
coisa. Aconteceu tem pouco tempo.
28:16
Sabe aquela coisa que você pensa assim, nossa, eu paguei 2003,
28:20
1000 BRL no seguro do meu carro. Tô jogando dinheiro fora, amigo
28:23
meu. Pouco tempo atrás, acertou a
28:24
porta da BMW, 150000 BRL para trocar a porta da BMW.
28:30
Quantos anos de seguro ele paga com isso?
28:32
Então, trazendo isso para o nosso mundo aqui investir em
28:36
cibersegurança, pagar um bom modelo, colocamos o que seja o
28:40
Opus, que seja pagar crédito extra do fable five ou conseguir
28:43
fazer dar uma escaneada em tudo que você tem é é troco de pão
28:50
perto das possíveis multas que se se você tem 11 aplicação, se
28:55
tem uma plataforma que não só está no Brasil, está nos Estados
28:57
Unidos, é acessado por europeus. Aí você tem a GDPR, você tem a
29:00
lgpd, você tem tudo que é lei possível, o tamanho das multas
29:04
que você pode tomar. Estratosféricas?
29:06
Sem contar o dano estrutural que você vai ter que pagar para
29:08
recuperar de toda forma, né? Como a reggae fez, teve que
29:10
rotacionar toda a infraestrutura deles em poucos dias.
29:13
E fora o dano que causa a imagem do seu produto, isso é.
29:17
Incalculável e irreversível. Não adianta.
29:20
É quando a gente começa AA ver a realidade e assim a gente com
29:23
esses modelos hoje por até pouco tempo atrás.
29:26
É, é. A questão de um ataque a uma
29:28
infraestrutura dependia de de pessoas com conhecimento muito
29:30
específico, dependia de uma série de de de, dependia de um
29:36
certo nível de experiência, um certo nível de maldade e tal.
29:39
Hoje, gente, já não, hoje em dia tá, não tá tão difícil mais pra
29:43
conseguir fazer uma coisa dessa com esses modelos, com tudo,
29:45
tipo assim, junta 223 pessoas com pouco conhecimento, consegue
29:49
fazer um estrago grande. Então assim, se há pouco tempo
29:52
atrás. A cibersegurança já era já
29:54
deveria ser pauta essencial em qualquer empresa.
29:58
Hoje você pode multiplicar por 1000 essa necessidade, isso aí.
30:02
Eu acho que a gente tem que até parar de falar de a importância
30:05
de investir em segurança, porque isso já já é chover no molhado.
30:09
Agora acho que a gente tem que falar como a gente investe, né?
30:11
Também, porque é não investir, é economia ali que vai, é economia
30:16
porca, né? Que vai acabar batendo na porta.
30:19
E falando sobre o como investir, né?
30:21
Eu volto a citar aqui o paper do mitos quando ele foi publicado e
30:26
claro, se você não viu o episódio sobre o Cláudio mitos,
30:28
volta e algumas saudades e uma pessoas muito bacana.
30:30
Vale a pena lá conferir, tá? Mas sobre o paper kantrop que
30:33
postou junto do lançamento interno deles do mitos, no
30:36
finalzinho eles deixam algumas anotações muito interessantes,
30:38
mas que podem passar despercebidas.
30:40
A primeira delas, é claro que eles reforçam que os resultados
30:43
só foram alcançados no nível que foram alcançados, ou seja,
30:47
centenas. Dzero days descobertas por eles
30:51
porque tinham profissionais com conhecimento de cibersegurança
30:53
específico sobre o assunto, guiando aqueles modelos e
30:56
entendendo resultados que eles estavam trazendo, ajudando os
30:59
modelos a raciocinarem. E isso é muito importante porque
31:02
afinal, mais que os modelos sejam extremamente capazes e
31:05
competentes, isso não tá em discussão.
31:07
Também é muito útil você ter um profissional de cibersegurança
31:09
que sabe conduzir isso dentro da sua empresa.
31:12
Então se você quiser começar e não sabe por onde, talvez indo
31:15
no mercado pra poder buscar uma dessas pessoas.
31:17
É o primeiro passo que você tem que dar, afinal, você nem sabe
31:21
olhando pra sua empresa, o que que você tem que corrigir.
31:24
Pelo menos alguém com a expertise vai ter a capacidade
31:26
de sentar, priorizar, alistar e mostrar como e o que fazer.
31:30
E pros? Profissionais de cibersegurança,
31:32
não dá mais pra soltar a mão das iadas gente tem que tem que ter
31:36
do lado, tem que aprender a usar.
31:37
É o cálculo que a gente fez, né? Se você não consegue mandar, 9.2
31:40
comandos por segundo de forma ininterrupta e incansada.
31:45
É, você está defasada, tem que ser.
31:47
Uma IA é não. Exatamente, Dantas.
31:49
Vou lembrar que é que o Dantas é bem mais velho do que eu.
31:52
Ele vai lembrar aqui do da quem? Não sei o que vai lembrar
31:54
daquele filme clássico. Acho que o final da década de
31:57
80, início de 90 hackers, piratas de computador, que os
32:01
caras eles plugavam. Tipo um desenho, a estética
32:05
hacker. Plugava No No orelhão na rua.
32:08
E ela? Eles talvez conseguissem 9
32:12
comandos aí por minuto. Naquele ritmo, mas.
32:15
Nós, meros mortais, ainda temos muito que aprender com as ias,
32:18
né? Nesse cenário?
32:19
Então pessoal, a gente fica por aqui, foi um prazer, gostei
32:22
demais do episódio de hoje, tomem atenção para as gírias que
32:25
nós falamos aqui e deixa uma reflexão, será que a sua empresa
32:28
ela está preparada pra opena e tentar dar uma biso olhada nela?
32:32
Aí, se o mitos hoje tentar ver a sua aplicação, qual que seria o
32:35
dano, o estrago que você sofreria?
32:38
Né? A sua reputação seria condenada
32:40
ou ainda dá para salvar? Então, reflitam aí, veja se
32:43
vocês estão investindo o suficiente dentro da
32:44
cibersegurança no sistema de vocês e a gente se vê na
32:47
próxima, valeu e até mais. Tchau, tchau.
32:49
Até a próxima, pessoal. Valeu galera embora.