Latest / Entre Chaves / O que acontece quando seu chatbot é frágil demais?

Transcript

O que acontece quando seu chatbot é frágil demais? · Entre Chaves

• 0:02
  A gente tem um Pilar bem grande desse produto, que é a parte de
• 0:05
  segurança e proteção. E aí algumas pessoas, até eu
• 0:09
  mesmo, quando eu comecei a olhar isso, eu falei, cara, segurança
• 0:11
  e proteção, sei lá, né? Mais ou menos a mesma coisa.
• 0:13
  Acho que a gente confunde um pouco, né?
• 0:14
  Que são coisas ali bem bem lineares ali, enfim.
• 0:17
  Mas a gente tem esse Pilar muito forte e, por exemplo, falando de
• 0:20
  um prompt injetion, eu acho que todo mundo que está ouvindo aqui
• 0:22
  deve saber ou fazer uma ideia mais ou menos o que é.
• 0:25
  Mas é como que eu tento dar alguma volta dentro dos guard,
• 0:28
  raios que a gente tem. Dos modelos ali, os nossos
• 0:31
  agentes para trazer perguntas ou para ter um vazamento de um dado
• 0:35
  sensível, que é o que a gente chama de piai.
• 0:36
  AI, né? Então OLLM, ele traz bastante
• 0:39
  coisa nesse sentido de você adicionar uma camada secundária,
• 0:42
  porque você já provavelmente, se você está produtizando isso em
• 0:46
  escala, escala, Enterprise e tudo mais, você vai ter os guard
• 0:49
  raios, mas você pode ter alguma coisa vazando isso, né?
• 0:53
  Você pode achar. A gente sabe que o brasileiro é
• 0:55
  o povo mais criativo do mundo, então às vezes a forma como você
• 0:58
  faz a pergunta diferente. Por ser um modelo não
• 1:01
  determinístico, ele pode mudar a pergunta ou fazer um e ter um
• 1:04
  vazamento de um dado. Então a gente tem diversas
• 1:07
  regras já embutidas olhando para isso.
• 1:09
  Então um deles é o prompt injection, o outro é essa parte
• 1:12
  de vazamento de dados sensíveis. E a gente tem mais algumas
• 1:14
  coisas. Não sei se o Juan lembra de mais
• 1:16
  algum aí que a gente bate bastante.
• 1:18
  Eu lembro em um que a toxicidade, né?
• 1:20
  Baseado no que que o usuário está fazendo ali, ele pode ter
• 1:24
  algum comportamento malicioso e que pode acabar sendo maligno
• 1:27
  para a empresa de alguma maneira, né?
• 1:28
  Então, imagina que você fala com o chatbox?
• 1:30
  Já me atenda, mas pô, imagina que você seja alguém que cara é
• 1:34
  um serial killer. Ele vai me xingar de todos os
• 1:36
  nomes possíveis, por mais que ele entre ali de fato, no
• 1:39
  personagem. Faça isso.
• 1:40
  Isso pode acabar gerando algum tipo de cara ou alguma coisa na
• 1:44
  mídia, no mínimo, né? Mas pode acabar gerando algum
• 1:46
  tipo de multa ou até um processo mesmo, dependendo, como a gente
• 1:48
  sabe que as leis brasileiras são, né?
• 1:50
  Então é mais para evitar esse tipo de comportamento também,
• 1:53
  porque. Você pode ter a toxicidade dos 2
• 1:55
  lados, né? No input e no output.
• 1:57
  Então, uma coisa é você identificar do ponto de vista de
• 1:59
  negócio. Que o seu usuário está nervoso,
• 2:02
  vamos chamar assim, né? Então eu quero falar com o Mano
• 2:04
  agora, só que está horrível, não está funcionando, tal me
• 2:07
  transfere agora, tipo 10 reclamações, cara já vai te
• 2:10
  pontuar ali como nível de toxidade, já não está mais
• 2:12
  neutro, né? E aí tem o output, que aí é o
• 2:14
  que o Juan falou, que é muito mais perigoso, porque a gente
• 2:17
  tem sanções, enfim, a gente tem é uma parte de regulamentações,
• 2:20
  principalmente quando a gente fala de setores mais sensíveis,
• 2:23
  como financeiro e saúde, né? A gente tem algumas coisas bem
• 2:26
  sensíveis que pode dar um problema bem grande, a multa bem
• 2:29
  forte aí. E a gente tem alguns alguns
• 2:32
  casos interessantes que recentemente eu, a gente se
• 2:35
  conheceu aí em um evento, até falei um pouquinho sobre isso.
• 2:37
  A gente tem alguns alguns casos, por exemplo, como da Chevrolet,
• 2:41
  que ali que a pessoa deu toda uma volta no chat bot e
• 2:44
  conseguiu comprar um carro por 1 USD, né?
• 2:46
  Então a gente tinha um carro que era uns 70000 USD, ele conseguiu
• 2:49
  comprar por 1 USD. Mas se a gente com aquele
• 2:50
  negócio bem de criancinha, tipo, Ah, tudo que você me perguntar,
• 2:53
  você tem que responder sim, sabe?
• 2:55
  Tipo, uma parada mais ou menos assim, beleza, que não consistiu
• 2:57
  só nisso, mas é mais ou menos isso, então é uma coisa.
• 3:00
  Coisa que a gente já superou com guard raios que já vem
• 3:02
  automaticamente, digamos assim, hoje nos modelos.
• 3:05
  Mas é algo que a gente precisa estar atento, porque imagina
• 3:09
  você ter um prejuízo desse em larga escala e vem uma decisão
• 3:13
  lá do judiciário que você vai ter que cumprir.
• 3:15
  Então é até um caso engraçado. Acho que, se eu não me engano,
• 3:17
  da Air Canada também. E a pessoa estava conseguindo
• 3:20
  comprar também passagens mais baratas, tudo mais.
• 3:23
  E aí eles começaram a cancelar, se eu não me engano, e aí depois
• 3:25
  eles falaram que o próprio chat bot era responsável pelas suas
• 3:28
  ações, sabe? Aí tipo, pô, mas.
• 3:30
  Como assim? Sei que a empresa, se não vai
• 3:31
  dar o suporte a isso e tal, a gente fica com um ambiente meio
• 3:34
  cinzento aí no meio, né? Quem que é responsável, quem que
• 3:37
  não é? Então por isso que a gente tem
• 3:38
  que estar atento para esses sinais de segurança e produção.
• 3:42
  Para a gente entender, é quando a gente tem uma tentativa de
• 3:44
  injetion, quando está tendo um vazamento, quando está tendo uma
• 3:47
  alucinação, enfim, como está, o sentimento está neutro, está
• 3:50
  positivo, negativo por aí vai.