Latest / IA por IAs / Você Confiaria seus Exames ao ChatGPT? A Verdade Sobre o "Modo Saúde"

Transcript

Você Confiaria seus Exames ao ChatGPT? A Verdade Sobre o "Modo Saúde" · IA por IAs

• 0:03
  Fala pessoal, sejam muito bem vindos a mais um episódio do
• 0:06
  iapuriás. Hoje o assunto é sensível,
• 0:09
  importante e mexe com 2 coisas que todo mundo valoriza muito,
• 0:13
  saúde e privacidade de dados, porque a pauta é o ChatGPT
• 0:17
  health, o produto de saúde da OpenAI, que já estreia cercado
• 0:21
  de dúvidas sobre segurança e lacunas de privacidade.
• 0:25
  É quando a gente fala de IA dando palpite em exame, ajudando
• 0:29
  a interpretar histórico médico e ao mesmo tempo, coletando um
• 0:32
  Monte de informação supersensível.
• 0:34
  O nível de responsabilidade sobe muito.
• 0:37
  O ChatGPT health foi lançado nos Estados Unidos como uma área
• 0:41
  dedicada dentro do ChatGPT, pensada para analisar registros
• 0:45
  médicos, exames e anotações clínicas e devolver explicações
• 0:49
  em linguagem simples. Eu sou o Humberto Silva.
• 0:53
  E eu sou a Kátia Santos. Antes da gente destrinchar o que
• 0:56
  esse produto faz e os problemas que estão aparecendo, já faz
• 1:00
  aquele combo se inscreve no IA por IAS no seu app de áudio e
• 1:04
  ativa as notificações para acompanhar os próximos episódios
• 1:07
  sobre IA, regulação e esse choque entre tecnologia e vida
• 1:12
  real. Então, vamos lá, o que é
• 1:14
  exatamente o ChatGPT health? A open i criou um espaço
• 1:18
  separado dentro do ChatGPT, que funciona como um modo saúde.
• 1:22
  A promessa é que ele consiga ler exames, relatórios de consultas,
• 1:26
  resumos de internação, ficha de pronto Socorro e transformar
• 1:30
  isso em explicações mais amigáveis, com alertas,
• 1:33
  perguntas para o paciente levar ao médico e até sugestões de
• 1:37
  temas para discutir na consulta. Segundo a própria open i, essa
• 1:41
  parte de saúde roda em um ambiente isolado, com
• 1:45
  criptografia própria, memória separada do resto das conversas
• 1:49
  e sem usar esses dados para treinar os modelos principais.
• 1:53
  Eles batem muito na tecla de que conversas de saúde ficam
• 1:57
  compartimentalizadas e não se misturam com o chat normal.
• 2:01
  Só que, como quase tudo em tecnologia, o capeta está nos
• 2:04
  detalhes. Primeiro ponto, o ChatGPT health
• 2:07
  não transforma a OpenAI em prestadora de serviço de saúde,
• 2:11
  ou seja, as regras mais rígidas da legislação de dados médicos.
• 2:15
  Tipo a ripa nos Estados Unidos. Não se aplicam da mesma forma.
• 2:19
  É isso. Vários especialistas estão
• 2:21
  lembrando que quando a pessoa joga o próprio prontuário médico
• 2:25
  num chat, bote que não é um hospital, não é um plano de
• 2:28
  saúde, ela está saindo da zona protegida.
• 2:31
  Legalmente, se houver vazamento, o usuário não tem as mesmas
• 2:35
  garantias que teria dentro de um sistema de saúde tradicional.
• 2:39
  E tem outro detalhe, mesmo que a open AE prometa não usar as
• 2:43
  conversas de saúde para treinar modelo.
• 2:45
  Ainda existe aquela camada contratual?
• 2:47
  Você está confiando na política da empresa, não no arcabouço de
• 2:51
  lei específico de dados de saúde, como alguns professores
• 2:55
  de saúde digital tem destacado. Além da privacidade, tem o
• 2:59
  problema da qualidade da resposta.
• 3:01
  O ChatGPT realf é construído em cima de modelos de linguagem que
• 3:05
  já mostraram em vários estudos uma tendência a alucinar,
• 3:09
  misturar evidências e, às vezes apresentar como certeza coisas
• 3:13
  que são no mínimo duvidosas. Tem pesquisa mostrando que
• 3:16
  quando você coloca mais evidência no prompt, o
• 3:19
  desempenho pode até cair, porque o modelo se confunde com o
• 3:22
  excesso de informação e isso, num contexto de saúde, é
• 3:26
  especialmente tenso. Um estudo recente e avaliando
• 3:29
  respostas médicas do ChatGPT mostra que ele até acerta uma
• 3:33
  boa parte das orientações, mas está bem longe de ser algo
• 3:37
  confiável o suficiente para substituir ou igualar um médico.
• 3:41
  O risco é a pessoa achar que está falando com um médico
• 3:44
  virtual e seguir recomendações sem checar.
• 3:47
  E tem um fenômeno que os pesquisadores chamam de viés de
• 3:50
  automação, a tendência das pessoas a confiar demais na
• 3:54
  resposta da máquina, mesmo quando está errada.
• 3:57
  Em testes, gente avaliou respostas médicas geradas por IA
• 4:01
  como tão confiáveis quanto as de médicos humanos, mesmo quando a
• 4:05
  IA estava objetivamente errada. Isso cria uma combinação
• 4:09
  perigosa, dados sensíveis, regulação frouxa e um sistema
• 4:13
  que soa muito convincente. A própria opineai já teve que
• 4:17
  lidar com críticas ligando respostas do ChatGPT a episódios
• 4:21
  graves de saúde mental, quando faltaram controles de segurança.
• 4:25
  Sem falar na questão dos vieses. Modelos treinados em dados
• 4:29
  históricos de saúde podem reproduzir desigualdades,
• 4:33
  subestimar risco em determinados grupos, errar mais com minorias.
• 4:37
  E isso tudo tem sido documentado em revisões sobre IA em saúde.
• 4:42
  Se o ChatGPT health não for bem calibrado, corre o risco de
• 4:46
  perpetuar essas distorções. Agora, costuma ser aqui que
• 4:50
  alguém pergunta, tá, mas então ninguém deve usar a resposta não
• 4:54
  é tão binária. Tem gente defendendo que, se
• 4:56
  usado como ferramenta de apoio para traduzir jargão médico,
• 5:00
  organizar perguntas para o médico, revisar instruções de
• 5:04
  alta hospitalar, o ChatGPT health pode ajudar bastante.
• 5:08
  Imagina alguém que sai do consultório com um laudo cheio
• 5:11
  de siglas? Se a pessoa usa o ChatGPT health
• 5:14
  só para traduzir e entender o básico antes de voltar ao
• 5:18
  médico, já é uma ajuda, e a própria open i vende o produto
• 5:22
  mais como um assistente de informação do que como um
• 5:26
  diagnosticador oficial. Mas aí entra a pergunta que a
• 5:29
  gente quer jogar para você que está ouvindo?
• 5:31
  Você confiaria seus exames, seu prontuário completo para um
• 5:35
  chatbote, como o ChatGPT health, em troca de respostas mais
• 5:38
  detalhadas? Ou você acha que isso passa do
• 5:41
  limite do confortável? Pensa com carinho e comenta lá
• 5:44
  no nosso canal, porque esse debate vai ditar muita coisa nos
• 5:47
  próximos anos. É, conta pra gente onde você
• 5:51
  traça a linha, consultar dica de bem-estar.
• 5:54
  Tudo bem, mandar laudo de ressonância já não nasce ou você
• 5:57
  é mais radical? Essa divisão de Fronteira é algo
• 6:00
  que especialistas estão discutindo.
• 6:02
  Tem gente que acha aceitável falar de sono, alimentação,
• 6:06
  exercício, mas subir PDF de prontuário já seria demais.
• 6:11
  Voltando para os problemas práticos, um risco grande é
• 6:14
  médico usando o ChatGPT em contexto clínico, sem gardy
• 6:18
  rail. Já tinha estudo e reportagem
• 6:20
  mostrando profissionais copiando e colando dados de pacientes no
• 6:24
  ChatGPT normal, violando regras de privacidade, porque o serviço
• 6:28
  não é considerado compatível com ripa.
• 6:31
  Exato, teve instituição de saúde sendo alertada que ao colocar
• 6:35
  informações identificáveis de paciente em sistemas como o
• 6:38
  ChatGPT. Isso pode ser considerado
• 6:41
  vazamento de dados com riscos legais e financeiros.
• 6:45
  Agora, com o ChatGPT health, a promessa é reduzir esse problema
• 6:49
  com uma área isolada, mas ainda não é um sistema oficialmente
• 6:53
  regulado como prontuário médico eletrônico.
• 6:56
  Outro ponto que vem sendo levantado é.
• 6:58
  Quem é responsável se o ChatGPT relf errar feio?
• 7:02
  Hoje, órgãos como FD ainda tratam muitas dessas e as
• 7:06
  conversacionais como ferramentas de informação geral, não como
• 7:10
  dispositivos médicos com regulação dura.
• 7:13
  Isso cria uma zona cinza, a opna e colhe o benefício do uso.
• 7:17
  Mas o risco jurídico pode cair em quem usou a recomendação sem
• 7:20
  filtro. E aí você soma isso ao fato de
• 7:24
  que muita gente já consulta o ChatGPT sobre saúde tem dado
• 7:28
  dizendo que mais de 200000000 de usuários perguntam sobre
• 7:32
  bem-estar e saúde cada semana e entende porque a empresa quis
• 7:36
  criar um modo saúde. A intenção é conter um problema,
• 7:40
  mas ao mesmo tempo ela formaliza esse uso.
• 7:43
  Um cenário possível é o seguinte.
• 7:45
  Clínicas e hospitais começam a testar o ChatGPT healthing back
• 7:49
  Office para resumir prontuários, escrever cartas a pacientes,
• 7:53
  organizar informações, mas mantendo os dados anonimizados
• 7:57
  ou passando por filtros de compliance.
• 8:00
  Só que a linha entre apoio administrativo e influência em
• 8:03
  diagnóstico é bem fina. Por isso, várias orientações de
• 8:07
  especialistas batem na mesma tecla.
• 8:10
  Qualquer uso de IA em saúde tem que ser acompanhado de
• 8:13
  protocolos claros, revisão humana obrigatória e,
• 8:17
  idealmente, registros do que foi gerado pela IA para auditoria
• 8:21
  Futura. IA não pode virar atalho para
• 8:24
  economizar tempo às custas de segurança.
• 8:27
  E tem a parte comportamental do usuário comum.
• 8:30
  Aquele caso clássico, a pessoa acorda mal antes de ligar para o
• 8:34
  médico, joga tudo no chatbot, recebe uma resposta bem escrita,
• 8:38
  com cara de artigo de site confiável e acha que resolveu
• 8:41
  esse risco de auto serviço com excesso de confiança é real.
• 8:45
  Os estudos mostram que, mesmo quando a acurácia é moderada
• 8:49
  tipo metade ou 2/3 das respostas médicas consideradas corretas, o
• 8:54
  tom seguro do modelo faz as pessoas superestimarem a
• 8:57
  qualidade das respostas. E saúde não é lugar para esse
• 9:01
  tipo de loteria. Dito isso, também seria em
• 9:04
  nogeenagem achar que dá para proibir esse tipo de ferramenta.
• 9:07
  A questão tende a ser como regular, como informar o
• 9:11
  usuário, como criar uma etiqueta básica de uso, por exemplo,
• 9:15
  sempre checar com o profissional, nunca tomar
• 9:17
  decisão de emergência com base só no chatbot, nunca mandar dado
• 9:21
  identificável sem entender o risco.
• 9:24
  E preparar médicos e profissionais de saúde para
• 9:27
  lidarem com pacientes que já chegam na consulta.
• 9:30
  Com o relatório do ChatGPT health na mão, isso vai
• 9:33
  acontecer. A diferença é se o profissional
• 9:36
  vai reagir com rejeição completa ou vai usar isso como ponto de
• 9:40
  partida para explicar melhor o quadro, corrigir o que tiver
• 9:43
  errado. Então, para a gente ir
• 9:45
  caminhando para o final, a provocação que fica é, você acha
• 9:49
  que no futuro próximo, vamos olhar para o ChatGPT health como
• 9:52
  um avanço importante na democratização da informação em
• 9:55
  saúde ou como um experimento arriscado que passou do ponto em
• 9:59
  termos de dados e responsabilidade?
• 10:02
  Conta para gente a sua visão e compartilha esse episódio com
• 10:05
  aquele amigo que vive mandando print de conversa com o IA
• 10:08
  perguntando se posso jogar esse exame aqui no chat.
• 10:11
  Quanto mais gente participar desse debate, melhor.
• 10:15
  Valeu demais por ouvir OEA por iás.
• 10:17
  Não esquece de seguir o podcast no seu app, ativar as
• 10:20
  notificações e ficar de olho nos próximos episódios, porque esse
• 10:24
  tema ainda vai render bastante. A gente se vê no próximo
• 10:27
  episódio com mais histórias, tendências e dilemas desse
• 10:31
  universo da inteligência artificial.
• 10:33
  Um abraço pessoal, até a próxima.
• 10:35
  Tchau, gente.