Latest / Os Agilistas / Por que a disputa médico x IA é um erro estratégico

Transcript

Por que a disputa médico x IA é um erro estratégico · Os Agilistas

• 0:03
  Quando você trabalha em projeto CDLM, sempre vai haver falhas.
• 0:06
  São falhas. Então o mais importante é você
• 0:08
  criar uma camada por trás para mitigar e para minimizar a
• 0:12
  capacidade dessas falhas. Então, uma das coisas que eu
• 0:14
  achei mais interessantes do projeto é que não foi só criar
• 0:17
  uma engenharia de prompts por trás, então criar toda aquela
• 0:19
  esteira de LL miops por trás de você conseguir criar aquele
• 0:23
  controle de qualidade constante, é porque de repente eu estou,
• 0:27
  criei todo o meu projeto. Agora, às vezes eu faço uma
• 0:29
  aquisição. Como uma marca ou troco o jeito
• 0:31
  do radioester ao dar. Pode ser que a minha performance
• 0:34
  caia, sim, pode ser que a minha extração já não funcione.
• 0:36
  E aí criar essa camada de checagem constante da qualidade
• 0:41
  dos laudos, tanto de forma automatizada, mas também de
• 0:45
  tempos em tempos. O especialista ali, o médico,
• 0:47
  olhar e ver a qualidade da extração faz muita diferença.
• 0:51
  E aí você vai fazendo alguns ajustes de rota ali no meio do
• 0:54
  caminho. Mas assim, em relação à
• 0:56
  capacidade, era ele me extrair esse tipo de de dado.
• 0:59
  Eu vou te falar, performance. É muito boa e você não fica
• 1:02
  surpreso, LLM você consegue também misturar outras camadas
• 1:06
  ali, não só de LLM, você consegue fazer alguma algumas
• 1:09
  regras heurísticas misturado com o fluxo de LLM, é.
• 1:11
  Complementar o modelo, né? Você consegue resolver boa parte
• 1:14
  das possíveis situações de potencial.
• 1:17
  Erro, né? Vou te dar um exemplo, um
• 1:18
  exemplo que a gente começou a ter dificuldade no começo,
• 1:20
  inclusive foi um falso alarme que a gente teve no comecinho do
• 1:22
  projeto, que ensinou muito pra gente.
• 1:24
  A gente criou toda a estrutura de alertas e tal.
• 1:27
  E aí estava performando muito bem.
• 1:29
  Aí a gente gerou. Um alerta que tinha uma
• 1:31
  recomendação muito específica, mas era um achado claramente
• 1:34
  infecioso, que dava dúvidas se era uma infeção ou se era um
• 1:38
  nódulo de câncer. E o nosso sistema que a gente
• 1:41
  queria só casos que realmente fossem nódulos que não tivesse
• 1:43
  muita dúvida de infeção. Nosso sistema gerou o alerta.
• 1:46
  Na prática, o impacto negativo disso é mínimo.
• 1:49
  Assim, tudo bem, você gerou um alerta, a pessoa tinha que fazer
• 1:52
  de fato o retorno, mas era um retorno mais para controlar uma
• 1:54
  infeção e não um nódulo, um nódulo suspeito para câncer.
• 1:58
  Mas aí a gente, OPA, pegamos aqui uma nuan.
• 2:00
  Lance que a gente não tinha pensado no começo do projeto e a
• 2:03
  gente revisitou o prompt, revisitou todo coisa que
• 2:06
  criamos, já outra regra ali no meio e a gente conseguiu.
• 2:09
  Nosso sistema já não, já não entra nessa.
• 2:11
  E era uma nuance de relatório, onde estava descrito nódulo,
• 2:14
  podia ser, podia ser tomou, mas podia ser infeção, mas era um
• 2:17
  pouco mais para infeção do que para tomar a hipótese.
• 2:20
  E aí a gente conseguiu pegar essa esse detalhe, né?
• 2:22
  E é legal também complementar essa situação aí que o doutor
• 2:25
  Bruno falou que eu lembro que quando a gente achou esse caso,
• 2:28
  foi até um médico. O que relatou, né?
• 2:30
  Porque como a gente fez o produto também para melhorar o
• 2:33
  relacionamento médico do Fleury. Então hoje o Fleury, ele tem
• 2:37
  essas notificações, mas geralmente quem são ativados são
• 2:40
  os médicos, então os médicos. Clínicos, você falou?
• 2:42
  É os clínicos. Que indicou o exame?
• 2:44
  Exato. Porque aí ele vai ter essa
• 2:46
  capacidade, às vezes, de ver se se aquilo realmente faz sentido
• 2:50
  ou não. E, posteriormente, ele ativa o
• 2:52
  paciente. Em alguns casos, a gente ativa o
• 2:54
  paciente diretamente, mas em outros casos quem é ativado é o
• 2:57
  médico. Então, com isso, a gente
• 2:58
  reforçou também a. Ação médica do Fleury com os
• 3:02
  médicos que são prescritores, né?
• 3:04
  De exame é, você está? Prestando mais um serviço, né?
• 3:06
  E tem. E a gente garante também mais a
• 3:08
  uma Barreira, né? Que a gente não dispara para o
• 3:10
  paciente, sim, a gente dispara para o médico.
• 3:12
  O médico faz avaliação e ativa o paciente.
• 3:14
  Então, além da nossa Barreira de de teste, que a gente garante
• 3:18
  que o que ALLN gerou realmente está no laudo, pra gente
• 3:21
  garantir que aquela não alucinou a gente tem também essa outra
• 3:24
  Barreira, que é o médico prescritor, garantir que aquilo
• 3:27
  dali realmente faça sentido para ele ativar o paciente, não sei.
• 3:30
  Já existe uma revisão contínua, né?
• 3:31
  Do dessa ativação e além disso tem essa Barreira.
• 3:34
  Existem uma alguns casos que o paciente é ativado direto.
• 3:37
  Isso onde seria? Isso é.
• 3:38
  São outras linhas, né? Então, assim, caso de
• 3:40
  mamografia? Ah.
• 3:42
  Tá, não é especificamente? Isso do nódulo não, que aí no
• 3:45
  caso mamografia e o paciente é ativar é onde?
• 3:47
  A comunicação é menos crítica, tal.
• 3:49
  Exatamente. E aí?
• 3:50
  Interessante, porque esse tipo de projeto de garantia à jornada
• 3:54
  do paciente, ela não tem uma receita de bolo única.
• 3:56
  Depende muito da situação. Então, por exemplo, esse caso do
• 3:59
  ativação do. O nódulo pulmonar faz mais
• 4:01
  sentido ser uma comunicação com o médico solicitante, porque é
• 4:05
  um risco e o médico vai interpretar baseado em outras
• 4:08
  coisas. De fato é que às vezes não é.
• 4:10
  O paciente. Que conhece o paciente, se ele
• 4:12
  precisa voltar ou não. Agora, por exemplo, Ah, um
• 4:14
  paciente em atraso para rastreamento de mamografia não
• 4:17
  tem dúvida de que a paciente tem que estar de volta e tudo mais.
• 4:21
  E aí você precisa analisar algumas coisas do passar dela
• 4:23
  para saber se ela já teve. Por exemplo, você não vai fazer
• 4:25
  uma ativação. A regra é muito cara, a paciente
• 4:27
  precisa voltar todo ano para fazer mamografia, mas às vezes
• 4:29
  você não precisa fazer. Fazer dependendo do contexto
• 4:31
  clínico, se ela já teve câncer no passado, o jeito dela já
• 4:33
  está, pode ser um pouco diferente.
• 4:35
  Então a gente já usa LLM pra triar outras situações ali.
• 4:38
  E aí essa esse tipo de estivação já é mais interessante, ser
• 4:41
  direto com o paciente e não com o médico solicitante.