Aprimorando modelos preditivos de assistência médica com IA generativa
Um estudo de caso sobre detecção de pneumonia e estadiamento do câncer
Visão geral do projeto
No domínio de rápido avanço da assistência médica, empregar IA generativa, particularmente Large Language Models (LLMs), para prever estados de doenças a partir de relatórios clínicos marca um salto considerável. O cliente, um pioneiro em análise de saúde, embarcou em uma missão para refinar seus modelos de previsão de condições de doenças. Ao alavancar o banco de dados MIMIC CXR de código aberto e incorporar previsões de IA generativa para análise inicial, seguidas de validação manual com o Label Studio, o objetivo era aumentar a precisão e a confiabilidade do modelo para análises de relatórios clínicos, especialmente relatórios de radiologia.
Desafios
A integração de previsões generativas de IA em fluxos de trabalho de saúde apresentou vários desafios:
Acesso a Dados e Segurança
Garantir o acesso a conjuntos de dados médicos de código aberto e de alta qualidade, como o MIMIC-CXR, exigiu um rigoroso processo de credenciamento, garantindo a conformidade com os padrões de privacidade e éticos.
Precisão da previsão
Os resultados iniciais dos modelos de IA generativa ocasionalmente exibiam imprecisões nas previsões de condições de doenças, exigindo verificações manuais para maior precisão.
Identificação de estados de doenças complexas
Classificar com precisão os estados de doenças a partir da linguagem diferenciada dos relatórios clínicos, especialmente ao usar IA generativa, representou um obstáculo significativo.
Qualidade da anotação
Garantir anotações precisas e de alta qualidade na ferramenta Label Studio exigia conhecimento especializado e compreensão de estados de doenças médicas.
Solução
Shaip empregou uma estratégia abrangente para enfrentar esses desafios:
- Credenciamento simplificado: A equipe conduziu rapidamente o processo de credenciamento para acesso ao MIMIC-CXR, demonstrando eficiência e comprometimento com práticas éticas de pesquisa.
- Desenvolvimento de Diretrizes: Desenvolveu diretrizes detalhadas para validadores manuais para garantir consistência e qualidade na anotação de previsões de LLM.
- Anotações de especialistas sobre previsões de IA: Empregou validação manual meticulosa e correção de previsões de LLM usando o Label Studio, apoiado por experiência médica.
- Métricas de Desempenho: Por meio de análises detalhadas, Shaip calculou as métricas de desempenho do LLM, como concordância, precisão, recall e pontuação F1, permitindo melhoria contínua.
Resultado
- Precisão aprimorada na previsão de condições de doenças a partir de relatórios de radiologia.
- Desenvolvimento de uma verdade fundamental de alta qualidade conjunto de dados para desenvolvimento futuro de produtos e avaliação de previsões de IA generativa.
- Melhor compreensão de identificação do estado da doença, facilitando previsões mais confiáveis.
Caso de uso 1: Validação do modelo de aprendizado de máquina
Cenário: Melhorando a precisão da previsão de pneumonia com IA generativa Neste caso, um modelo de IA generativa examinou relatórios de raio-X de tórax para detectar sinais de pneumonia. Um relatório observando "Aumento da opacidade no lobo inferior direito, sugestivo de um processo infeccioso" levou a uma classificação inicial de "Incerto" pela IA devido à formulação ambígua do relatório.
Processo de validação:
- Um especialista médico examinou o relatório no Label Studio, concentrando-se no texto destacado pela IA.
- Avaliando o contexto clínico e aplicando o conhecimento radiológico, o perito reclassificou o laudo como “Positivo” definitivo para pneumonia.
- Essa correção especializada foi integrada novamente ao modelo de IA, facilitando seu aprendizado e refinamento contínuos.
Resultados:
- Precisão do modelo aprimorada
- Melhorando a precisão e a recuperação das métricas de desempenho
Caso de uso 2: gerar conjunto de dados de verdade básica
Cenário: Elaboração de um conjunto de dados de referência para estadiamento TNM do câncer com IA generativa
Visando avançar no desenvolvimento de produtos de progressão do câncer, o cliente buscou montar um conjunto de dados abrangente de verdade básica. Esse conjunto de dados serviria de referência para o treinamento e a avaliação de novos modelos de IA para prever com precisão o estadiamento TNM do câncer a partir de narrativas clínicas.
Processo de geração de conjunto de dados:
- Foi coletado um amplo espectro de relatórios relacionados ao câncer, incluindo achados patológicos e visões gerais de diagnóstico.
- O modelo de IA generativa forneceu previsões iniciais de estadiamento TNM para cada relatório, aproveitando seus padrões e conhecimento aprendidos.
- Profissionais médicos revisaram essas previsões geradas por IA para verificar a precisão, corrigindo erros e complementando informações em casos de previsões de IA incompletas ou incorretas.
Resultados:
- Criação de um conjunto de dados de alta qualidade e confiáveis.
- Fundação para Produtos Futuros para refinamento de modelos de última geração em diagnóstico e estadiamento de câncer.
Trabalhar com Shaip revolucionou nossa abordagem para predição de doenças. A precisão e a confiabilidade de nossos modelos melhoraram significativamente com anotações realizadas pelos especialistas de domínio de Shaip. Graças ao seu meticuloso processo de validação.
