La inteligencia artificial promete ser una herramienta poderosa para mejorar la velocidad y precisión de la toma de decisiones médicas para mejorar los resultados de los pacientes. Desde el diagnóstico de enfermedades hasta la personalización del tratamiento y la predicción de complicaciones de la cirugía, la IA podría convertirse en una parte integral de la atención del paciente en el futuro como lo son hoy las pruebas de diagnóstico por imágenes y de laboratorio.
Pero, investigadores de la Universidad de Washington han descubierto que los modelos de IA, como los humanos, tienden a buscar atajos. En el caso de la detección de enfermedades asistida por IA, estos atajos podrían dar lugar a errores de diagnóstico si se implementan en entornos clínicos.
Concretamente, los investigadores han examinado varios modelos presentados recientemente como herramientas potenciales para detectar con precisión el COVID-19 en la radiografía de tórax, también conocida como radiografía de tórax. El equipo descubrió que, en lugar de aprender una patología médica genuina, estos modelos se basan en el aprendizaje de atajos para establecer asociaciones falsas entre factores médicamente irrelevantes y el estado de la enfermedad.
Aquí, los modelos ignoraron los indicadores clínicamente significativos y, en cambio, se basaron en características como los marcadores de texto o la posición del paciente que eran específicas de cada conjunto de datos para predecir si alguien tenía COVID-19.
Los modelos ignoraron los indicadores clínicamente significativos y, en cambio, se basaron en características como los marcadores de texto o la posición del paciente
"El aprendizaje de atajos es menos sólido que la patología médica genuina y generalmente significa que el modelo no se generalizará bien fuera del entorno original", han señalado los investigadores.
El equipo utilizó estas mismas técnicas para evaluar la confiabilidad de los modelos recientemente promocionados por parecer que identifican con precisión los casos de COVID-19 a partir de radiografías de tórax. A pesar de una serie de artículos publicados que anuncian los resultados, los investigadores sospecharon que algo más podría haber estado sucediendo dentro de la caja negra que llevó a las predicciones de los modelos.
Específicamente, el equipo razonó que estos modelos serían propensos a una condición conocida como "confusión del peor de los casos", debido a la falta de datos de entrenamiento disponibles para una enfermedad tan nueva. Este escenario aumentó la probabilidad de que los modelos se basen en atajos en lugar de aprender la patología subyacente de la enfermedad a partir de los datos de entrenamiento.
LA PRECISIÓN SE REDUJO A LA MITAD
El equipo entrenó múltiples redes neuronales convolucionales profundas en imágenes de rayos X de un conjunto de datos que replicaba el enfoque utilizado en los artículos publicados. Primero, probaron el rendimiento de cada modelo en un conjunto interno de imágenes de ese conjunto de datos inicial que se había ocultado de los datos de entrenamiento. Luego, los investigadores probaron qué tan bien se desempeñaron los modelos en un segundo conjunto de datos externo destinado a representar nuevos sistemas hospitalarios.
Si bien los modelos mantuvieron su alto rendimiento cuando se probaron en imágenes del conjunto de datos interno, su precisión se redujo a la mitad en el segundo conjunto.
Los investigadores entrenaron los modelos en un segundo conjunto de datos, que contenía casos de COVID-19 positivos y negativos extraídos de fuentes similares y, por lo tanto, se presume que es menos propenso a generar confusión. Pero incluso esos modelos exhibieron una caída correspondiente en el rendimiento cuando se probaron con datos externos.
No obstante, pese a las preocupaciones planteadas por los hallazgos del equipo, es poco probable que los modelos que el equipo estudió se hayan implementado ampliamente en el entorno clínico. Si bien hay evidencia de que al menos uno de los modelos defectuosos, COVID-Net, se implementó en varios hospitales, no está claro si se usó con fines clínicos o únicamente para investigación.