Cuando se entrenan para comprender los límites de las estructuras biológicas, los sistemas de IA pueden segmentar regiones de interés que los profesionales quieren monitorear para detectar enfermedades y otras anomalías. Sin embargo, antes de que puedan segmentar con precisión, investigadores y médicos deben etiquetar infinidad de imágenes para entrenarlos.
Ahora, esto podría cambiar gracias a un grupo de investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT, el Hospital General de Massachusetts (MGH) y la Facultad de Medicina de Harvard. Con el objetivo de evitar la tediosa recopilación de datos, han desarrollado el marco interactivo “ScribblePrompt”.
"ScribblePrompt es un modelo simple con la eficiencia para ayudar a los médicos a centrarse en las partes más interesantes de su análisis"
“ScribblePrompt es un modelo simple con la eficiencia para ayudar a los médicos a centrarse en las partes más interesantes de su análisis. Es más rápido y más preciso que los métodos de segmentación interactiva comparables, reduciendo el tiempo de anotación en un 28 por ciento en comparación con el marco Segment Anything Model (SAM) de Meta, por ejemplo”, explica la estudiante de doctorado del MIT Hallee Wong, autora principal de un nuevo artículo sobre ScribblePrompt y afiliada de CSAIL.
Se trata de una herramienta flexible que puede ayudar a segmentar rápidamente cualquier imagen médica, incluso tipos que no haya visto antes. Para desarrollarla, el equipo simuló cómo los usuarios anotarían más de 50.000 exploraciones, incluidas resonancias magnéticas, ecografías y fotografías, en estructuras de los ojos, células, cerebros, huesos y piel, entre otras cuestiones.
Con la ayuda de algoritmos, simularon cómo los humanos pulsarían en distintas regiones de las imágenes médicas. Para identificar nuevas regiones potenciales de interés para los investigadores médicos, el equipo utilizó algoritmos de superpíxeles. De este modo, entrenaron a ScribblePrompt para segmentarlas.
En concreto, ScribblePrompt fue entrenado en garabatos simulados en 54.000 imágenes en 65 conjuntos de datos, que incluían exploraciones de los ojos, el tórax, la columna vertebral, las células, la piel, los músculos abdominales, el cuello, el cerebro, los huesos, los dientes y las lesiones. El modelo se familiarizó con 16 tipos de imágenes médicas, incluidas microscopías, tomografías computarizadas, radiografías, resonancias magnéticas, ecografías y fotografías.
“La mayoría de los algoritmos de segmentación que se han desarrollado en el análisis de imágenes y el aprendizaje automático se basan, al menos en cierta medida, en nuestra capacidad para anotar imágenes manualmente”
“La mayoría de los algoritmos de segmentación que se han desarrollado en el análisis de imágenes y el aprendizaje automático se basan, al menos en cierta medida, en nuestra capacidad para anotar imágenes manualmente”, dice Bruce Fischl, profesor de radiología de la Facultad de Medicina de Harvard y neurocientífico de MGH, que no participó en el artículo.
Sin embargo, “el problema es peor en las imágenes médicas en las que nuestras 'imágenes' son típicamente volúmenes 3D, ya que los seres humanos no tienen ninguna razón evolutiva o fenomenológica para tener alguna competencia en la anotación de imágenes 3D”, añade. ScribblePrompt permite que la anotación manual se realice de un modo más rápido y preciso, al entrenar una red en los tipos de interacciones que un humano normalmente tendría con una imagen al realizar anotaciones manuales.
“El resultado es una interfaz intuitiva que permite a los anotadores interactuar de forma natural con los datos de imágenes con una productividad mucho mayor de lo que era posible anteriormente”, concluye el experto. Dicha interfaz es sencilla, y los usuarios pueden hacer garabatos sobre el área rugosa que desean segmentar para que la herramienta resalte la estructura o el fondo según lo solicitado. Además, la herramienta puede hacer correcciones en base a los comentarios del usuario.