Un grupo de investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), perteneciente al prestigioso MIT, ha decidido adoptar un enfoque automatizado para interpretar modelos de visión artificial que evalúen diferentes propiedades de las imágenes. Para ello, han desarrollado ‘MAIA’ (Multimodal Automated Interpretability Agent), un sistema que automatiza una variedad de tareas de interpretación de redes neuronales utilizando una estructura básica de modelos de visión y lenguaje equipados con herramientas para experimentar en otros sistemas de IA.
“Nuestro objetivo es crear un investigador de IA que pueda realizar experimentos de interpretabilidad de forma autónoma. Los métodos existentes simplemente etiquetan o visualizan datos en un proceso de una sola vez. Por otro lado, MAIA puede generar hipótesis, diseñar experimentos para probarlas y refinar su comprensión a través del análisis iterativo”, explica Tamar Rott Shaham, doctor de ingeniería eléctrica y ciencias de la computación (EECS) del MIT en CSAIL y coautor de un nuevo artículo sobre la investigación .
Según explican los investigadores, el agente automatizado ha demostrado abordar tres áreas clave: etiqueta los componentes individuales dentro de los modelos de visión y describe los conceptos visuales que los activan; limpia los clasificadores de imágenes eliminando características irrelevantes; y busca sesgos ocultos en los sistemas de IA para ayudar a descubrir posibles problemas de imparcialidad en sus resultados.
MAIA hace experimentos, formula hipótesis y llega a conclusiones basadas en los resultados
Como ejemplo, los investigadores del MIT muestran un usuario humano le pide a MAIA que describa los conceptos que una neurona en particular dentro de un modelo de visión es responsable de detectar. Para investigar esta cuestión, MAIA primero utiliza una herramienta que recupera "ejemplares de conjuntos de datos" del conjunto de datos ImageNet, que activan al máximo la neurona.
En resumen, MAIA utiliza un método científico para entender cómo funciona una parte muy pequeña de un modelo de IA. De manera muy similar a la que un científico en un laboratorio, MAIA hace experimentos, formula hipótesis y llega a conclusiones basadas en los resultados.
Las explicaciones de MAIA sobre el comportamiento de las neuronas se evalúan de dos maneras clave. En primer lugar, se utilizan sistemas sintéticos con comportamientos reales conocidos para evaluar la precisión de las interpretaciones de MAIA. En segundo lugar, para las neuronas “reales” dentro de sistemas de IA entrenados sin descripciones reales, los autores diseñan un nuevo protocolo de evaluación automatizada que mide qué tan bien las descripciones de MAIA predicen el comportamiento de las neuronas en datos no vistos.
“Comprender y localizar los comportamientos dentro de los grandes sistemas de IA es una parte clave de la auditoría de la seguridad de estos sistemas antes de su implementación. En algunos de nuestros experimentos, mostramos cómo se puede utilizar MAIA para encontrar neuronas con comportamientos no deseados y eliminar estos comportamientos de un modelo”, comenta la Dra. Sarah Schwettmann, científica investigadora en CSAIL y codirectora de la investigación.
“Creo que el siguiente paso natural para nuestro laboratorio es ir más allá de los sistemas artificiales y aplicar experimentos similares a la percepción humana"
Otro de los puntos en los que se detienen los investigadores es en que si los clasificadores de imágenes mostraban sesgo contra subcategorías particulares de imágenes. Para ello, el equipo examinó la capa final del flujo de clasificación y las puntuaciones de probabilidad de las imágenes de entrada. Para comprender los posibles sesgos en la clasificación de imágenes, se le pidió a MAIA que encontrara un subconjunto de imágenes en clases específicas que probablemente estuvieran etiquetadas incorrectamente por el sistema. En este ejemplo, MAIA descubrió que era probable que las imágenes mencionadas estuvieran mal clasificadas, lo que sugiere un sesgo en el modelo hacia cierto tipo de imágenes.
Como MAIA depende de herramienta externas para diseñar experimentos, su rendimiento se ve claramente influenciado por la calidad de estas. Sin embargo, los autores de la investigación advierte de que a medida que mejoren la calidad de las herramientas como los modelos de síntesis de imágenes también lo hará MAIA.
“Creo que el siguiente paso natural para nuestro laboratorio es ir más allá de los sistemas artificiales y aplicar experimentos similares a la percepción humana. Para probar esto, tradicionalmente se ha requerido diseñar y probar estímulos manualmente, lo que requiere mucho trabajo. Con nuestro agente, podemos ampliar este proceso, diseñando y probando numerosos estímulos simultáneamente. Esto también podría permitirnos comparar la percepción visual humana con sistemas artificiales”, resume Rott Shaham.