IBM interpreta modelos de máquina con el kit de explicación de IA

IBM ha introducido un conjunto de herramientas de código abierto para ayudar a los humanos a interpretar el proceso de toma de decisiones de los modelos de aprendizaje automático.

Los modelos de aprendizaje automático han ganado fuerza en muchos casos de uso, como el procesamiento de solicitudes de préstamos, y también son cada vez más precisos. Sin embargo, es posible que los usuarios finales que interactúan con estos sistemas no comprendan necesariamente cómo funcionan los modelos.

A medida que estos sistemas proliferan, es importante que confíen en las decisiones de esos sistemas. ¿Podemos esperar aceptar resultados si un sistema de decisiones basado en aprendizaje automático deniega préstamos bancarios, identifica personas a partir de imágenes como posibles sospechosos, apunta a personas para medidas adicionales de seguridad o detección de fraude, o impacta vidas de otra manera? No se puede confiar en una IA poco fiable.

El desafío es que los algoritmos de aprendizaje automático más poderosos que se utilizan en la actualidad, especialmente el aprendizaje profundo, son esencialmente una caja negra. Una vez que se ha tomado una decisión, no hay forma de examinar exactamente por qué se tomó una decisión para ese resultado en particular.

«En lo que estamos trabajando es en aumentar la confianza que la gente tiene en los sistemas haciéndolos más explicables», dijo Kush Varshney, miembro del personal de investigación y gerente de IBM Research AI en el Centro de Investigación Thomas J. Watson de la compañía en Yorktown Heights. , NY.

El objetivo de IBM es ayudar a superar este síndrome de caja negra con el kit de herramientas AI Explainability 360. Cuenta con algoritmos para el razonamiento basado en casos, reglas directamente interpretables y explicaciones locales y globales post-hoc. Es una extensión y mejora de la plataforma Watson OpenScale que IBM lanzó el año pasado. También está relacionado con la herramienta IBM Fairness, lanzada el año pasado, diseñada para abordar el sesgo de IA.

En el panorama general, AI Explainability 360 es un «traductor universal» para los procesos y la toma de decisiones de AI, un conjunto de herramientas con una interfaz común para respaldar todas las diferentes formas de explicar cómo funcionan los modelos de máquinas de AI y por qué toman decisiones particulares, dijo Charles. King, analista de Pund-IT, una empresa de investigación de TI con sede en Hayward, California.

Ronald Schmelzer

El enfoque de IBM no apunta específicamente a resolver la «inexplicabilidad inherente» de los algoritmos de aprendizaje profundo ampliamente utilizados, sino que proporciona algunas vías para ayudar a los usuarios finales a comprender cómo se aplica la inteligencia artificial a una decisión que los impacta, dijo Ronald Schmelzer, analista de Cognilytica en Ellicott City, Maryland, una consultora de investigación que se centra en la IA.

Por ejemplo, estas vías pueden llevar al usuario a árboles de decisión, modelos directamente interpretables o explicaciones post-hoc de cómo el sistema llegó a una decisión en particular. El sistema también puede proporcionar un razonamiento basado en casos para las opciones de muestreo de datos, explicar por qué se eligieron características específicas y proporcionar ejemplos de capacitación para el usuario final.

«[IBM is] tratando de abordar este problema como un conjunto de herramientas, destinadas al científico de datos, para darles soporte para sus modelos sin tratar de resolver el problema fundamental subyacente de inexplicabilidad para ciertos tipos de algoritmos «, dijo Schmelzer.

Prácticamente todas las tecnologías comerciales han pasado por un proceso similar en el que la jerga común utilizada por los desarrolladores de productos se traduce y normaliza para audiencias más grandes.

El kit de herramientas de inteligencia artificial también es parte del esfuerzo de IBM para hacer que estas técnicas estén disponibles para que la comunidad de desarrolladores las use e integre en sus flujos de trabajo naturales, dijo Varshney. El software, disponible para descargar en GitHub, es extensible, escrito en un paradigma de programación muy similar a scikit-learn, un lenguaje de aprendizaje automático para Python. Incluye tutoriales, cuadernos y casos de uso de muestra que vinieron de los clientes de IBM, dijo Varshney.

La versión inicial contiene ocho algoritmos creados recientemente por IBM Research, además de métricas de la comunidad de desarrolladores que sirven como sustitutos cuantitativos de la calidad de las explicaciones, dijo Aleksandra Mojsilovic, miembro de IBM e investigadora principal del proyecto, en una publicación de blog.

Uno de estos algoritmos, las Reglas de clasificación booleana a través de la generación de columnas, es un método escalable para interpretar directamente el aprendizaje automático. Otro, el Método de Explicaciones Contrastantes, es un método post hoc local que ayuda a explicar por qué ocurrió un evento en lugar de un evento alternativo, una pieza de IA explicable que a menudo los investigadores y profesionales pasan por alto, dijo.

«Prácticamente todas las tecnologías comerciales han pasado por un proceso similar en el que la jerga común utilizada por los desarrolladores de productos se traduce y normaliza para audiencias más grandes», dijo King.