Los proveedores de inteligencia artificial pueden tener que demostrar que los sistemas no discriminan

Regulación vs.Innovación

El Proyecto de Ley del Senado 5116 es «uno de los proyectos de ley más sólidos que hemos visto a nivel estatal» para la regulación de la inteligencia artificial y la transparencia de los algoritmos, según Caitriona Fitzgerald, directora asociada interina y directora de políticas del Centro de Información de Privacidad Electrónica (EPIC).

Caitriona Fitzgerald

EPIC es un centro de investigación de interés público sin fines de lucro centrado en proteger la privacidad de los datos de los ciudadanos y las libertades civiles. La organización, con sede en Washington, DC, habla regularmente ante funcionarios gubernamentales sobre temas como la regulación de la IA y presentó una carta en apoyo del Proyecto de Ley del Senado 5116, señalando que es «exactamente el tipo de legislación que debería promulgarse en todo el país».

Fitzgerald dijo que requerir el análisis de modelos de IA y hacer público el proceso de revisión del análisis son pasos críticos para garantizar que los algoritmos de IA se utilicen de manera justa y que las agencias estatales estén más informadas en sus decisiones de compra.

«Hemos visto estos sistemas de evaluación de riesgos y otros sistemas de inteligencia artificial que se utilizan en el sistema de justicia penal en todo el país y ese es un uso realmente perjudicial, es un sistema donde el sesgo y la discriminación ya están ahí», dijo.

También señaló el lenguaje en el proyecto de ley que establece que los algoritmos de IA no se pueden usar para tomar decisiones que afectarían los derechos constitucionales o legales de los ciudadanos de Washington, un lenguaje que EPIC no ha visto en otras leyes estatales.

Por su parte, los proveedores de tecnología y los usuarios empresariales temen y quieren la regulación gubernamental de la IA.

Creen que una regulación estricta puede proporcionar orientación sobre lo que los proveedores de tecnología pueden construir y vender sin tener que preocuparse por demandas y demandas de eliminación. Pero también temen que la regulación reprima la innovación.

El informe «State of AI in the Enterprise» de Deloitte, publicado en 2020, destaca esta dicotomía.

El informe, que contenía respuestas a la encuesta de 2.737 ejecutivos de TI y de líneas de negocio, encontró que el 62% de los encuestados cree que los gobiernos deberían regular en gran medida la IA. Al mismo tiempo, el 57% de las empresas que adoptan la IA tienen preocupaciones «mayores» o «extremas» de que las nuevas regulaciones de IA puedan afectar sus iniciativas de IA. Y otro 62% cree que la regulación gubernamental obstaculizará la capacidad de las empresas para innovar en el futuro.

Si bien el informe no evaluó directamente los pensamientos de los proveedores de tecnología, los usuarios empresariales son los principales clientes de muchos proveedores de inteligencia artificial y dominan sus acciones.

Brandon Purcell

«Hay bancos y uniones de crédito y proveedores de atención médica que, en algunos casos, están construyendo su propia IA con sus propios equipos internos de ciencia de datos o están aprovechando las herramientas de los actores tecnológicos, por lo que eventualmente todos los que adoptan y usan la IA van a estar sujeto a un proyecto de ley como este «, dijo el analista principal de Forrester Research, Brandon Purcell.

El efecto en los proveedores

Proporcionar pruebas de que los modelos de IA no son discriminatorios significa que los proveedores de IA tendrían que ser mucho más transparentes sobre cómo se entrenaron y desarrollaron los modelos de IA, según Purcell.

«En el proyecto de ley, habla de la necesidad de comprender cuáles fueron los datos de entrenamiento que se utilizaron para crear el modelo», dijo. «Eso es un gran problema porque hoy en día, muchos proveedores de IA pueden simplemente construir un modelo en secreto o en las sombras y luego ponerlo en el mercado. A menos que el modelo se esté utilizando para un caso de uso altamente regulado como la determinación de crédito o algo así, muy pocas personas hacen preguntas «.

Eso podría ser más fácil para los principales proveedores de inteligencia artificial, incluidos Google y Microsoft, que han invertido mucho en inteligencia artificial explicable durante años. Purcell dijo que la inversión en transparencia les sirve ahora como un diferenciador.

En general, el sesgo en un sistema de inteligencia artificial se debe en gran medida a los datos con los que se entrena el sistema.

El modelo en sí «no viene con discriminación incorporada, viene como una especie de lienzo en blanco que aprende de usted y con usted», dijo Alan Pelz-Sharpe, fundador y analista principal de Deep Analysis.

Sin embargo, muchos proveedores venden modelos previamente entrenados como una forma de ahorrarles a sus clientes el tiempo y los conocimientos que normalmente se necesitan para entrenar un modelo. Por lo general, eso no es controvertido si el modelo se usa para, digamos, detectar la diferencia entre una factura y una orden de compra, continuó Pelz-Sharpe.

Sin embargo, un modelo previamente entrenado con datos de constituyentes podría plantear un problema. Un modelo previamente entrenado con datos de una agencia gubernamental pero utilizado por otra podría introducir sesgos.

Si bien un proveedor de tecnología puede implementar un enfoque humano en el circuito para supervisar los resultados y marcar el sesgo y la discriminación en un modelo de IA, al final, el proveedor está limitado por los datos en los que se entrena el modelo y los datos que ejecuta el modelo. sobre.

«En última instancia, depende de las operaciones y no de los proveedores de tecnología» limitar el sesgo, señaló Pelz-Sharpe.

Pero eliminar los datos de sesgo es difícil. La mayoría de las veces, los proveedores de tecnología y los usuarios no saben que existe el sesgo, no hasta que el modelo comienza a arrojar resultados notablemente sesgados, lo que podría llevar bastante tiempo.

Purcell, de Forrester, dijo que un desafío adicional podría consistir en definir qué constituye prejuicio y discriminación. Señaló que hay aproximadamente 22 definiciones matemáticas diferentes de equidad, que podrían afectar la forma en que funcionan los algoritmos para determinar la representación equitativa en las aplicaciones.

«Obviamente, un proyecto de ley como este no puede prescribir cuál es la medida correcta de equidad y probablemente diferirá según la verticalidad y el caso de uso», dijo. «Eso va a ser particularmente espinoso».

Muchos modelos avanzados de aprendizaje profundo son tan complejos que incluso con un elemento humano en el ciclo, es difícil, si no imposible, entender por qué el modelo hace las recomendaciones que hace.

El proyecto de ley sugiere que estos modelos inexplicables no serán aceptables.

«Sin embargo, eso es un desafío en sí mismo, ya que una gran cantidad de productos de IA más nuevos que llegan al mercado se basan en redes neuronales complejas y aprendizaje profundo», dijo Pelz-Sharpe. «Por otro lado, el aprendizaje automático y los sistemas de inteligencia artificial más sencillos y explicables pueden encontrar avances».

Aún así, los datos equilibrados y de alta calidad, junto con una gran cantidad de supervisión humana durante la vida útil de un modelo de IA, pueden ayudar a reducir el sesgo de los datos, indicó.

«Para un proveedor de tecnología, será fundamental que el equipo de consultoría que implemente el sistema trabaje en estrecha colaboración con el proveedor y que el personal del departamento esté adecuadamente capacitado para usar el nuevo sistema», dijo Pelz-Sharpe.

Impacto en los negocios con agencias públicas

Si bien no está claro cómo funcionaría el proyecto de ley en la práctica, podría afectar la forma en que estos proveedores de tecnología hacen negocios con las agencias públicas en Washington, dijo Pelz-Sharpe.

Los estados individuales pueden tener un gran impacto en las políticas cuando actúan.

El proyecto de ley plantea problemas para los proveedores que actualmente trabajan con agencias públicas en particular, ya que requeriría que esos proveedores eliminen la discriminación en sus modelos de IA durante el próximo año.

Según Pelz-Sharpe, eso es algo bueno.

«Algunos sistemas de inteligencia artificial que se utilizan en los gobiernos de todo el mundo no son muy buenos y, a menudo, toman decisiones terribles y discriminatorias», dijo. «Sin embargo, una vez implementados, no han sido cuestionados en gran medida, y una vez que se es un proveedor oficial del gobierno, es relativamente fácil venderlos a otro departamento del gobierno».

De hecho, Fitzgerald de EPIC dijo que, al igual que con la Ley de Privacidad del Consumidor de California, las empresas que contratan agencias en el estado deben asegurarse de cumplir con los requisitos de privacidad de datos para los residentes de California, y ese podría ser un modelo similar para Washington. Hacer que un producto cumpla con ciertos requisitos estatales podría afectar ampliamente la forma en que se diseña y construye la IA, dijo.

«Para conseguir contratos en el estado de Washington, un producto [would have] «Es de esperar que una empresa no haga una versión no discriminatoria para el estado de Washington y una versión que discrimine para Massachusetts», dijo. Van a hacer una versión. Entonces, los estados individuales pueden tener un gran impacto en las políticas cuando actúan «.