Abordar 3 problemas de infraestructura que desafían la adopción de la IA

Gestionar la infraestructura de IA

El problema de infraestructura número uno surge de la falta de coincidencia entre cómo se construyen los modelos de inteligencia artificial y aprendizaje automático y cómo se implementan. Esto puede afectar a los centros de datos, ya que los ingenieros de datos luchan por mantenerse al día con los nuevos modelos desarrollados por científicos de datos.

Cuando una empresa ve retrasos en las implementaciones de IA, a pesar de que ha invertido en más científicos de datos, es una clara señal de este problema, dijo Kenny Daniel, CTO y cofundador de Algorithmia, un proveedor de infraestructura de aprendizaje automático. Una encuesta de Algorithmia sobre tendencias de aprendizaje automático empresarial encontró que en el último año, el 83% de las organizaciones han aumentado sus presupuestos de IA / ML y la cantidad promedio de científicos de datos empleados ha crecido en un 76%, pero el tiempo requerido para implementar un modelo es subiendo, con el 64% de las organizaciones demorando un mes o más.

Los equipos de TI deben considerar desarrollar la infraestructura para abordar el ciclo de vida de los proyectos de IA utilizando un enfoque AIOps o MLOps que ha demostrado ser exitoso para acelerar el desarrollo de software.

«AIOps puede proporcionar el marco de ingeniería de datos, la gestión de modelos, el mecanismo de gobernanza y un banco de trabajo de herramientas y metodologías para ejecutar modelos de IA a escala», dijo Sanjay Srivastava, director digital de Genpact, una consultora de transformación digital.

Él ve que AIOps desempeña un papel en la virtualización de la infraestructura de IA, la gestión de las preocupaciones de privacidad basadas en la nube y el fomento de la ética de la IA. La clave para hacer esto bien es contar con una supervisión que sea independiente del proyecto de IA. Esto puede reducir el sesgo no intencionado, limitarlo al caso de uso adecuado y diseñarlo para la inclusión y la exhaustividad.

«Al final, creemos que la mayoría de las empresas, como una auditoría financiera, traerán la ética de la IA como un tema de la agenda de la junta», dijo Srivastava.

Las empresas que se encuentran más temprano en su viaje a la infraestructura de IA deben comenzar de la manera más simple posible a resolver los cuellos de botella en sus flujos de trabajo únicos.

«La implementación de una primera versión básica de su solución y luego la evaluación comparativa, la iteración y la mejora desde allí ayudará a prevenir problemas en la producción», dijo Andrew Maguire, ingeniero senior de aprendizaje automático en Netdata, una startup de monitoreo de infraestructura.

Preparar la infraestructura de datos para la IA

La infraestructura de IA moderna a menudo se improvisa a partir de varios componentes de primera categoría, y cada uno maneja bien una tarea.

«Uno de los mayores problemas de infraestructura de IA que estamos viendo en este momento son las organizaciones que luchan por elegir la combinación correcta de herramientas para servir a su pila de IA», señaló Jerry Kurtz, vicepresidente ejecutivo de información y datos de Capgemini North America.

El panorama de las herramientas de IA y las ofertas específicas de IA en este espacio es tan grande que identificar la combinación correcta se convierte en un desafío, ya que las organizaciones se enfrentan a demasiadas opciones.

Tantas herramientas de inteligencia artificial hacen que sea más difícil para las empresas integrar las herramientas que seleccionan con los sistemas heredados que tienen actualmente. Esta es una limitación importante para las organizaciones que intentan construir una pila completa de herramientas de una manera que asegure que las herramientas funcionen juntas de manera cohesiva.

Creemos que la mayoría de las empresas … incorporarán la ética de la IA como un elemento de la agenda de la junta.

La infraestructura de inteligencia artificial también crea desafíos en torno a los nuevos ciclos del centro de datos y los tiempos de ciclo más largos, ya que desarrollar el diseño de centro de datos adecuado para las necesidades específicas de la inteligencia artificial requiere nuevas habilidades y conocimiento de la carga de trabajo, dijo Holland Barry, vicepresidente senior y director de tecnología de campo de Cyxtera, proveedor de un plataforma de centro de datos.

Los ciclos de implementación de la infraestructura de inteligencia artificial también suelen ser más largos. Puede llevar meses adquirir, integrar y solucionar todos los diferentes niveles de tecnología necesarios para admitir la IA a escala.

Esto ha llevado a un crecimiento en las prácticas de inteligencia artificial en la sombra implementadas sin la participación de TI. Los científicos y desarrolladores de datos no pueden encontrar los recursos internamente, los centros de datos de su empresa no fueron diseñados para cargas de trabajo de IA o el equipo de TI no pudo moverse lo suficientemente rápido para cumplir con una fecha límite.

«Con una instancia en la nube con solo deslizar rápidamente la tarjeta de crédito, una estrategia de inteligencia artificial en la sombra a veces se siente como la única forma de hacer que su proyecto despegue», dijo Barry.

Él recomienda que TI tome la iniciativa con la infraestructura para cambiar la IA de estar escondida en proyectos aislados a algo con recursos y centralizado como un servicio compartido. La centralización puede mejorar la capacidad de desarrollar y replicar un estándar de TI que garantice el equilibrio óptimo de los recursos del centro de datos en computación, almacenamiento y redes. También puede ayudar a sacar la IA de las sombras y ayudar a democratizar el acceso a los servicios de IA en toda la organización.

Colaboración de ingenieros de TI, negocios e inteligencia artificial

Otro desafío clave de la infraestructura puede surgir de un énfasis excesivo en los modelos en lugar de la infraestructura para coordinar los datos necesarios para construir modelos.

Esto puede generar desafíos en la integración de la inteligencia artificial y el aprendizaje automático en los procesos comerciales existentes, dijo el Dr. Manjeet Rege, director del Centro de Inteligencia Artificial Aplicada de la Universidad de St. Thomas en St. Paul, Minnesota.

Descubrió que es común que las empresas recuperen datos de los almacenes de datos y se los entreguen al equipo de inteligencia artificial sin una hipótesis adecuada. Como resultado, muchos proyectos de IA funcionan a nivel de prototipo, pero tienen dificultades para entrar en producción debido a la desconexión entre los ingenieros empresariales, de TI y de IA.

«El enfoque debe pasar de mantener los datos constantes y ajustar sin cesar el modelo a limpiar y preparar los datos y construir un modelo basado en esa información», dijo Rege.

El personal de TI ayuda a proporcionar la infraestructura de apoyo mientras los ingenieros de IA crean modelos de IA que benefician a la empresa que utiliza la infraestructura de TI.

Los equipos de proyecto con miembros de TI, ingenieros de inteligencia artificial y equipos comerciales deben trabajar juntos.

«Esto no solo ayuda a los ingenieros de inteligencia artificial a comprender mejor los problemas comerciales, sino que también ayuda a los equipos de negocios y de TI a apreciar qué tipo de datos se deben recopilar para que los proyectos de inteligencia artificial tengan éxito», dijo Rege.

Otro problema involucra discrepancias en la escala de la infraestructura de datos. Los científicos de datos aprenden a construir modelos a pequeña escala, generalmente en sus computadoras portátiles. Sin embargo, las empresas producen conjuntos de datos mucho más grandes que almacenan en muchos servidores.

El investigador de inteligencia artificial Adrian Zidaritz descubrió que ayuda a aclarar la estructura de los datos y la forma en que se han establecido firmemente desde el principio varias relaciones entre diferentes elementos de datos. Las empresas a menudo descuidan este esfuerzo inicial. También es útil para las empresas desarrollar un vocabulario de datos en el que todos los ingenieros de datos, los científicos de datos y la administración puedan estar de acuerdo.

Otro componente de la colaboración de datos radica en mejorar el acceso a los datos.

Cuando se trata de la experiencia de los datos, la mayoría de las empresas hacen malabarismos con los silos de datos desconectados, las transformaciones desafiantes y las vistas no coincidentes, dijo Fritz Heckel, ingeniero senior de aprendizaje automático de ASAPP, una plataforma de experiencia del cliente de inteligencia artificial.

Pueden surgir errores perniciosos entre el prototipo y los modelos de producción, los datos pueden desviarse cuando están en línea o fuera de línea y las preocupaciones de privacidad en la nube agregan complejidad a todo el flujo de datos, especialmente en lo que respecta a la eliminación de datos.

Como resultado, las empresas asignan involuntariamente a los trabajadores de IA altamente calificados la gestión de problemas que ralentizan la producción e introducen riesgos en el producto.

El equipo de Heckel adoptó las siguientes tres mejores prácticas que han ayudado a mejorar su infraestructura de colaboración de datos:

• Asegúrese de tener una única fuente de verdad. Debería ser obvio cómo acceder correctamente a los datos, ya sean los datos más recientes, los datos con versiones, los datos de un cliente determinado o la última versión de una transformación de datos determinada.
• Proporcione fuentes únicas de autorización. No haga que los empleados hagan malabares con diferentes formas de iniciar sesión en los sistemas o con diferentes credenciales de acceso.
• Desarrolle un lenguaje común para hablar sobre sus activos de datos y, a partir de ahí, compre o cree una API común para unir sus recursos. «Incluso si el back-end es complicado, mejorar la experiencia de los datos hará maravillas para la eficiencia de los trabajadores de IA», dijo Heckel.