Krypton Solid

La última tecnología en raciones de 5 minutos

Encontrar el equilibrio entre la IA de borde y la IA en la nube

La inteligencia artificial en el borde permite el aprendizaje automático en tiempo real a través del procesamiento localizado, lo que permite el procesamiento inmediato de datos, seguridad detallada y una mayor experiencia del cliente. Al mismo tiempo, muchas empresas buscan llevar la IA a la nube, lo que puede reducir las barreras para la implementación, mejorar el intercambio de conocimientos y admitir modelos más grandes. El camino a seguir radica en encontrar un equilibrio que aproveche las fortalezas de la nube y los bordes.

Los recursos de nube centralizados se utilizan normalmente para entrenar modelos de inferencia de aprendizaje profundo porque se requieren grandes cantidades de datos y computación para desarrollar modelos precisos. Los modelos resultantes pueden implementarse en una ubicación central en la nube o distribuirse a dispositivos en el borde.

«La inteligencia artificial perimetral y la nube se complementan entre sí, y los recursos de la nube casi siempre están involucrados en casos de uso de inteligencia artificial perimetral», dijo Jason Shepherd, vicepresidente de ecosistema de Zededa, un proveedor de herramientas de inteligencia artificial perimetral.

«En un mundo perfecto, centralizaríamos todas las cargas de trabajo en la nube para simplificar y escalar; sin embargo, factores como la latencia, el ancho de banda, la autonomía, la seguridad y la privacidad requieren que se implementen más modelos de inteligencia artificial en el borde, próximos a los datos. fuente «, dijo Shephard. Se está produciendo algo de formación en el borde y cada vez se centra más en el concepto de aprendizaje federado que se centra en el procesamiento en zonas de datos y, al mismo tiempo, centraliza los resultados para eliminar el sesgo regional.

Aumento de la inteligencia artificial

El surgimiento de una mejor infraestructura de redes y nuevas arquitecturas de computación de borde está derribando las barreras entre la IA en la nube centralizada y las cargas de trabajo de IA de borde distribuidas.

«El borde es un gran cambio emergente en la infraestructura que complementa la nube al agregar una capa de tecnología de la información que se distribuye a todos los rincones del mundo», dijo Charles Nebolsky, líder de servicios de infraestructura y nube inteligente en Accenture. Nebolsky cree que la inteligencia artificial de vanguardia está llevando a una revolución tan grande como la nube cuando ganó tracción.

Cuando se diseña bien, la IA de borde abre nuevas oportunidades para el autoescalado, ya que cada nuevo usuario aporta una máquina completamente nueva a la carga de trabajo colectiva. El perímetro también tiene un mejor acceso a más datos de entrada sin procesar sin procesar, mientras que las soluciones de inteligencia artificial en la nube deben funcionar con datos preprocesados ​​para mejorar el rendimiento o conjuntos de datos enormes, en cuyo punto el ancho de banda puede convertirse en una seria preocupación.

«La razón para mover las cosas al límite es para un mejor tiempo de respuesta», dijo Jonas Bull, jefe de arquitectura del AI Lab de Atos North America, una consultora de transformación digital.

La velocidad y la latencia son críticas para aplicaciones como la visión por computadora y las redes de acceso de radio virtual utilizadas para 5G. Otro gran beneficio radica en mejorar la privacidad al limitar los datos que se cargan en la nube.

La implementación de Edge AI también está llena de restricciones, incluida la latencia de la red, la presión de la memoria, el agotamiento de la batería y la posibilidad de que el usuario o el sistema operativo establezcan un proceso en segundo plano. Los desarrolladores que trabajan en la inteligencia artificial de vanguardia deben planificar una amplia gama de limitaciones, particularmente cuando exploran casos de uso comunes como los teléfonos móviles, dijo Stephen Miller, vicepresidente senior de ingeniería y cofundador de Fyusion, una compañía de imágenes 3D impulsada por inteligencia artificial.

«Es necesario planificar todos los casos posibles [on the edge], mientras que en la nube, cualquier solución se puede monitorear y ajustar «, dijo Miller.

Enfoques complementarios

La mayoría de los expertos ven los enfoques de borde y nube como partes complementarias de una estrategia más amplia. Nebolsky dijo que la inteligencia artificial en la nube se adapta mejor a las técnicas de aprendizaje por lotes que pueden procesar grandes conjuntos de datos para construir algoritmos más inteligentes para obtener la máxima precisión rápidamente y a escala. Edge AI puede ejecutar esos modelos, y los servicios en la nube pueden aprender del rendimiento de estos modelos y aplicarlos a los datos base para crear un ciclo de aprendizaje continuo.

Miller de Fyusion recomienda encontrar el equilibrio correcto: si te comprometes por completo con la IA de vanguardia, has perdido la capacidad de mejorar continuamente tu modelo. Sin la llegada de nuevos flujos de datos, no tiene nada que aprovechar. Sin embargo, si se compromete por completo con la inteligencia artificial en la nube, corre el riesgo de comprometer la calidad de sus datos, debido a las compensaciones necesarias para que sean descargables y a la falta de comentarios para guiar al usuario a capturar mejores datos, o la cantidad de datos.

«Edge AI complementa la inteligencia artificial en la nube al proporcionar acceso a decisiones inmediatas cuando se necesitan y utilizar la nube para obtener información más profunda o aquellas que requieren un conjunto de datos más amplio o longitudinal para impulsar una solución», dijo Tracy Ring, directora general de Deloitte.

Por ejemplo, en un vehículo conectado, los sensores del automóvil proporcionan un flujo de datos en tiempo real que se procesan constantemente y pueden tomar decisiones, como aplicar los frenos o ajustar el volante. Los mismos datos del sensor se pueden transmitir a la nube para realizar un análisis de patrones a más largo plazo que pueda alertar al propietario de las reparaciones que se necesitan con urgencia y que pueden prevenir un accidente en el futuro. Por otro lado, la IA en la nube complementa la IA de borde para generar conocimientos más profundos, ajustar modelos y continuar mejorando sus conocimientos.

«La nube y la inteligencia artificial de borde funcionan en conjunto para impulsar decisiones de necesidad inmediata que se basan en conocimientos más profundos, y esos conocimientos están siendo constantemente informados por nuevos datos de borde», dijo Ring.

Flujos de trabajo de formación

Los principales desafíos de hacer que la inteligencia artificial en el borde y la nube funcionen juntos son de procedimiento y arquitectura.

«Las aplicaciones deben diseñarse de manera que dividan y coordinen deliberadamente la carga de trabajo entre ellas», dijo Max Versace, director ejecutivo y cofundador de Neurala, una plataforma de inspección de inteligencia artificial.

Por ejemplo, las cámaras habilitadas para el borde pueden procesar toda la información a medida que se origina en el sensor sin sobrecargar la red con datos irrelevantes. Sin embargo, cuando el objeto de interés se detecta finalmente en el borde, los fotogramas relevantes se pueden transmitir a una aplicación en la nube más grande que puede almacenar, analizar más a fondo (por ejemplo, qué subtipo de objeto está en el marco y cuáles son sus atributos), y comparta los resultados del análisis con un supervisor humano.

Una estrategia consiste en crear una arquitectura que equilibre el tamaño del modelo y los datos con el costo de las transferencias de datos, dijo Brian Sletten, presidente de Bosatsu Consulting e instructor senior de computación de borde en Developintelligence.com. Para modelos grandes, tiene más sentido quedarse en la nube.

«Hay formas de reducir el tamaño del modelo para ayudar a resolver el problema, pero si se trata de un modelo muy grande, probablemente querrá ejecutarlo en la nube», dijo Sletten.

En otros casos, cuando hay muchos datos generados en el borde, puede tener más sentido actualizar los modelos localmente y luego enviar subconjuntos de estos a la nube para un mayor refinamiento. Los desarrolladores también deben considerar algunas de las implicaciones de privacidad al hacer inferencias sobre datos confidenciales. Por ejemplo, si los desarrolladores desean detectar evidencia de un derrame cerebral a través de la cámara de un teléfono móvil, es posible que la aplicación deba procesar los datos localmente para garantizar el cumplimiento de HIPAA.

Sletten predice que los marcos evolucionarán para brindar más opciones sobre dónde realizar la capacitación y cómo mejorar la reutilización. Por ejemplo, TensorFlow.js usa WebGL y WebAssembly para ejecutarse en el navegador (bueno para la privacidad, baja latencia, aprovechamiento de recursos de GPU de escritorio o móviles, etc.) pero también puede cargar versiones fragmentadas y en caché de modelos entrenados en la nube. Los formatos de intercambio de modelos (por ejemplo, Open Neural Network Exchange) también podrían aumentar la fluidez de los modelos en diferentes entornos. Sletten recomienda explorar herramientas como LLVM, un proyecto de infraestructura de compilador de código abierto, para facilitar la abstracción de aplicaciones de los entornos en los que se ejecutan.

Requiere adaptación

«Uno de los desafíos clave para mover más IA de la nube al borde es crear arquitecturas de redes neuronales que sean capaces de operar en los chips de AI de borde de manera eficiente», dijo Bruno Fernandez-Ruiz, cofundador y CTO de Nexar. un proveedor de cámaras de tablero inteligentes.

Las plataformas informáticas generales, como la que se encuentra en los servidores en la nube, pueden ejecutar cualquier arquitectura de red. Esto se vuelve mucho más difícil en la IA de borde. Las arquitecturas y los modelos entrenados deben adaptarse para ejecutarse en los conjuntos de chips de IA que se encuentran en el borde.

Fernandez-Ruiz y su equipo han estado explorando algunas de estas ventajas y desventajas para mejorar la inteligencia que pueden aportar a varias aplicaciones de cámara para salpicadero. Este es un gran desafío, ya que los usuarios pueden conducir desde redes móviles de alto rendimiento a zonas muertas y, sin embargo, esperan un buen rendimiento. El equipo descubrió que durante el tiempo de inferencia, no hay suficiente ancho de banda de red para mover todos los datos desde el borde a la nube, sin embargo, el caso de uso requiere que las salidas de inferencia locales se agreguen globalmente. La IA de borde puede ejecutar redes neuronales que ayudan a filtrar los datos que deben enviarse a la nube para un mayor procesamiento de la IA.

En otros casos, el entrenamiento de la IA en la nube puede resultar en modelos de redes neuronales que tienen demasiadas capas para ejecutarse de manera eficiente en dispositivos de borde. En estos casos, la IA de borde puede ejecutar una red neuronal más ligera que crea una representación intermedia de la entrada que está más comprimida y, por lo tanto, puede enviarse a la nube para su posterior procesamiento de IA. Durante el tiempo de entrenamiento, la IA de borde y la nube pueden operar en modo híbrido para proporcionar algo parecido al «aprendizaje activo virtual», donde la IA de borde examina grandes cantidades de datos y «enseña» la IA de la nube.

Fernandez-Ruiz ha descubierto que los tipos de arquitecturas de redes neuronales admitidas en los conjuntos de chips de inteligencia artificial de borde son limitados y, por lo general, van meses por detrás de lo que se puede lograr en la nube. Un enfoque útil para abordar estas limitaciones ha sido utilizar cadenas de herramientas de compilación y pilas como Apache TVM, que ayudan a migrar un modelo de una plataforma a otra.

Otro enfoque ha sido utilizar arquitecturas de red que se sabe que funcionan bien en la inteligencia artificial de borde y entrenarlas directamente para la plataforma de destino. Ha descubierto que, dado el volumen y la variedad suficientes de datos de entrenamiento, este enfoque a menudo puede superar a los enfoques del compilador multiplataforma en términos de rendimiento absoluto. Sin embargo, también requiere algo de trabajo manual durante la capacitación y en el pre y posprocesamiento.

Compensación común entre la inteligencia artificial en el borde y en la nube

Nebolsky de Accenture dijo que algunas de las compensaciones más comunes que los desarrolladores deben considerar entre la nube y la inteligencia artificial de borde incluyen las siguientes:

  • Potencia de procesamiento: los dispositivos de computación perimetral suelen ser menos potentes y difíciles de reemplazar o actualizar.
  • Latencia: la nube es rápida, pero no está lista para aplicaciones en tiempo real como conducir un automóvil o controles industriales.
  • Consumo de energía: la mayoría de los diseñadores normalmente no tienen que considerar las limitaciones de consumo de energía con la nube como lo hacen con el perímetro.
  • Conectividad: los servicios críticos para la seguridad, como los vehículos autónomos, no pueden permitirse el lujo de dejar de funcionar cuando la conectividad cae, lo que puede llevar al límite el procesamiento de decisiones impulsadas por la inteligencia artificial en tiempo real.

Seguridad: los servicios de inteligencia artificial que impulsan la autenticación y el procesamiento de información confidencial, como huellas dactilares o registros médicos, generalmente se logran mejor a nivel local por cuestiones de seguridad. Incluso cuando existe una seguridad en la nube muy sólida, la percepción del usuario de una mejor privacidad del procesamiento perimetral puede ser una consideración importante.

Deja un comentario

También te puede interesar...

¿Puedo trabajar mientras cobro la seguridad social?

Cualquiera que esté considerando recibir los beneficios del seguro social antes de la plena edad de jubilación debe considerar la situación laboral antes de tomar esta decisión. Y la razón es que el Seguro Social

La gama T-Mobile se está volviendo más inteligente

Después de meses de espera, T-Mobile agrega un nuevo teléfono inteligente llamado Dash a su gama, anunció la compañía el miércoles. Dash, fabricado por High Tech Computer y conocido como Excalibur Communicator en el extranjero,

Cómo fusionar microservicios y diseño impulsado por dominios

Los desarrolladores que trabajan en microservicios granulares, cada uno diseñado para realizar una función singular, deben vincular esos servicios a necesidades y procesos comerciales específicos. Sin embargo, también deben priorizar una arquitectura distribuida, sin estado

Telstra se jacta, pero Optus se pone al día

Telstra lanzó un tiro al Optus por publicar un conjunto de mapas mostrando la cobertura móvil nacional de ambos operadores, acompañada de declaraciones de desactivación de la red de sus competidores. Uno de los mapas

¿Qué es la gestión de datos de copia (CDM)?

La gestión de datos de copia (CDM) es un enfoque para reducir el consumo de almacenamiento que implica eliminar la duplicación innecesaria de datos de producción. El software de respaldo y otras aplicaciones empresariales operan

Lea la hoja de ruta del servidor de Microsoft

Microsoft ha tomado medidas para dirigirse a los clientes que son cada vez más reacios a cambiar rápidamente a nuevos sistemas operativos, pero continúan requiriendo nuevas funciones sin esperar largos períodos de tiempo. La empresa

Definición de gas natural licuado (GNL).

¿Qué es el gas natural licuado (GNL)? El gas natural licuado (GNL) es gas natural que se ha convertido en una forma líquida para la facilidad y seguridad del transporte de gas natural. El gas