Krypton Solid

La última tecnología en raciones de 5 minutos

11 obstáculos relacionados con la transmisión de datos en tiempo real y cómo superarlos

La tecnología y la arquitectura pueden proporcionar la base adecuada para el éxito de la transmisión de datos en tiempo real, pero, como ocurre con todas las iniciativas estratégicas de TI, gestionar el cambio de mentalidad necesario es el factor determinante entre una idea prometedora y un resultado exitoso.

Eso es según Gordon Van Huizen, vicepresidente de estrategia de plataforma en la plataforma de desarrollo de código bajo Mendix, quien dijo que cambiar la mentalidad organizacional no es tarea fácil. A menudo existe una tendencia a pensar en la transmisión de datos y eventos como un aumento o un complemento de un paradigma existente. Este pensamiento puede conducir a problemas importantes que limitarán la aplicabilidad y el valor a largo plazo de las iniciativas de transmisión y las plataformas ensambladas para respaldarlas.

Los sistemas de transmisión de datos en tiempo real también pueden introducir una variedad de nuevos cuellos de botella que crean limitaciones tanto técnicas como de proceso. Los problemas causados ​​por la mayor complejidad de estos sistemas, que pueden conducir a fallas cuando componentes o procesos aparentemente inocuos se vuelven lentos o se atascan, son de particular interés. Estos son los principales obstáculos de transmisión de datos en tiempo real a los que se enfrentan las organizaciones en la actualidad, y consejos para superarlos.

Confianza en clústeres de computación y almacenamiento centralizado.

Las tecnologías modernas de transmisión de datos en tiempo real, como Apache Kafka, están diseñadas para admitir el procesamiento distribuido y minimizar el acoplamiento entre productores y consumidores. Vincular su implementación con demasiada fuerza a un clúster centralizado, como cuando se implementa en una pila Hadoop clásica, sofocará la autonomía del proyecto y del dominio. Esto, a su vez, limitará la adopción de la transmisión y el uso de datos.

«En su lugar, considere una arquitectura de implementación distribuida a través de contenedores para permitir una mayor flexibilidad e independencia de dominio», dijo Van Huizen.

Tuberías de procesamiento rígidas

Gordon Van Huizen, vicepresidente de estrategia de plataforma, Mendix Gordon Van Huizen

Si bien los conceptos informáticos detrás de las arquitecturas impulsadas por eventos y la transmisión de datos están diseñados para promover un acoplamiento flexible, las pilas de procesamiento de transmisión en sí mismas pueden estar demasiado vinculadas, dijo Van Huizen.

Los sistemas de procesamiento de flujo deben ser abiertos y flexibles, lo que permite a las organizaciones componer soluciones a partir de servicios de procesamiento heterogéneos. Los equipos de TI deben considerar cuidadosamente cómo diseñan e implementan las canalizaciones de procesamiento. Deberían considerar emplear un marco de abstracción de canalización, como Apache Beam, para permitir que los proyectos utilicen capacidades de un ecosistema más amplio de tecnologías de transmisión de datos en tiempo real, según Van Huizen.

Propiedad centralizada

Establecer una base técnica para la implementación y la flexibilidad de procesamiento también puede generar desafíos de gestión.

«Como hemos aprendido por las malas de las iniciativas del bus de servicios empresariales y del lago de datos, la tecnología creada para la implementación distribuida y federada todavía se emplea a menudo de forma centralizada y monolítica en las empresas», dijo Van Huizen.

Las tecnologías que estaban destinadas a crear autonomía e impulsar el uso a gran escala han creado los monolitos de TI empresariales más grandes hasta la fecha, agregó. Adoptar la arquitectura impulsada por dominios es la clave para garantizar que lo que debe ser una infraestructura común no se convierta en un monolito centralizado. Esto requiere pasar de un empujar y ingerir modelo común con extracción, transformación y carga y flujos de eventos para servir a un jalar modelo en todos los dominios, dijo Van Huizen.

Cuellos de botella de escalabilidad

George Radecke, líder de soluciones, SaggezzaGeorge Radecke

A medida que aumentan los datos, las operaciones se vuelven naturalmente un problema mayor. Para empezar, las copias de seguridad toman más tiempo y consumen muchos recursos. Reconstruir índices, desfragmentar el almacenamiento y reorganizar los datos son operaciones que consumen tiempo y recursos, según George Radecke, líder de soluciones en la consultora de TI Saggezza.

«Si está funcionando en vivo las 24 horas del día, los 7 días de la semana, debe planificar los recursos adicionales para realizar todas las operaciones sin dejar de cumplir con sus acuerdos de nivel de servicio», dijo Radecke.

Dimensionar y escalar todo es un problema común de transmisión de datos en tiempo real. Incluso las organizaciones grandes y con experiencia son de tamaño insuficiente, agregó Radecke.

«Cuando me llaman para resolver problemas de rendimiento, a menudo surgen problemas de diseño e implementación», dijo. «Pero igualmente a menudo, los sistemas no tienen suficientes recursos informáticos».

Los equipos de TI recomendados por Radecke documentan los niveles de servicio esperados y los niveles de servicio requeridos de otros. También animó a los equipos de TI a realizar pruebas en un entorno del tamaño de al menos una cuarta parte del entorno de producción. Si manejan una cuarta parte de la carga esperada contra una cuarta parte de los datos, pueden identificar y resolver cualquier problema mucho antes de la implementación en producción.

Controlar la experiencia de la red

Controlar la experiencia de la red para un cliente puede ser un desafío. Este es un desafío aún mayor en la nube, dijo Rob Doucette, vicepresidente de gestión de productos de Martello Technologies, un proveedor de gestión del rendimiento de la red.

Un componente de hardware local puede ayudar a optimizar la visualización y proporcionar una mejor experiencia de usuario en caso de que surja un problema. El software de administración de fallas y desempeño puede monitorear la entrega de aplicaciones de transmisión de datos en tiempo real y tomar acciones inmediatas para mejorar el desempeño. Las buenas métricas para rastrear incluyen jitter, pérdida de paquetes y latencia. Los eventos en la infraestructura de TI generalmente causan estos problemas, según Doucette.

«Saber qué problemas están ocurriendo al mismo tiempo puede ayudarlo a identificar la fuente del problema más rápidamente», dijo Doucette.

Metodologías heredadas

La avalancha de nuevos casos de uso de análisis y fuentes de datos también plantea un problema para las empresas. Después de un proyecto de análisis exitoso, los gerentes comerciales de toda la empresa pueden presentar una variedad de diferentes tipos de solicitudes. Pero adquirir y preparar datos con un lago de datos en las instalaciones o en la nube puede resultar más desafiante de lo esperado, ya que la escala de estas actividades ha crecido exponencialmente, dijo Buno Pati, CEO de Infoworks, una plataforma de orquestación y operaciones de datos.

El problema está en gran parte arraigado en el uso de metodologías y herramientas heredadas que requieren un equipo en constante crecimiento de ingenieros y desarrolladores de datos capacitados para ingerir y sincronizar datos y crear las canalizaciones de análisis necesarias para entregar datos a las aplicaciones, dijo Pati.

Problemas de integración empresarial

Jonathan Schabowsky, arquitecto senior de la oficina del CTO, SolaceJonathan Schabowsky

«Uno de los problemas más comunes que vemos es que la empresa en su conjunto está compuesta por muchas líneas de negocios y equipos de aplicaciones, cada uno enfocado internamente en su misión y desafíos», dijo Jonathan Schabowsky, arquitecto senior de la oficina del CTO en Solace, una plataforma de mensajería para eventos.

Esto funciona durante un período de tiempo, hasta que cada grupo necesita integrar e intercambiar flujos de datos de eventos en tiempo real en toda la empresa. Esto puede resultar en múltiples puntos de integración en un intento de federar dichos eventos, según Schabowsky.

Invertir en una única plataforma

Apache Kafka a veces se confunde como un agente de eventos o mensajes cuando en esencia es una base de datos NoSQL que funciona para persistir los eventos durante el tiempo que la empresa lo requiera, dijo Schabowsky. Aunque esto puede parecer un matiz menor, puede ser un detalle crítico dado que el movimiento en tiempo real y la federación de eventos en toda la empresa requieren herramientas muy diferentes al almacenamiento de un registro de eventos inmutable.

Evite creer en la exageración de que existe una única plataforma de transmisión que resuelve todos los casos de uso que pueda concebir.

Jonathan Schabowsky Arquitecto senior de la oficina del CTO, Solace

Por lo tanto, los equipos de TI deben comprender realmente dónde usar cada plataforma para resolver sus casos de uso únicos, y deben considerar que la transmisión de eventos a través de las líneas de negocios es donde normalmente se encuentra el valor comercial significativo.

«Evite creer en la exageración de que existe una única plataforma de transmisión que resuelve todos los casos de uso que pueda concebir», dijo Schabowsky.

Dentro del paradigma de transmisión, separe el movimiento de eventos y la federación de los casos de uso de persistencia a largo plazo y abastecimiento de eventos. En realidad, esto simplifica el problema de la transmisión de eventos de datos en tiempo real, lo que permite a la organización comenzar a reconocer rápidamente el ROI de la transmisión de eventos al obtener algunas ganancias rápidas, dijo Schabowsky.

Desconexión de TI y OT

Ramya Ravichandar, vicepresidente de gestión de productos, FogHorn SystemsRamya Ravichandar

Los equipos de TI y los equipos de tecnología operativa (OT) suelen operar en mundos diferentes. Pero muchos tipos de flujos de datos en tiempo real, en particular los que se originan en dispositivos de IoT, tienen características diferentes a las que los equipos de TI pueden conocer. Estos datos pueden ejecutarse en diferentes frecuencias y producir una amplia variedad de conjuntos de datos en tantos formatos, incluidos audio, video, calor y vibración, dijo Ramya Ravichandar, vicepresidente de gestión de productos en FogHorn Systems, una plataforma de computación de borde.

Para impulsar implementaciones exitosas de transmisión de datos en tiempo real para estos casos de uso, los equipos de TI y OT deben trabajar juntos para conectar el valor del caso de uso comercial con la aplicación. Los miembros del personal de OT tienen un conocimiento profundo del dominio, que puede ir desde saber qué sonidos hace una máquina que falla hasta cómo se correlacionan varias funciones de la máquina entre sí, según Ravichandar.

«Esta experiencia es el eslabón perdido para proporcionar contexto y claridad a la gran cantidad de puntos de datos producidos por máquinas y sensores», dijo Ravichandar.

Nuevo paradigma de desarrollo

La transmisión de datos en tiempo real implica no solo una nueva infraestructura, sino también un nuevo paradigma de desarrollo, dijo Karthik Ramasamy, cofundador y CEO de Streamlio, una plataforma de procesamiento en tiempo real. Esto no solo afecta a la infraestructura, sino también a los ingenieros y desarrolladores de datos, lo que lo hace más complejo que simplemente cambiar una capa de infraestructura.

«Para reducir ese desafío, es importante que las organizaciones eviten elegir un gran proyecto de extracción y reemplazo como su primer caso de uso de transmisión en tiempo real», dijo Ramasamy. En cambio, dijo elegir un proyecto más pequeño para que la infraestructura y los programas existentes no necesiten ser refactorizados y reemplazados. Además, sugirió que los equipos de TI busquen tecnologías que utilicen interfaces y paradigmas más simples y familiares en lugar de nuevos y desconocidos.

Dificultad para predecir el tiempo de procesamiento.

«La mayoría de las veces, los datos de entrada no cumplen exactamente con nuestras expectativas y puede ser difícil predecir cómo se comportará la agregación», dijo Liran Haimovitch, cofundador y director de tecnología de Rookout, un proveedor de herramientas de depuración.

A diferencia del procesamiento por lotes, no es práctico para los equipos de TI simplemente volver a ejecutar el trabajo hasta que encuentren un error en el proceso de procesamiento. Debido a que se transmite en tiempo real, cualquier error que se encuentre en el procesamiento de datos generará resultados incorrectos.

El estado distribuido y efímero de las plataformas de procesamiento de datos en streaming también dificulta las técnicas de depuración estándar. Las pruebas no detectan todos los tipos de datos inesperados, pero las nuevas y más modernas técnicas y herramientas de depuración y observabilidad pueden ayudar a mitigar el problema.

Deja un comentario

También te puede interesar...

Cómo subir fotos a Instagram sin perder calidad

Con la cámara réflex has hecho unas fotos con las que estás muy contento. Encontrar el marco y la luz correctos ciertamente no fue fácil, pero el resultado valió la pena. Así que decidiste subir

¿Qué es la bandeja del sistema en Windows?

¿Qué es la bandeja del sistema? La bandeja del sistema (o «bandeja del sistema») es una sección de las barras de tareas en la interfaz de usuario del sistema operativo (SO) Microsoft Windows que proporciona

Cómo cambiar tu nombre en Pokémon GO

Tus amigos solo te hablan Pokémon GO, el título de Niantic en el que se utiliza la realidad aumentada de smartphones y tablets para «cazar» Pokémon en el mundo real. Al final, también decidiste descargarlo

¿Salvarás a Biden H-1B?

Getty Images / iStockphoto La campaña política del presidente de los Estados Unidos, Donald Trump, para un segundo mandato presidencial puede haber estado en pleno apogeo a fines del año pasado, pero eso no le

¿Qué es Amazon Lightsail?

¿Qué es Amazon Lightsail? Amazon Lightsail es un servicio en la nube ofrecido por Amazon Web Services (AWS) que agrupa la capacidad de computación en la nube y la memoria para usuarios de la nube

El impacto de DRM de Jobs es mixto

La reacción a la carta abierta del CEO de Apple, Steve Jobs, a la industria de la música sobre gestión de derechos digitales fue relativamente rápido. Pero el tablero es mixto cuando se trata de

Retiro anticipado

¿Qué es un retiro anticipado? El retiro anticipado se refiere a la eliminación de fondos de una inversión a plazo fijo, como una anualidad, un certificado de depósito (CD) o una cuenta de jubilación calificada,

Los 5 Mejores Emuladores de GBA para Android en 2021

Una curiosidad interesante sobre los emuladores de GBA para Android es que te permiten revivir los juegos clásicos de Game Boy Advance en tu dispositivo móvil. Puedes disfrutar de títulos como Pokémon, Super Mario Advance,

Revisión de HTC Vive Cosmos Elite

Especificaciones técnicas Seguimiento: Estaciones Base Vive 1.0Resolución: 2880 x 1700 total (1440 x 1700 por ojo)Frecuencia de actualización: 90Hzcampo de visión: 110 gradosAudio: Altavoces y micrófono integradosLongitud del cable: 16 piesEntradas: DisplayPort 1.2, USB 3.0Peso:

Karma lanza su primer plan de datos de suscripción

Karma siempre ha intentado ser un tipo diferente de operador inalámbrico. Ha construido su nombre al proporcionar formas para que las personas adquieran acceso a Internet ubicuo sin tener que participar en contratos o planes