Krypton Solid

La última tecnología en raciones de 5 minutos

5 desafíos de integración de datos y cómo superarlos

Los administradores de datos empresariales enfrentan una variedad de desafíos de integración de datos, que se derivan en parte del crecimiento en las cantidades y tipos de datos que ingresan a los sistemas corporativos. Estos desafíos incluyen la incapacidad de ubicar datos en silos, mantenerse al día con volúmenes de datos más rápidos y lidiar con diferentes fuentes de transmisión de datos.

La automatización puede ayudar con muchos de estos desafíos y también acelerar el proceso de integración. Los esfuerzos manuales de integración de datos a menudo ralentizan la capacidad de las organizaciones para combinar conjuntos de datos para respaldar el desarrollo de análisis, aprendizaje automático y aplicaciones de inteligencia artificial que pueden generar valor comercial.

Por ejemplo, Cooper, un proveedor de préstamos hipotecarios con sede en Dallas, ha visto expandirse su huella de datos debido al crecimiento orgánico y las adquisiciones. Eso hizo que fuera un desafío proporcionar capacidades de análisis de datos casi en tiempo real a los usuarios comerciales en el pasado, dijo Sridhar Sharma, CIO de la compañía. Como resultado, hubo casos en los que los responsables de la toma de decisiones tuvieron que esperar la información del equipo de análisis.

«Estos retrasos se debieron a la incapacidad de localizar datos en silos y, posteriormente, aplicar los algoritmos correctos», dijo Sharma.

El equipo de Sharma realizó importantes inversiones para eliminar los silos de datos y establecer una plataforma de datos escalable común. Esos esfuerzos implicaron el fortalecimiento de la arquitectura central que admite un entorno de nube híbrida, además de alejarse del procesamiento de datos por lotes tradicional en favor de patrones de intercambio de datos de transmisión.

Sharma dijo que también ha sido importante centrarse en la calidad de los datos y crear un corpus de datos rico y específico de dominio a medida que la empresa se expande a más proyectos de aprendizaje automático e inteligencia artificial. «Eso también ha significado un ciclo de retroalimentación constante que permite a nuestros agentes e ingenieros etiquetar y enriquecer constantemente nuestros conjuntos de datos», dijo.

Con esos antecedentes, veamos los cinco desafíos de integración de datos más comunes que enfrentan los equipos de administración de datos: mantenerse al día con el volumen de datos, trabajar con diferentes fuentes de transmisión, integración manual, diferentes tecnologías de origen y asimilar datos SaaS.

1. Mantenerse al día con los volúmenes de datos

El mayor desafío de integración de datos es el crecimiento exponencial de datos de muchas fuentes diferentes, dijo Mitch Gibbs, consultor de nube de Candid Partners, con sede en Atlanta. Esto causa problemas con la capacidad disponible para la retención de datos y, lo que es más importante, los esfuerzos para hacer información procesable a partir de todos los datos que se crean y recopilan.

El uso del aprendizaje automático, en combinación con la capacidad de almacenamiento elástico de la nube, permite que los experimentos específicos encuentren y luego retengan los datos más valiosos. «La dificultad está en crear un equilibrio para la retención de datos para los datos que no son importantes ahora y qué datos pueden ser importantes en el futuro», dijo Gibbs.

Las organizaciones necesitan una estrategia para administrar e integrar proactivamente los crecientes volúmenes de datos, al tiempo que hacen que los datos sean accesibles para análisis cuando sea necesario, según Gibbs. Eso también debe equilibrarse con el costo de almacenar todos los datos, señaló.

2. Diferentes fuentes de datos de transmisión

Muchas empresas luchan por integrar datos de fuentes dispares. Por ejemplo, ese es un desafío particularmente grande en la industria de la energía, donde las empresas de servicios públicos tienen que ingerir datos de diferentes sistemas para crear un flujo de datos único y sin interrupciones, dijo Farnaz Amin, gerente principal de productos digitales para la plataforma de análisis de redes de GE Digital.

Como resultado, una empresa de servicios públicos puede tener servicios puntuales ofrecidos por varios proveedores que se ejecutan en silos y tienen poca o ninguna integración entre ellos. Además de abordar la integración, debe garantizar que todos los datos se almacenen de manera segura para abordar los riesgos asociados con la seguridad, la confiabilidad y las multas financieras de las autoridades reguladoras, dijo Amin.

Como parte de su estrategia general de datos, las empresas deben dedicar tiempo a evaluar los tipos de datos que están capturando y cómo se deben integrar los diferentes conjuntos de datos, agregó. «Es importante tener una idea clara de los casos de uso que son posibles al aprovechar estos datos y los problemas comerciales que pueden resolver».

Otra clave para construir una infraestructura de datos sólida y una estrategia de integración es saber cómo operan sus usuarios finales. Dos preguntas que debe hacerse desde el principio, aconsejó Amin, son cómo utilizarán los analistas un conjunto de datos y con qué frecuencia necesitarán acceder a él. «Esto le da la oportunidad de dimensionar correctamente la frecuencia y reducir la tensión en la infraestructura», dijo.

3. Integración manual de datos

En muchas empresas, aproximadamente el 80% del tiempo de un científico de datos se dedica a buscar y preparar datos, dejando solo el equivalente a un día a la semana para el trabajo real de ciencia de datos, dijo Brendan Stennett, CTO de ThinkData Works, un proveedor de herramientas de gestión de datos con sede en Toronto.

Las empresas pueden querer evaluar herramientas para automatizar la ingesta e integración de datos. Se pueden utilizar para crear y documentar trabajos de integración, realizar cambios consistentes en todos los datos ingeridos y posicionarlos de forma estándar. También es útil utilizar información sobre las relaciones entre entidades para crear claves comunes entre conjuntos de datos dispares basados ​​en campos similares, según Stennett.

Además, el seguimiento del linaje de los datos puede ayudar al ingerir datos de origen sin procesar y realizar transformaciones mínimas, dijo. Por ejemplo, un esquema unificado para mapear datos de origen puede permitir que cualquier problema en el conjunto de datos común se rastree hasta una fila de los datos de origen sin procesar.

4. Diferentes tecnologías de sistemas de fuentes

«Los equipos de TI de hoy no solo enfrentan el desafío de lidiar con la explosión en la variedad de los datos en sí, sino también la mayor variedad en las tecnologías de base de datos subyacentes», dijo Shekhar Vemuri, CTO de Clairvoyant, una consultora de TI con sede en Chandler, Arizona. Esto puede incluir una combinación de SQL, NoSQL y sistemas de big data, implementados tanto en las instalaciones como en la nube.

El problema se ve agravado por el uso creciente de bases de datos especialmente diseñadas y la adopción de arquitecturas de microservicios que dividen las bases de datos en partes más pequeñas y las distribuyen en los sistemas empresariales. Aunque cambiar a una arquitectura con componentes más pequeños simplifica el desarrollo de aplicaciones, puede hacer que la integración de datos sea más compleja.

«Lo que solía estar en una gran base de datos antes ahora se divide en decenas de bases de datos, algunas de las cuales están débilmente vinculadas entre sí», dijo Vemuri.

Una buena práctica es comenzar catalogando todos los datos que existen en una organización, recomendó. Históricamente, este era el ámbito de los arquitectos empresariales que trabajaban con equipos de TI y las distintas unidades de negocio. Sin embargo, un enfoque basado únicamente en ese proceso a menudo no funcionará en el complejo panorama de datos actual.

«Tenemos que considerar la posibilidad de aumentar el proceso con herramientas que permitan a los equipos administrar y mantener de manera colaborativa un catálogo de conjuntos de datos en la empresa», dijo Vemuri, y agregó que estas herramientas pueden escanear y descubrir conjuntos de datos y acelerar la creación de los conjuntos de datos iniciales. catálogo de datos.

5. Asimilar datos de SaaS

«Dado que el software como servicio es testigo de un rápido crecimiento, los desafíos de la integración con aplicaciones heredadas y locales se componen», dijo Sayid Shabeer, director de productos de HighRadius, un proveedor de software de cuentas por cobrar con sede en Houston.

Algunos de los desafíos de integración de datos que ve incluyen seguridad, integración en la nube e infraestructura de TI. Los ingenieros deben comenzar el proceso de integración respondiendo preguntas sobre cómo se podrían usar los datos en aplicaciones de procesamiento por lotes o en tiempo real, dijo Shabeer. «Este es el factor más importante para determinar el tipo de interfaz requerida».

Muchos productos SaaS tienen conectores disponibles para aplicaciones comerciales comunes y los proveedores a menudo están dispuestos a trabajar con equipos de TI en integraciones personalizadas. Eso puede implicar descubrir cómo unir todos los sistemas subyacentes y las fuentes de datos de una manera que les permita integrarse a la perfección, analizarse en tiempo real y extraer información.

«La idea es crear una verdadera plataforma integrada», dijo Shabeer.

Deja un comentario

También te puede interesar...

Definición china de cobertura

¿Qué es un seto chino? La cobertura china es una posición táctica que busca capitalizar los factores de conversión de precios incorrectos mientras protege a los inversores de los riesgos. Esto implica establecer una posición

Definición de economías avanzadas

¿Qué son los ahorros avanzados? La economía avanzada es un término utilizado por el Fondo Monetario Internacional (FMI) para describir a los países más desarrollados del mundo. Aunque no existe una convención numérica establecida para

Cómo instalar Java Ubuntu | Krypton Solid

¿Estás dando los primeros pasos en el mundo de Ubuntu y necesitas ayuda para instalar Java en tu computadora? No hay problema, has venido al lugar correcto en el momento correcto. Solo dígame qué versión

Tocar Twitter para monitorear cortes de banda ancha

Algunos de los principales rivales de banda ancha de Telstra dicen que no tienen planes inmediatos para seguir el ejemplo de la compañía de telecomunicaciones y utilizar el servicio de microblogging de Twitter para monitorear

Para tener muchas apreciaciones en una página

Ha creado una página en Facebook (tal vez debido a mi guía sobre el tema) pero después de un sprint inicial reconfortante, ¿dejó de crecer el contador de «me gusta»? Es una situación bastante común,

Cómo fusionar archivos PDF de Mac

¿Debe combinar dos o más documentos PDF que ha guardado en su Mac, pero no sabe qué aplicaciones usar? ¿Y si te dijera que puedes hacer todo con las herramientas incluidas «estándar» en macOS/OS X,

¿Qué tan grandes son los despidos de Microsoft?

El CEO de Microsoft, Satya Nadella, anunció hoy que la compañía despedirá a 18.000 empleados el próximo año, la mayor ronda de recortes en la historia de Microsoft. Para cualquiera que pierda su trabajo, esta

La guerra por la seguridad 802.11x

COMENTARIO – No hace mucho tiempo, cuando las redes inalámbricas eran nuevas y raras, la seguridad fue una idea posterior. ¿La razón? La falta de tarjetas 802.11ba actuó como una forma de seguridad de respaldo.

Ha llegado mi computadora portátil OLPC (hija).

Mi computadora portátil, en realidad la de mi hija, XO del proyecto One Laptop Per Child ha llegado y algunas cosas han sido sorprendentes: su tamaño (construido para niños), la interfaz del software, que es