La integración de datos es cada vez más crítica para la capacidad de las empresas de ganar, servir y retener a sus clientes. Las empresas enfrentan crecientes desafíos de integración de datos, principalmente debido al creciente volumen de datos, la presión de cumplimiento, la necesidad de información en tiempo real, la mayor complejidad de los datos y la distribución de datos a través de nubes híbridas y múltiples. Los usuarios comerciales desean un acceso rápido a información confiable en tiempo real que les ayude a tomar mejores decisiones comerciales.
Una estrategia moderna de integración de datos es fundamental para respaldar la nueva generación de requisitos de datos y análisis, incluido el soporte para 360 del cliente en tiempo real, inteligencia de datos y aplicaciones de borde modernas. Los líderes en arquitectura empresarial, arquitectura técnica y entrega deben considerar aprovechar nuevos enfoques en la integración de datos, como la virtualización de datos, la malla de datos, la integración de datos habilitada para inteligencia artificial y la estructura de datos, para hacer que los datos y el análisis sean aún más efectivos.
Las tecnologías modernas de integración de datos se centran en la automatización avanzada, la inteligencia de datos conectados y las herramientas interactivas basadas en personas, lo que ayuda a las organizaciones a acelerar varios casos de uso y otros requisitos de integración de datos.
Los datos híbridos y multinube distribuidos están creando nuevos desafíos de integración. Los datos viven en todas partes, por lo que centralizarlos en lagos de datos o centros de datos para respaldar los conocimientos empresariales ya no es práctico, especialmente con la explosión de datos en el perímetro. Forrester espera que la adopción de sistemas de integración de datos prolifere en los próximos años a medida que las organizaciones busquen conocimientos de apoyo en entornos multinube, de nube híbrida y perimetrales.
La inteligencia artificial (IA) está impulsando el siguiente nivel de soluciones de integración de datos. Las nuevas e innovadoras funciones de IA están ayudando a las empresas a automatizar las funciones de integración de datos, incluida la ingesta, clasificación, procesamiento, seguridad y transformación de datos. Si bien las capacidades de IA dentro de la integración de datos aún están emergiendo, las áreas que los líderes de arquitectura y entrega de tecnología pueden aprovechar hoy en día incluyen la capacidad de descubrir datos conectados, clasificar y categorizar datos confidenciales, identificar duplicados y orquestar silos.
La integración de datos en tiempo real se ha vuelto fundamental para respaldar los requisitos modernos. A medida que el ritmo de los negocios se acelera, los conocimientos en tiempo real se vuelven críticos, lo que requiere que las empresas se centren en plataformas que puedan ofrecer análisis rápidamente. Las empresas a menudo citan el soporte de datos en tiempo real y casi en tiempo real como un requisito principal de integración de datos, principalmente para respaldar las iniciativas modernas de experiencia del cliente.
La demanda de los clientes se está desplazando hacia soluciones de integración de datos basadas en casos de uso. Esta categoría nueva y emergente ofrece una integración de datos de extremo a extremo optimizada y completa al automatizar el proceso de ingesta, integración, seguridad y transformación para casos de uso de negocios nuevos y emergentes, como análisis de clientes 360 e Internet de las cosas (IoT).
Al mapear el futuro de las tecnologías en el ecosistema de integración de datos, Forrester identificó los datos como servicio, la malla de datos, el gráfico de conocimiento y el acelerador de consultas como cuatro tecnologías que entran en la categoría de “experimento”. Se considera que tienen baja madurez y bajo valor comercial. La mayoría de las empresas deberían limitar su exposición a estas tecnologías a experimentos limitados, esperando que el valor comercial esperado de estas categorías más nuevas mejore antes de invertir.
Datos como servicio
Los datos como servicio (DaaS), también conocidos como datos como producto (DaaP), ofrecen una capa común de acceso a datos a través de interfaces de programación de aplicaciones (API), SQL, ODBC/JDBC y otros protocolos, aprovechando plataformas de datos como la virtualización de datos, data mesh, plataforma de integración como servicio (iPaaS) y otros. Estos son parte de la nueva generación de tecnología avanzada de integración de datos que se enfoca en una capa común de acceso a datos para acelerar varios casos de uso.
DaaS/DaaP ofrece una capa de acceso a datos para admitir consultas, informes, acceso a datos y aplicaciones integradas y personalizadas. Ofrece varios beneficios comerciales, incluida la compatibilidad con una vista común de los datos comerciales y de los clientes mediante protocolos estándar de la industria.
Forrester espera que DaaS/DaaP experimente un crecimiento continuo en los próximos años a medida que crece la demanda de datos confiables y en tiempo real en todas las aplicaciones. Es probable que veamos más innovaciones en actualizaciones en tiempo real, integración y capacidades de autoservicio.
Malla de datos
Una malla de datos ofrece la capacidad de optimizar cargas de trabajo mixtas al hacer coincidir los motores de procesamiento y los flujos de datos con los casos de uso correctos. Se conecta a la arquitectura basada en eventos, lo que permite el soporte para casos de uso de borde.
Una malla de datos ofrece una arquitectura que permite un plano de comunicaciones entre aplicaciones, máquinas y personas. Hace coincidir los datos, las consultas y los modelos con la solución para mantener a cada parte (humana y máquina) sincronizada y hablando el mismo idioma.
Permite a los desarrolladores, ingenieros de datos y arquitectos ser más productivos y acelerar varios casos de uso comercial.
La tecnología de malla de datos aún está en pañales. Una malla de datos aprovecha la malla de servicios para los datos, un modelo de publicación/suscripción (pub/sub) para el perímetro, y el almacenamiento local y a bordo y los desplazamientos para admitir una arquitectura nativa de la nube. Es probable que veamos que la malla de datos se convierte en una plataforma a largo plazo.
Gráfico de conocimiento
Un gráfico de conocimiento utiliza motores gráficos para admitir conexiones e integración de datos complejos. Ayuda a crear motores de recomendación, limpiar datos, realizar análisis predictivos y conectar datos rápidamente. Los desarrolladores, ingenieros de datos y arquitectos de datos pueden trabajar rápidamente con datos desordenados y no relacionados para acelerar el desarrollo de aplicaciones y nuevos conocimientos comerciales.
Aprovecha un modelo de datos gráficos para almacenar, procesar e integrar datos conectados, creando una base de conocimiento para responder preguntas complejas y conocimientos modernos.
Un gráfico de conocimiento acelera los análisis y los conocimientos que necesitan datos conectados para aplicaciones, conocimientos o análisis. También mejora la productividad de los desarrolladores, ingenieros de datos, arquitectos y analistas de datos.
Como tecnología de integración de datos, los gráficos de conocimiento aún están evolucionando con soporte para automatización, inteligencia artificial integrada/aprendizaje automático y capacidades de autoservicio. Un gráfico de conocimiento aprovecha el modelo de gráfico, el catálogo de datos y las ontologías específicas de dominio para ofrecer una base de conocimiento.
acelerador de consultas
El mercado de aceleradores de consultas ha ganado algo de fuerza para ayudar a los desarrolladores e ingenieros de datos a optimizar las consultas rápidamente y acercar la computación a los datos, minimizando así el movimiento de datos. Esta tecnología es útil cuando tiene datos almacenados en lagos de datos, almacenes de objetos o almacenes de datos complejos donde las consultas de ajuste no suelen ser sencillas.
A diferencia de los sistemas de virtualización de datos, los aceleradores de consultas aceleran las consultas a través de un optimizador de consultas mejorado, acercando la computación a los datos y obteniendo solo datos seleccionados de fuentes de datos como bases de datos distribuidas, almacenes de datos, lagos de datos, almacenes de objetos y archivos.
Un acelerador de consultas ayuda a las empresas a acelerar los análisis y las búsquedas de datos a través de una consulta simplificada que pueden ejecutar los analistas comerciales, los usuarios comerciales y las organizaciones de TI.
Forrester espera que evolucionen aún más en los próximos años, con inteligencia artificial/aprendizaje automático mejorado e inteligencia de datos integrada en los productos aceleradores de consultas, combinados con un mayor rendimiento y escala de consultas con menos recursos informáticos y una integración más automatizada de datos distribuidos.
Este es un extracto de “La marea tecnológica de Forrester: integración de datos empresariales, cuarto trimestre de 2021”. Noel Yuhanna es analista principal y vicepresidente de Forrester.