La idea de integrar sistemas no es nada nuevo. Los departamentos de TI han luchado constantemente para vincular las aplicaciones empresariales de una manera que permita a los responsables de la toma de decisiones tener los datos que necesitan al alcance de la mano. Idealmente, toda esta información debería incluirse en un solo tablero. Pero como la TI empresarial está en constante evolución, cada nueva aplicación proporciona una nueva fuente de datos. A menudo hay un retraso desde el momento en que se implementó una aplicación y cuando TI pudo integrarla completamente en un tablero empresarial.
La TI actual es exponencialmente más compleja. Están las aplicaciones internas, que siguen siendo un dolor de cabeza de integración constante para los CIO. Luego están las implementaciones basadas en la nube y el software como servicio (SaaS), lo que significa que los datos empresariales ahora residen en dos esferas totalmente separadas. Agregue conectividad a socios comerciales y fuentes de terceros, y pronto queda claro que TI enfrenta una lucha cuesta arriba para lidiar con numerosos silos de datos empresariales en un mundo híbrido.
Luego está la complejidad adicional que surge con las implementaciones de nube híbrida y multinube. De hecho, casi la mitad de los 1700 tomadores de decisiones de TI del Reino Unido encuestados por Vanson Bourne en un estudio para Nutanix identificaron la integración de datos en diferentes entornos (49 %) como su principal desafío en la implementación de múltiples nubes.
Estas fuentes de datos dispares deben incorporarse a los sistemas de soporte de decisiones. Pero más allá de la inteligencia comercial tradicional, la integración de datos también tiene un papel esencial en el análisis avanzado, la inteligencia artificial (IA) y el aprendizaje automático (ML).
“También está el asunto no trivial del gobierno de datos en un mundo híbrido”, dice Tony Lock, analista distinguido de Freeform Dynamics, “especialmente uno en el que los proveedores de la nube ofrecen herramientas avanzadas de análisis y aprendizaje automático que pueden operar con grandes volúmenes de datos provenientes de múltiples fuentes. Cualquier análisis que incluya información de diversas fuentes de datos significa que debe tener un gobierno de datos efectivo”.
Además de la falta de un gobierno de datos suficiente, los datos mal integrados conducen a un servicio al cliente deficiente. “En la economía digital, el cliente espera que usted sepa y tenga una visión clara de cada transacción e interacción que ha tenido con la organización”, dice el CIO de Tibco, Rani Johnson. “Si una parte de la experiencia de un cliente está encerrada en un silo, entonces el cliente sufre una mala experiencia y es probable que recurra a otro proveedor”.
Desglosar esos silos de datos requiere un cambio empresarial. “Construir una gestión de datos de extremo a extremo requiere cambios organizacionales”, dice Nicolas Forgues, ex director de tecnología (CTO) de Carrefour, quien ahora es CTO en la consultora Veltys. “Necesita capacitar tanto al personal interno como al externo para cumplir con la misión de datos de la empresa”.
Las empresas corren el riesgo de perder el panorama general, en términos de detección de tendencias o identificación de indicadores de cambios, si carecen de un enfoque empresarial para la gestión de datos y una estrategia para integrar silos.
Según la experiencia de Johnson, una de las razones de la escasa visibilidad de los datos es que las funciones comerciales y las aplicaciones empresariales suelen estar descentralizadas. Si bien la adopción del software como servicio ha aumentado la conectividad, también ha permitido que crezcan silenciosamente más silos de datos, dice.
“Para aprovechar al máximo SaaS, las organizaciones necesitan datos integrados que obtengan información de toda la organización, interconectándose con interfaces de programación de aplicaciones (API) dentro de la organización y su red de socios”, dice Johnson. “Sin una estrategia de datos integrada, las organizaciones no logran maximizar la oportunidad de SaaS, pero también representan un riesgo para la organización a través de debilidades no identificadas en la seguridad y privacidad de los datos. Esto conducirá a una reducción en la calidad de los datos y, por lo tanto, en la confianza empresarial en los datos”.
Legado tecnológico
Dado que el volumen y el uso de los datos cambian constantemente, la infraestructura de TI para respaldar el acceso a los datos construida hace solo unos años ya no es adecuada para los casos de uso modernos con uso intensivo de datos.
El analista Forrester identificó recientemente a tres incondicionales de la pila de integración de datos que los CIO deben comenzar a desmantelar. En La marea tecnológica de Forrester: integración de datos empresariales, cuarto trimestre de 2021la firma de analistas recomienda que los líderes de TI consideren deshacerse de su integración de información empresarial (EII), bus de servicio empresarial (ESB) y e tradicional/por lotes.Extraer, transformar y cargar (ETL) herramientas.
Si bien EII ha sido una tecnología de integración de datos clave durante décadas, la investigación de Forrester descubrió que no cumplió con los nuevos requisitos comerciales para la integración en tiempo real, datos semiestructurados, integración de servicios en la nube y soporte para capacidades de autoservicio. Según Forrester, los proveedores de software de EII ahora están reposicionando sus ofertas hacia los mercados emergentes de virtualización de datos, estructura de datos y servicios de datos.
Es una historia similar con ESB. Forrester señala que las empresas se están alejando de la tecnología ESB hacia nuevas ofertas basadas en una plataforma integrada como servicio (iPaaS), estructuras de datos y virtualización de datos.
Con ETL, el acceso a los datos heredados sigue siendo un problema al que se enfrentan muchas organizaciones. Pero el movimiento por lotes de estos datos mediante ETL ya no está alineado con los requisitos comerciales. En el informe, los analistas de Forrester señalan que la demanda de transmisión en tiempo real, el mayor volumen de datos, la compatibilidad con plataformas híbridas y multinube y las nuevas fuentes de datos han obstaculizado en gran medida el crecimiento de la tecnología.
“Debido a que la mayoría de las nuevas implementaciones analíticas aprovechan la nube pública, las nuevas herramientas de canalización/transmisión de datos en la nube se convertirán en la herramienta ETL estándar”, predicen los analistas de Forrester.
Tomando la delantera en la integración de datos
Alex Housley, director ejecutivo y fundador del especialista en operaciones de aprendizaje automático (MLOps) Seldon, observa una canalización de datos moderna y dice que los científicos de datos pasan gran parte de su tiempo limpiando datos. El trabajo de un ingeniero de datos implica extraer datos de diferentes fuentes para crear flujos de datos en vivo para actualizar un lago de datos central para evitar ETL manual.
Para lograr esto, dice, “estamos viendo una adopción cada vez mayor de [Apache] Kafka para transmisión de datos”. Una vez en un lugar central, Housley dice que los ciudadanos de datos en las unidades comerciales pueden consumir los datos.
Sobre la base de la idea de tener una canalización de datos para ciudadanos de datos, Johnson de Tibco cree que la integración de datos debe ser parte del negocio diario requerido para ejecutar la TI empresarial, en lugar de ser un proyecto único.
“Para que la integración de datos tenga éxito, tiene que ser un programa constante de mejora empresarial que sea iterativo”, dice. “Este enfoque de integración de datos prospera con expectativas equilibradas, compromiso de recursos a largo plazo, repriorización regular, asociación comercial ágil y aprendizaje y mejora continuos. Por lo tanto, la integración de datos será fundamental para el negocio y fundamental para el éxito de los CIO y su agenda de transformación”.
Johnson dice que la integración de datos se basa en las fortalezas clave del equipo de TI y el CIO. Según su experiencia, el departamento de TI y el CIO tienen una visión de 360 grados tanto del cliente como del estado de la empresa, lo que significa que un CIO puede proporcionar una visión equilibrada e imparcial de todo el negocio.
“Según mi experiencia, este es un punto de vista amplio, al igual que las finanzas, ya que el equipo de TI ve el panorama general de todo el negocio, mientras que nuestros pares en otras líneas de negocios tienen objetivos y presiones a corto plazo que, inevitable y necesariamente, dan forma a sus objetivos. vista para ser más personal”, dice ella.