Los datos siempre se han considerado como las joyas de la corona de una organización, pero debido a la explosión de fuentes de datos, dar sentido a la información estructurada y no estructurada contenida en las diferentes tiendas de datos de una empresa es una tarea cada vez más compleja. Reunir todo para proporcionar una visión homogénea de la actividad comercial puede parecer un proyecto que nunca terminará, por lo que ahora hay interés en la ingeniería de datos.
Según el analista Gartner, los ingenieros de datos desempeñan un papel clave en permitir que las organizaciones desbloqueen el valor de los datos. Esto implica el diseño y los sistemas de construcción para recopilar, almacenar, transformar, operacionalizar y entregar datos a escala. La firma de analistas dice que la ingeniería de datos implica la colaboración entre el negocio y la TI para que los datos apropiados accesibles y estén disponibles para varios usuarios de datos, como científicos de datos o analistas de datos, en el momento adecuado.
Gartner’s Habilidades esenciales para que los ingenieros de datos tengan éxito El informe identifica una variedad de habilidades requeridas en la ingeniería de datos. Los autores de informes Mayank Talwar, Zain Khan y Shubhankar Nandi describen el lenguaje de consulta estructurada (SQL) como generalizado en una amplia gama de herramientas y plataformas, lo que lo convierte en una habilidad crítica y extensible. Como ejemplo de la omnipresencia de SQL, señalan que DBT, una herramienta de transformación de datos, permite a los ingenieros de datos transformar los datos en sus almacenes simplemente escribiendo declaraciones selectas SQL.
La segunda habilidad central identificada en el informe es el procesamiento de datos, que se describe como una “habilidad fundamental que todo ingeniero de datos debe poseer”. Esto se debe a que los datos en su formato sin procesar generalmente no son útiles para el análisis. El procesamiento de datos cubre el procesamiento por lotes y en tiempo real; El almacenamiento cubre tecnologías como lagos de datos, almacenes de datos, bases de datos de gráficos y documentos, y tiendas de objetos. Los lenguajes de programación comunes utilizados por los equipos de ingeniería de datos incluyen Python, Java y Scala.
Otras habilidades básicas enumeradas por Gartner incluyen almacenamiento de datos, orquestación de datos, programación y colaboración. Con respecto a la orquestación de datos, los analistas señalan que las tuberías de ingeniería de datos se están moviendo lentamente de herramientas que admiten arquitecturas basadas en tareas, como Apache Airflow y Luigi, hacia herramientas que ofrecen un enfoque basado en datos, como Dagster, Flyte de Lyft y Lyft y reflujo.
Gartner recomienda que los líderes de TI prioricen el desarrollo de las habilidades centrales de ingeniería de datos, ya que son ampliamente adoptados, se usan fuertemente y han demostrado proporcionar beneficios significativos.
¿Un enfoque más simple?
Existe un caso para evaluar un enfoque más simple para lograr el objetivo de proporcionar datos empresariales oportunos a la empresa en un formato que los usuarios pueden utilizar para la planificación y el análisis. Aquí es donde los proveedores de sistemas tradicionales de planificación de recursos empresariales (ERP) ven una oportunidad para construir un negocio en torno a la necesidad de que las organizaciones tengan una sola versión de la verdad. Desde una perspectiva ERP, esta versión única de la verdad reside en los sistemas de registro que conforman un sistema ERP.
SAP, por ejemplo, ofrece un sistema completo de sistemas y aplicaciones como una oferta centrada en la nube en una suscripción, junto con la minería de procesos y otras herramientas, además de soporte, mantenimiento y otros servicios.
Dale Vile, cofundador de la firma analista Freeform Dynamics, señala que la Plataforma de Tecnología Empresarial de SAP (BTP) puede considerarse una parte integral de la oferta de nubes del proveedor. BTP es esencialmente una plataforma como servicio (PAAS) que permite a los clientes extender las aplicaciones SAP y/o crear aplicaciones personalizadas.
“Para algunos clientes, este tipo de servicio que lo abarca todo es realmente atractivo, ya que significa que ya no tienen que preocuparse tanto por las operaciones a nivel de sistemas, el monitoreo, la seguridad, etc.”, dice Vile. “Muchas de las cosas que hacen que los paisajes de SAP sean tan difíciles de ejecutar y cambiar con el tiempo se cuidan una vez que firme el contrato”.
El contrato vincula efectivamente una organización a SAP. Si bien hay un caso para construir flexibilidad, para algunas organizaciones es mucho más importante tener una sola versión de la verdad y tener todos los datos en un solo lugar. Este es el caso de la empresa de fabricación irlandesa Waterwipes, como explica Liz Cotter.
Puede tener su automatización de análisis avanzado, pero si sus datos maestros no son precisos, sus datos transaccionales no tienen valor
Liz Cotter, Waterwipes
Anteriormente, dice ella, el software como sistema (SaaS) se sentó junto con SAP y “puede haber sido integrado con SAP, pero no se armonizaron por completo”. En otras palabras, la organización seleccionó los mejores productos SaaS para apoyar ciertos procesos comerciales, como recursos humanos o servicio al cliente. Cotter dice que esto significaba que SAP no era el sistema de registro de algunos de los conjuntos de datos más nuevos utilizando el negocio.
Ella dice que SAP DataSphere permite que la empresa ejecute una plataforma estándar como un sistema de registro de datos transaccionales, que proporciona una copia maestra de los datos de la organización. “Siento que SAP ha hecho la transición y está ofreciendo más herramientas para mantenerse al día con la demanda de datos enriquecidos”, dice ella.
Cotter se unió a Waterwipes en enero de 2024 con un mandato para establecer la gestión de datos y la gobernanza de datos. Ella dice que la compañía no estaba haciendo el mejor uso de los datos que tenía disponibles, lo que podría usarse para obtener información y ayudar a alinearse con los indicadores de rendimiento clave (KPI) estratégicos.
“Cuando evaluamos nuestro vencimiento de datos, no había gobierno de datos y seguridad de datos. Necesitábamos una herramienta para ayudar a mitigar ese riesgo rápidamente ”, dice ella.
Como señala Cotter, las iniciativas comerciales exitosas impulsadas por TI requieren una base de datos sólidos. “Puede tener su automatización de análisis avanzado, pero si sus datos maestros no son precisos, entonces sus datos transaccionales no tienen valor”, dice ella. Para Cotter, tiene poco sentido invertir en nuevas tecnologías a menos que los datos sean lo más precisos posible.
La compañía comenzó a trabajar con Bluestonex en la implementación de su herramienta de gestión de datos MAEXTRO Master. Esto se desarrolla en SAP BTP y proporciona gobernanza de datos y gestión de datos parawipes de agua.
“Es básicamente una aplicación para administrar datos, flujos de trabajo e informes de datos”, dice Cotter.
Esto evita que los desarrolladores de SAP tengan que ejecutar consultas directamente en el sistema S/4HANA de la compañía. En términos de madurez de datos, Cotter dice: “No vamos a llegar al nivel de expertos, pero queremos alinear con nuestra estrategia 2027, que es muy ambiciosa en términos de ventas y crecimiento del cliente”.
El enfoque gradual ha implicado la construcción de la gobernanza de datos y las mejores prácticas de gestión de datos primero, antes de invertir en tecnología.
Apoyando la IA
Dada la tendencia de hacer más con la inteligencia artificial (IA), los analistas de Gartner instan a los líderes de TI a garantizar que los ingenieros de datos reconozcan la necesidad de aumentar a sí mismos. Se requiere esta ascendencia, según Gartner, si los ingenieros de datos desean participar en la creación de la capa de base de datos para empresas que han decidido capacitar a los modelos de idiomas en sus datos empresariales.
“Con Genai’s [generative artificial intelligence] APETITO PARA CONTRACIACIÓN DE DATOS EXPONENCIALES, los ingenieros de datos pueden desempeñar un papel fundamental en la creación de plataformas de datos y tuberías que pueden suministrar datos de alta calidad necesarios para capacitar a estos modelos “, señalan los analistas en el Habilidades esenciales para que los ingenieros de datos tengan éxito informe.
Gartner predice que las empresas comenzarán a construir modelos de idiomas más pequeños, más refinados y curados por los negocios, a diferencia de los modelos de idiomas grandes, para mayores controles sobre el costo, la privacidad, el riesgo y la precisión. Gartner cree que los ingenieros de datos deberán aprender a trabajar con datos no estructurados y crear repositorios de datos para permitir la construcción de estos modelos.
Idealmente, los líderes de TI recibirían el tiempo y los recursos para desarrollar una práctica de ingeniería de datos, pero esto es poco probable. La experiencia de Cotter en Waterwipes muestra que es completamente posible incluso para aquellas organizaciones que todavía son bastante tempranas en su viaje de gestión de datos para lograr el valor comercial relativamente rápido. La única advertencia es que esto puede implicar estar atado a un conjunto de productos en particular, como un sistema ERP.
