Parecería que la adopción de bases de datos en la nube (aquellas entregadas a través de un modelo de consumo en la nube) está aumentando.
El mercado de bases de datos en la nube, denominado dbPaaS (plataforma de base de datos como servicio) por el analista Gartner, está dominado por proveedores de nube pública. Amazon Web Services (AWS), Microsoft, Google, Oracle y Alibaba se encuentran entre los líderes identificados por la firma analista en su Cuadrante mágico para sistemas de gestión de bases de datos en la nube, publicado en diciembre de 2023. En términos generales, estos proveedores ofrecen una variedad de capacidades de gestión de datos. Otros líderes identificados por Gartner incluyen MongoDB, que se especializa en tecnología de bases de datos no relacionales, y Snowflake y Databricks, que se centran en almacenes y lagos de datos.
Según Gartner de agosto de 2023 Análisis de pronóstico: sistemas de gestión de bases de datos, a nivel mundial, Se prevé que el mercado de sistemas de gestión de bases de datos (DBMS) crezca a una tasa de crecimiento anual compuesta del 16,8% hasta 2027 hasta alcanzar los 203.600 millones de dólares, lo que representa el 27% del gasto total del mercado de software de infraestructura en 2027. El pronóstico muestra que el porcentaje de El gasto en dbPaaS en la nube crecerá del 55% del mercado total de DBMS en 2022 al 73,5% en 2027.
Según Gartner, la transición de la compra de software DBMS (pasar de grupos de TI centralizados y heredados a líneas de negocio descentralizadas dentro de una empresa) está impulsando este aumento en el gasto en DBMS. Tradicionalmente, con los servicios de TI centralizados, diferentes áreas de una empresa compartían un DBMS. Gartner señala que ahora se les ha dado la libertad de elegir su DBMS basándose en los criterios de su propia unidad y luego construir sus propias bases de datos en lugar de utilizar sistemas compartidos.
Sin embargo, el vicepresidente y analista principal de Forrester, Noel Yuhanna, advierte que algunas bases de datos en la nube se basan en tecnología patentada, lo que dificulta la migración a otras bases de datos. También hay una falta de visibilidad en los costos. “Sin supervisión y gestión, el uso excesivo de la infraestructura puede generar costes inesperados”, afirma. Yuhanna recomienda que los responsables de la toma de decisiones de TI consideren la posibilidad de personalizar las bases de datos en la nube en comparación con las bases de datos locales, ya que algunas imponen restricciones de personalización.
El enfoque híbrido
Hay casos en los que los tomadores de decisiones de TI buscarán opciones para proteger su plataforma de base de datos de nube pública en una región específica. Sin embargo, claramente habrá casos de uso en los que (tal vez para cumplir con las regulaciones regionales de datos y privacidad) los almacenes de datos y las bases de datos deban implementarse en las instalaciones.
Los proveedores de infraestructura hiperconvergente como Nutanix, por ejemplo, ofrecen ofertas de base de datos como servicio de pago por uso, que brindan a los tomadores de decisiones de TI herramientas de automatización para la gestión de bases de datos y la capacidad de implementar en entornos de TI híbridos, incluidos los públicos y privados. nubes.
Ciertos casos de uso requieren una combinación de bases de datos locales y de nube pública. Por ejemplo, MongoDB recientemente presentó una versión preliminar de su Atlas Edge Server, que brinda a los desarrolladores la capacidad de implementar y operar aplicaciones distribuidas en la nube y en el borde. Atlas Edge Server proporciona una instancia local de MongoDB con un servidor de sincronización que se ejecuta en una infraestructura local o remota. Según MongoDB, esto reduce significativamente la complejidad y el riesgo involucrado en la gestión de aplicaciones en entornos de borde.
Integración de datos
Entre los términos que se utilizan a menudo cuando se analiza una arquitectura de datos empresariales se encuentra el canal de datos. Los equipos responsables de los datos deben proporcionar una manera de incorporar datos de los sistemas de TI corporativos que pueden estar en silos, incluidas bases de datos y aplicaciones empresariales. Este proceso de ingesta de datos a menudo implica conectores de datos complejos y frágiles, que en ocasiones pueden fallar y provocar interrupciones operativas.
Un ejemplo de lo que ofrecen los proveedores de dbPaaS es la herramienta LakeFlow recientemente introducida por Databricks, que automatiza la implementación, operación y monitoreo de canalizaciones a escala en producción con soporte integrado para integración/entrega continua (CI/CD) y flujos de trabajo avanzados que soportan activación, ramificación y ejecución condicional.
La parte de conectividad de datos de LakeFlow, llamada Connect, admite MySQL, Postgres, SQL Server y Oracle, así como aplicaciones empresariales como Salesforce, Dynamics, SharePoint, Workday y NetSuite.
El componente de extracción, traducción y carga (ETL) de la herramienta LakeFlow de Databricks ofrece lo que, según la compañía, es un modo en tiempo real para transmisión de baja latencia sin ningún cambio de código. La parte final de la herramienta ofrece orquestación, estado y entrega de datos automatizados. Según Databricks, proporciona capacidades de flujo de control mejoradas y observabilidad total para ayudar a detectar, diagnosticar y mitigar problemas de datos para una mayor confiabilidad de la tubería.
Interoperabilidad
Por su propia naturaleza, una dbPaaS se implementa sobre una plataforma de nube pública, lo que significa que los compradores de TI corren el riesgo de quedar atrapados en cualquier cosa que su proveedor de nube pública decida hacer.
El reciente anuncio de Snowflake de hacer que su catálogo Polaris sea de código abierto es un intento de proporcionar una mayor interoperabilidad de plataforma con el formato de tabla Apache Iceberg.
Desarrollado originalmente por Netflix, Iceberg se describe como un formato de tabla para datos tabulares grandes y de movimiento lento. Proporciona metadatos que describen tablas de bases de datos. Un beneficio es que ofrece una forma estándar para que las empresas ejecuten análisis en múltiples lagos de datos.
En su conferencia anual de usuarios en junio de 2024, Snowflake dijo que brindaría a las empresas y a toda la comunidad Iceberg nuevos niveles de elección, flexibilidad y control sobre sus datos, con seguridad empresarial total e interoperabilidad de Apache Iceberg con AWS, Confluent, Dremio, Google Cloud. , Microsoft Azure y Salesforce, entre otros.
En ese momento, Christian Kleinerman, vicepresidente ejecutivo de producto de Snowflake, dijo: “Las organizaciones quieren almacenamiento abierto y motores de consulta interoperables sin bloqueo. Ahora, con el apoyo de los líderes de la industria, estamos simplificando aún más la forma en que cualquier organización puede acceder fácilmente a sus datos a través de diversos sistemas con mayor flexibilidad y control”.
El objetivo de Snowflake es ofrecer a la comunidad Apache Iceberg una forma de aprovechar sus datos a través de un enfoque abierto y neutral que, según Kleinerman, ofrece “interoperabilidad entre motores en esos datos”.
Calidad de datos
Un área clave que puede frenar los proyectos de TI empresariales es la calidad de los datos. En un blog reciente, Stephen Catanzano, analista senior de plataformas de datos de Enterprise Strategy Group, señala una investigación realizada por la firma de analistas que muestra que el 79% de las organizaciones reconocen la necesidad de utilizar inteligencia artificial (IA) en procesos de misión crítica para competir mejor. , pero el 62% de las partes interesadas de la línea de negocio sólo confían parcialmente en los datos de su organización.
“Esta disparidad entre la necesidad de IA y la confianza en los datos debe cerrarse rápidamente. Descubrimos que la mayoría de las organizaciones se centran en gran medida en la calidad de los datos como parte del gobierno de datos para ganar confianza y entregar datos listos para la toma de decisiones a los empleados capacitados para tomar decisiones”, escribe Catanzano.
El blog analiza el producto Cloud Data Access Management (CDAM) de Informatica, que, según Catanzano, representa un camino para ayudar a las organizaciones a alcanzar sus objetivos en términos de calidad y gobernanza de los datos. “Dado que los datos se vuelven cada vez más fundamentales para impulsar los resultados comerciales, se ha vuelto imperativo que las organizaciones cuenten con mecanismos de gobernanza sólidos”, escribe.
Cuando se anunció CDAM, Brett Roscoe, vicepresidente senior y gerente general de gobierno de datos de Informatica, escribió en su blog que el producto proporciona gobierno de datos impulsado por IA, lo que permite a las organizaciones implementar análisis e IA con controles de privacidad y seguridad automatizados y basados en políticas. impulsado por la inteligencia de metadatos.
Preparando el escenario para la IA
Suponiendo que el pronóstico de Gartner sea una indicación justa de hacia dónde se dirige el mercado de bases de datos, parecería que el control central de TI de las bases de datos empresariales está siendo reemplazado por la elección de cada unidad de negocios de la base de datos más apropiada para cumplir con sus requisitos específicos. El hecho de que las bases de datos en la nube tiendan a ser más fáciles de implementar y potencialmente ofrecer un costo total de propiedad más bajo las hace atractivas para los compradores de TI.
Como señala Yuhanna de Forrester, también ofrecen a los líderes de TI una forma de optimizar las operaciones de TI y una forma más rápida de implementar aplicaciones de bases de datos. Y añade: “Existe una correlación significativa entre la adopción de DBMS basados en la nube y la tasa de adopción de la IA”.