65 TB por hora, desde cualquier lugar del mundo hacia cualquier otro lugar, sin importar la calidad de la conexión entre ellos. Esa es la velocidad de transferencia lograda por la solución de almacenamiento compartido de Arcitecta, que opera a través del almacenamiento en la nube y en ubicaciones in situ.
Al igual que Hammerspace, Nasuni, Panzura y Ctera, la solución Mediaflux de Arcitecta permite compartir archivos en múltiples sitios a nivel internacional, lo que permite a la fuerza laboral ver archivos en el almacenamiento conectado a la red (NAS) local y en la nube pública creados por colegas en otros lugares.
“A diferencia de los demás, no somos una empresa de almacenamiento”, dijo Graham Beasley, director de operaciones de Arcitecta, al sitio hermano francés de Computer Weekly. LeMagIT durante un evento reciente del IT Press Tour.
“Nuestra experiencia está en las bases de datos. Vendemos nuestro sistema de base de datos a empresas con matrices de NetApp, IBM Spectrum Scale, Dell Isilon u otros para permitirles administrar documentos en formato de archivo u objeto en sus sitios. Ponemos los datos a disposición en cualquier lugar, cuando sea necesario, a través del módulo Livewire en Mediaflux”, añadió.
“A menudo se ha dicho que las velocidades de transferencia que obtenemos son teóricamente imposibles”, dijo Jason Lohrey, director ejecutivo y fundador de Arcitecta. “Nuestro secreto es que no es sólo una cuestión de velocidad. Resolvemos el problema de conexión. Y hacer eso es una cuestión de gestión de datos. Tienes que mover los datos correctos en el momento correcto”.
La solución de velocidad: una base de datos XODB
“Trabajamos con millones de formatos de archivos”, dijo Lohrey. “Eso nos permite indexar billones de fragmentos de datos en nuestra base de datos de metadatos. Un guardado en nuestra base de datos representa aproximadamente 1 kb por archivo indexado. A partir de ahí, esto se sincroniza en todos los sitios de la empresa y cualquier archivo se puede encontrar desde cualquier otro lugar.
No somos una empresa de almacenamiento. Nuestra experiencia está en bases de datos. Ponemos los datos a disposición en cualquier lugar, cuando sea necesario, a través del módulo Livewire en Mediaflux
Graham Beasley, Arcitecta
“Cuando tienes uno, 10 o 100 millones de archivos compartidos entre sucursales de una empresa multinacional, nuestro motor de búsqueda puede encontrarlo y mostrártelo en unas pocas docenas de milisegundos, lo que llevaría horas en un producto de la competencia”, añadió.
Según Lohrey, la genialidad del producto reside en la forma en que se fragmentan los archivos. Los fragmentos de archivos se transfieren de un lugar a otro por canales paralelos y no necesariamente en orden cronológico o por anticipación.
“El objetivo es mover la cantidad mínima de datos en el momento en que el usuario quiere abrir el documento”, dijo Lohrey. “Desde el momento en que un archivo se incorpora a la matriz, hacemos referencia a él y copiamos sus bloques en las ubicaciones donde nuestros datos indican que se utilizará.
“Si actualiza un archivo de 70 TB, no tenemos que volver a escanear todos los metadatos”, dijo Lohrey. “Nuestro sistema simplemente lo actualiza desde la versión anterior del archivo en un abrir y cerrar de ojos”.
Lohrey desea resaltar la funcionalidad en su base de datos que gestiona las coordenadas temporales y espaciales de cada documento. Conocida como XODB, es una base de datos de objetos XML binarios integrada en Mediaflux que gestiona vectores entre archivos para permitirle comprender cuáles podrían necesitar replicarse en otras ubicaciones en función de la actividad anterior.
“Si este sistema funciona eficientemente es porque no sólo hemos escrito su base de datos, sino que también hemos reescrito desde cero nuestros protocolos de intercambio NFS, SMB y S3 para que articulen mejor la información disponible en XODB”, dijo Lohrey. “Eso trae algunas ventajas, incluida la posibilidad de gestionar jerarquías virtuales que corresponden a una búsqueda”.
En la última versión, Livewire tiene en cuenta el ancho de banda disponible en los enlaces de red para comprimirlos sobre la marcha mediante diferentes métodos antes de transferirlos a otro sitio. También se optimiza la forma en que reenvía paquetes perdidos durante la comunicación TCP/IP.
Una interfaz que usted mismo desarrolla
Mediaflux no se entrega con una consola para buscar archivos. En su lugar, Arcitecta suministra un kit para desarrollar la interfaz que mejor se adapte al cliente.
“La capacidad de explotar sus datos a menudo está relacionada con su visualización y uso”, dijo Beasley. “No es posible crear una interfaz genérica que sepa gestionar todo tipo de datos. Por lo tanto, hemos desarrollado un marco que permite a los usuarios crear la mejor interfaz para sus necesidades muy rápidamente. Si corresponde, podemos escribir esa interfaz si el cliente lo desea. Recientemente, desarrollamos una interfaz para un museo en sólo cuatro días”.
Además de las búsquedas de archivos, la interfaz de gestión permite definir reglas sobre la ubicación de los datos. Se trata de reglas establecidas manualmente que ayudan a Mediaflux a anticipar la ubicación de los archivos para dar la impresión de que han sido movidos rápidamente desde el otro lado del mundo cuando un usuario intenta acceder a ellos.
En la hoja de ruta de Mediaflux, Arcitecta destaca una mayor densidad de metadatos y la capacidad de ingerir contenido en inteligencia artificial generativa (GenAI) utilizando la capacidad de recuperación de generación aumentada (RAG). Este último requiere que los datos estén en formato vectorial, lo que se adapta a XODB ya que ya tiene esa estructura.
