En un impulso hacia las cargas de trabajo de inteligencia artificial (IA), HPE ha actualizado sus matrices de almacenamiento Alletra MP para conectar el doble de servidores y proporcionar 4 veces la capacidad en el mismo espacio de rack.
Un año después del lanzamiento inicial, Alletra MP ahora tiene cuatro nodos de control por chasis en lugar de dos, cada uno con una CPU AMD Epyc de ocho, 16 o 32 núcleos. Sus nodos de datos de 2U ahora también se han convertido en 1U, con 10 SSD de 61,44 TB para una capacidad máxima de 1,2 PB en 2U. Anteriormente, los nodos de datos Alletra MP contenían 20 SSD de 7,68 TB o 15,36 TB (hasta 300 TB por nodo).
Ese aumento en el número de nodos significa que Alletra MP ahora puede conectarse a 2 veces la cantidad de servidores y darles 4 veces la capacidad para el mismo espacio de rack del centro de datos y un uso de energía similar, según HPE.
“A esta nueva generación la llamamos Alletra MP para IA”, afirmó Olivier Tant, experto en HPE Alletra MP NAS.
“Esto se debe a que creemos que es perfectamente adecuado para reemplazar las soluciones de almacenamiento basadas en GPFS o BtrFS, que son complejas de implementar, pero que a menudo se utilizan para cargas de trabajo de IA. También creemos que nuestros arreglos son más eficientes que los de DDN en HPC o Isilon en cargas de trabajo de medios”.
La versión de acceso a bloques SAN funciona como la versión de acceso a archivos NAS con conmutadores ROCE de 100 Gbps que permiten que cualquier nodo controlador acceda a cualquier nodo de datos.
“La gran ventaja de nuestra solución sobre la competencia es que todos los nodos del clúster se comunican entre sí”, afirmó Tant. “En otras palabras, nuestros competidores están limitados, por ejemplo, a 16 nodos de almacenamiento, de los cuales tres se utilizarán para datos redundantes para la codificación de borrado. Eso es entre el 15% y el 20% de la capacidad. Podemos implementar un grupo de 140 nodos, de los cuales tres se utilizan para redundancia mediante codificación de borrado. Sólo perdemos alrededor del 2% de la capacidad, y eso es una verdadera ventaja económica”.
La receta secreta: ROCE de 100 Gbps cambia entre nodos
“Nuestra solución también tiene un mejor rendimiento, lo que se debe, paradójicamente, a que no utilizamos caché a nivel de controlador”, afirmó Michel Parent, experto en HPE Alletra MP NAS. “Con la conectividad NVMe/ROCE de 100 Gbps en todos los elementos del conjunto, la caché se vuelve contraproducente.
“La caché no acelera nada y, de hecho, ralentiza la matriz con incesantes operaciones de copia y verificación”, añadió. Según Parent, ninguna otra matriz de almacenamiento en el mercado utiliza NVMe/ROCE a velocidades de hasta 100 Gbps por puerto.
Los hosts utilizan Ethernet o Infiniband (compatible con Nvidia GPUDirect) para acceder al nodo del controlador más cercano a ellos. Durante las escrituras, ese nodo lleva a cabo la codificación de borrado y fragmenta los datos requeridos en otros nodos SSD. Desde el punto de vista de los hosts de red, todos los nodos del controlador exponen los mismos volúmenes de archivos y bloquean LUN.
En el modo NAS, en el que Alletra MP utiliza el sistema de acceso a archivos de Vast Data, hay un caché compuesto por SCM de flash rápido de Kioxia. Este búfer sirve como espacio de trabajo para deduplicar y comprimir datos de archivos.
“Nuestro sistema de reducción de datos es uno de los de mejor rendimiento, según diferentes puntos de referencia”, afirmó Tant. “Se eliminan todos los duplicados en los datos. Luego, un algoritmo encuentra los bloques que más se parecen entre sí y los comprime, y es muy eficiente”.
Las únicas partes de los archivos que se comparten entre varios nodos son las que resultan de la codificación de borrado. Preferiblemente, se volverá a leer un archivo del SSD que contiene todo.
Más precisamente, durante una lectura, el controlador pasa la solicitud al primer nodo SSD elegido por el conmutador más disponible. Cada nodo de datos contiene el índice de todos los contenidos del clúster. Si el nodo no contiene los datos que se van a leer, envía los requisitos del controlador al nodo que sí los contiene.
En la versión SAN, el mecanismo es similar excepto que funciona por bloque en lugar de a nivel de archivo.
Con una arquitectura de este tipo, que se basa más en la velocidad de los conmutadores que en los controladores, resulta sencillo cambiar de un nodo a otro si uno no responde lo suficientemente rápido en su puerto Ethernet.
Una matriz para varios tipos de almacenamiento
Los SSD NVMe son los más rápidos a la hora de reconstruir un archivo a partir de bloques de datos, porque cada enlace de 100 Gbps en Alletra MP es tan rápido o más rápido que la conexión de red entre el conjunto y el servidor de aplicaciones. En las matrices de la competencia que no utilizan conmutadores entre el controlador y los nodos SSD dedicados, es habitual intentar optimizar para casos de uso particulares.
“Estoy convencido de la ventaja económica de Alletra MP sobre sus competidores”, afirmó Tant. “En un proyecto de IA, una empresa normalmente tiene que implementar un canal de datos. Eso significa que una matriz de almacenamiento de muy alto rendimiento en escrituras recopila el resultado de estas cargas de trabajo. Luego, copia su contenido en una matriz de almacenamiento que tiene rendimiento de lectura para entrenar el modelo para el aprendizaje automático. Luego almacenas el modelo resultante en una matriz híbrida para usarlo”.
“Con Alletra MP solo tienes una matriz que es tan rápida para escrituras como para ML y para la utilización del modelo”, dijo.