El almacenamiento flash existente consume mucha energía y desperdicia el rendimiento del centro de datos porque su método de asignación de datos tiene sus raíces en el pasado lejano de los discos duros giratorios y su patrón de bloques fijos. La solución es escribir datos en formato clave-valor y recortar el bloque que se dirige al intermediario.
Esa es la opinión de la startup QiStor de Silicon Valley, que planea lanzar al mercado un software de almacenamiento en un chip personalizado que acelera las lecturas y escrituras del formato de valores-clave.
El valor clave es una forma generalizada de escribir datos. En clave-valor, la clave es el nombre de una variable y el valor es, como sugiere el nombre, su valor. Las claves y los valores pueden tener cualquier longitud dentro de ciertos límites. Pueden ser diferentes tipos de datos, como numéricos, de caracteres, incluso imágenes u otros objetos. También pueden estar anidadas, por lo que una clave puede tener un valor que es otra clave, con valores relacionados.
El valor-clave está muy extendido como formato de datos, encontrándose en el formato JSON, en el almacén de datos etcd de Kubernetes, como tipo de datos en los lenguajes de programación Javascript y Python, entre otros, y es la base de las bases de datos NoSQL.
Lo que aborda QiStor es una tendencia emergente en la que el almacenamiento de datos se escribe y lee directamente en formato clave-valor.
Un factor importante para esto es que la forma actual en que los sistemas de archivos y las bases de datos se comunican con el hardware de almacenamiento suele ser ineficiente. En los sistemas existentes, los datos generalmente se asignan a bloques de 512 kb en los medios. Los sistemas de archivos tienen que traducir entre esa capa física y los datos tal como los ve el usuario y la aplicación. Eso conlleva una sobrecarga de procesamiento.
Además, con el almacenamiento flash, se da el caso de que a medida que los datos se escriben, optimizan, mueven, etc. en el medio, deben borrarse y prepararse para su reutilización. Eso también (es decir, la recolección de basura) crea ineficiencias a medida que los datos se borran y reescriben.
Andy Tomlin, director ejecutivo de QiStor, dijo: “Lo que tenemos ya funciona, pero con muchas ineficiencias, que equivalen a un desperdicio de capacidad, rendimiento y energía. ¿Cuál es la solución óptima? La asignación y el seguimiento del espacio deben realizarse en un solo lugar, en el nivel más bajo y en el hardware de mejor rendimiento.
“Por lo tanto, creemos que la solución es un valor clave. Proporciona una abstracción que es una referencia definida por el usuario. No es el dispositivo que lo define. Hay otras formas, pero clave-valor es la abstracción más simple para la información que queremos almacenar. En la mayoría de las bases de datos, la capa inferior es clave-valor”.
La historia de fondo que QiStor desea resaltar es el creciente problema de alimentar los centros de datos, que se ve exacerbado por el aumento en el uso de la IA.
Ese telón de fondo incluye que los centros de datos utilizan entre el 1% y el 2% de la electricidad mundial y el almacenamiento de datos consume entre el 20% y el 25% de esa cantidad. Mientras tanto, según el Foro Económico Mundial, la potencia informática necesaria para sostener el crecimiento de la IA se duplica aproximadamente cada 100 días.
Centrándose en esto, Tomlin dijo que es cada vez más probable que la demanda clave sea que el hardware del centro de datos descargue el procesamiento de la CPU. El uso de GPU como aceleración de hardware lo ejemplifica, pero también se utilizan DPU, aceleración de red, etc.
Un segundo factor es el uso de bases de datos vectoriales para la IA, para lo cual Tomlin dijo que los almacenes de datos de valores clave son un sustento clave.
QiStor afirma tener una aceleración de 10 a 100 veces que ha obtenido mediante la optimización de lecturas/escrituras y la reducción o eliminación de la recolección de basura. Pero a QiStor todavía le falta un año para poder ofrecer un producto, dijo Tomlin, y agregó: “Hemos construido gran parte de la tecnología central y ahora construiremos el motor de almacenamiento”.
Sus planes son desarrollar su software y ofrecerlo a través de chips de aceleración FPGA, ya sea a través de servicios de terceros basados en la nube o que los clientes puedan especificar en su propia infraestructura.
“Serán clientes que comprarán, por ejemplo, un servicio de base de datos en la nube con aceleración de hardware de valor clave, o comprarán su propia pila y proporcionarán aceleración de valor clave”, dijo Tomlin.
Lo que ofrecerá QiStor es distinto de las unidades flash con clave-valor en lugar de direccionamiento en bloque, como en el estándar NVMe KV.
Hablando de posibles casos de uso de clientes, Tomlin dijo: “Es interesante para clientes con grandes conjuntos de datos, por lo que no son aquellos que caben en la memoria. Estamos hablando de 1PB o más, pero no menos de 100TB como mínimo. En términos de cargas de trabajo, estamos hablando de aplicaciones web, análisis, inteligencia artificial y cualquier cosa que requiera rendimiento y grandes cantidades de almacenamiento”.
Tomlin agregó: “Si a un cliente le importa en cuántos servidores ejecuta clave-valor, probablemente seamos interesantes. Algunos clientes ejecutan decenas o miles de servidores que ejecutan clave-valor… departamentos enteros dedicados a ello. El mercado de bases de datos asciende a 100.000 millones de dólares y una gran parte está en valores-clave.