Keysight Technologies ha lanzado Keysight AI (KAI) Data Center Builder, un conjunto de software diseñado para emular cargas de trabajo del mundo real para evaluar cómo los nuevos algoritmos, componentes y protocolos impactan el rendimiento de la capacitación de inteligencia artificial (IA).
Fundamentalmente, las capacidades de emulación de carga de trabajo del Kai Data Center Builder se atribuyen al habilitar a los operadores de IA, a los proveedores de nubes y proveedores de infraestructura de la unidad de procesamiento de gráficos (GPU) y proveedores de infraestructura para llevar cargas de trabajo de IA realistas a sus configuraciones de laboratorio para validar los diseños de evolución de los clústeres de AI y nuevos componentes. Se dice que pueden experimentar para ajustar esquemas de partición del modelo, parámetros y algoritmos para optimizar la infraestructura y mejorar el rendimiento de la carga de trabajo de IA.
Detrás de la operación del Kai Data Center Builder está el hecho de que los operadores de IA utilizan varias estrategias de procesamiento paralelas, como la partición del modelo, para acelerar la capacitación del modelo de IA. Alinear la partición del modelo con topología y configuración de clúster de IA mejora el rendimiento del entrenamiento. Keysight Technologies dijo que durante la fase de diseño de clúster AI, las preguntas críticas se responden mejor a través de la experimentación, con muchas centradas en la eficiencia del movimiento de datos entre las GPU.
Las consideraciones clave incluyen el diseño de escala de interconexiones de GPU dentro de un host o estante de IA; Diseño de red de escala, incluido el ancho de banda por GPU y la topología; configuración del equilibrio de carga de red y control de congestión; y ajuste de los parámetros del marco de entrenamiento.
La capacidad de emulación de carga de trabajo de Kai Data Center Builder está construida para integrar el modelo de lenguaje grande (LLM) y otras cargas de trabajo de capacitación de modelos de IA en el diseño y validación de componentes de infraestructura de IA, en redes particulares. Está destinado a habilitar una sinergia más estricta entre el diseño de hardware, los protocolos, las arquitecturas y los algoritmos de entrenamiento de IA, el rendimiento del sistema de aumento.
El servicio de emulación de carga de trabajo reproduce los patrones de comunicación de red de los trabajos de capacitación en IA del mundo real para acelerar la experimentación, reducir la curva de aprendizaje necesaria para la competencia y proporcionar información más profunda sobre la causa de la degradación del rendimiento, que no se puede lograr fácilmente experimentando con trabajos reales de capacitación en IA.
El resultado, dijo Keysight, es que sus clientes pueden acceder a una biblioteca de cargas de trabajo de LLM como GPT y LLAMA, con una selección de esquemas de partición de modelos populares como datos paralelos (DP), paralelismo de datos totalmente fragmentados (FSDP) y paralelismo tridimensional (3D).
La compañía agregó que utilizando la aplicación de emulación de carga de trabajo en el Kai Data Center Builder permitió a los operadores de IA que experimentar con paralelismo paralelismo, incluidos los tamaños de partición y su distribución sobre la infraestructura de IA disponible (programación) y comprender el impacto de las comunicaciones en y entre las particiones en el tiempo general de finalización del trabajo (JCT). También se atribuye al permitir a los usuarios identificar la operación colectiva de bajo rendimiento y profundizar para identificar cuellos de botella y analizar la utilización de la red, la latencia de la cola y la congestión para comprender el impacto que tienen en JCT.
“A medida que la infraestructura de IA crece en escala y complejidad, la necesidad de validación y optimización de la pila completa se vuelve crucial”, dijo Ram Periakaruppan, vicepresidente y gerente general de pruebas de red y soluciones de seguridad en Keysight.
“Para evitar retrasos y reelaboración costosos, es esencial cambiar la validación a fases anteriores del ciclo de diseño y fabricación. La emulación de carga de trabajo del constructor de Data Center Kai trae un nuevo nivel de realismo al diseño de componentes y sistemas de IA, optimizando las cargas de trabajo para un rendimiento máximo”.