Red Hat ha anunciado su intención de adquirir Neural Magic, el desarrollador líder detrás del proyecto de código abierto vLLM.
La adquisición se posiciona como una forma para que Red Hat y su matriz IBM reduzcan la barrera de entrada para las organizaciones que desean ejecutar cargas de trabajo de aprendizaje automático sin la necesidad de implementar servidores equipados con unidades de procesamiento de gráficos (GPU). Esta dependencia crea una barrera de entrada, obstaculiza la adopción generalizada de la inteligencia artificial (IA) en diversas industrias y limita su potencial para revolucionar la forma en que vivimos y trabajamos.
La entrada de GitHub para vLLM describe el software como: “Un motor de servicio e inferencia de alto rendimiento y memoria eficiente para LLM [large language models].”
En un blog sobre el acuerdo, el presidente y director ejecutivo de Red Hat, Matt Hicks, dijo que Neural Magic había desarrollado una forma de ejecutar algoritmos de aprendizaje automático (ML) sin la necesidad de hardware de servidor GPU costoso y, a menudo, difícil de conseguir.
Dijo que los fundadores de Neural Magic querían capacitar a cualquier persona, independientemente de sus recursos, para aprovechar el poder de la IA. “Su enfoque innovador implicó aprovechar técnicas como la poda y la cuantificación para optimizar los modelos de aprendizaje automático, comenzando por permitir que los modelos de aprendizaje automático se ejecutaran de manera eficiente en CPU disponibles sin sacrificar el rendimiento”, escribió.
Hicks habló sobre el cambio hacia modelos de IA más pequeños y especializados, que pueden ofrecer un rendimiento excepcional con mayor eficiencia. “Estos modelos no sólo son más eficientes de entrenar y desplegar, sino que también ofrecen ventajas significativas en términos de personalización y adaptabilidad”, escribió.
Red Hat está impulsando la idea de la dispersión, que, según Hicks, “elimina estratégicamente conexiones innecesarias dentro de un modelo”. Este enfoque, dijo, reduce el tamaño y los requisitos computacionales del modelo sin sacrificar la precisión o el rendimiento. Luego, la cuantificación se utiliza para reducir aún más el tamaño del modelo, lo que permite que el modelo de IA se ejecute en plataformas con requisitos de memoria reducidos.
“Todo esto se traduce en costos más bajos, inferencias más rápidas y la capacidad de ejecutar cargas de trabajo de IA en una gama más amplia de hardware”, añadió.
La intención de Red Hat de adquirir Neural Magic encaja en la estrategia de la empresa matriz IBM de ayudar a los clientes empresariales a utilizar modelos de IA.
En una entrevista reciente con Computer Weekly, Kareem Yusuf, líder de gestión de productos para la cartera de software de IBM, dijo que el proveedor ha identificado una oportunidad de negocio para apoyar a los clientes que desean “combinar fácilmente sus datos en el modelo de lenguaje grande”. Esto, dijo, les permite aprovechar grandes modelos de lenguaje de una manera que permite la protección y el control de los datos empresariales.
IBM ha desarrollado un proyecto llamado InstructLab que proporciona las herramientas para crear y fusionar cambios en los LLM sin tener que volver a entrenar el modelo desde cero. Está disponible en la comunidad de código abierto, junto con IBM Granite, un modelo básico de IA para conjuntos de datos empresariales.
Dario Gil, vicepresidente senior y director de investigación de IBM, dijo: “A medida que nuestros clientes buscan escalar la IA en sus entornos híbridos, los LLM virtualizados y nativos de la nube construidos sobre bases abiertas se convertirán en el estándar de la industria. El liderazgo de Red Hat en código abierto, combinado con la elección de modelos eficientes de código abierto como las ofertas de IBM Granite y Neural Magic para escalar la IA en todas las plataformas, otorga a las empresas el control y la flexibilidad que necesitan para implementar la IA en toda la empresa”.