Los fabricantes de servidores han reconocido desde hace tiempo el nicho en la computación en la nube pública que los servidores físicos llenan perfectamente. Esto ha evolucionado con el tiempo hasta que los líderes de TI y la industria reconocen que algunas cargas de trabajo siempre se ejecutarán localmente; algunos pueden ejecutarse tanto en la nube pública como en las instalaciones, y otros pueden estar totalmente basados en la nube.
La inferencia de inteligencia artificial (IA) es la carga de trabajo que ahora está ganando terreno entre los proveedores de servidores, ya que buscan abordar las preocupaciones sobre la pérdida de datos, la soberanía de los datos y los posibles problemas de latencia, al procesar datos de IA desde dispositivos de vanguardia y el Internet de las cosas (IoT). .
Dell Technologies ahora ha ampliado su plataforma de software de operaciones de borde Dell NativeEdge para simplificar la forma en que las organizaciones implementan, escalan y utilizan la IA en el borde.
La plataforma Dell ofrece lo que la empresa describe como “incorporación de dispositivos a escala”, gestión remota y orquestación de aplicaciones multinube. Según Dell, NativeEdge ofrece capacidades de alta disponibilidad para mantener procesos comerciales críticos y cargas de trabajo de IA perimetrales, que pueden continuar ejecutándose independientemente de interrupciones de la red o fallas del dispositivo. La plataforma también ofrece migración de máquinas virtuales (VM) y conmutación por error automática de aplicaciones, computación y almacenamiento, lo que, según Dell, proporciona a las organizaciones mayor confiabilidad y operaciones continuas.
Uno de sus clientes, Nature Fresh Farms, está utilizando la plataforma para gestionar más de 1000 instalaciones habilitadas para IoT. “Dell NativeEdge nos ayuda a monitorear los elementos de la infraestructura en tiempo real, garantizando condiciones óptimas para nuestros productos y recibiendo información integral sobre nuestras operaciones de empaque de productos”, dijo Keith Bradley, vicepresidente de tecnología de la información de Nature Fresh Farms.
Coincidiendo con la conferencia KubeCon North America 2024, Nutanix anunció su soporte para IA híbrida y multinube basada en la nueva plataforma Nutanix Enterprise AI (NAI). Esto se puede implementar en cualquier plataforma Kubernetes, en el borde, en centros de datos centrales y en servicios de nube pública.
Nutanix dijo que NAI ofrece un modelo operativo híbrido de múltiples nubes consistente para cargas de trabajo de IA aceleradas, ayudando a las organizaciones a implementar, ejecutar y escalar de forma segura puntos finales de inferencia para modelos de lenguajes grandes (LLM) para respaldar la implementación de aplicaciones de IA generativa (GenAI) en minutos, no en días. o semanas.
Es una historia similar en HPE. Durante el día de la IA de la compañía en octubre, el director ejecutivo de HPE, Antony Neri, analizó cómo algunos de sus clientes empresariales necesitan implementar modelos de IA en lenguajes pequeños.
“Por lo general, eligen un modelo de lenguaje grande que se adapta a las necesidades y ajustan estos modelos de IA utilizando sus datos únicos y muy específicos”, dijo. “Vemos que la mayoría de estos fueron cargas en las instalaciones y en ubicaciones compartidas donde los clientes controlan sus datos, dadas sus preocupaciones sobre la soberanía y regulación de los datos, la fuga de datos y la seguridad de las API de la nube pública de IA”.
En septiembre, HPE dio a conocer una colaboración con Nvidia que dio como resultado lo que Neri describe como una “pila de nube privada llave en mano que facilita a empresas de todos los tamaños desarrollar e implementar aplicaciones generativas de IA”.
Dijo que con solo tres clics y menos de 30 segundos para implementar, un cliente puede implementar una IA en la nube privada de HPE, que integra la red informática acelerada de Nvidia y el software de IA con el servidor de IA, el almacenamiento y los servicios en la nube de HPE.
Durante su evento Tech World en octubre, Lenovo presentó Hybrid AI Advantage con Nvidia, que, según dijo, combina capacidades de IA de pila completa optimizadas para la industrialización y la confiabilidad.
La parte de IA del paquete incluye lo que Lenovo llama “una biblioteca de soluciones de casos de uso de IA listas para personalizar que ayudan a los clientes a superar las barreras del retorno de la inversión”. [return on investment] de la IA”.
Las dos empresas se han asociado estrechamente para integrar modelos de computación, redes, software e inteligencia artificial acelerados de Nvidia en el sistema modular Lenovo Hybrid AI Advantage.
Edge AI con los hiperescaladores
Todas las plataformas de nube pública ofrecen entornos ricos en funciones para GenAI, aprendizaje automático y ejecución de cargas de trabajo de inferencia. También tienen ofertas de productos para atender la inferencia de IA en IoT y dispositivos informáticos de vanguardia.
Amazon Web Services ofrece SageMaker Edge Agent; Azure IoT Hub es parte de la combinación que ofrece Microsoft; y Google tiene Google Distributed Cloud. Estas ofertas generalmente se centran en hacer el trabajo pesado, es decir, el aprendizaje automático, utilizando los recursos disponibles en sus respectivas nubes públicas para construir modelos de datos. Luego se implementan para impulsar cargas de trabajo de inferencia en el borde.
Lo que parece estar sucediendo con las empresas de servidores tradicionales es que, en respuesta a la amenaza de la IA en la nube, ven una serie de oportunidades. Los departamentos de TI seguirán comprando e implementando cargas de trabajo locales, y la IA en el borde es una de esas áreas de interés. El segundo factor que probablemente influya en los compradores de TI es la disponibilidad de planos y plantillas que les ayuden a alcanzar sus objetivos empresariales de IA.
Según el analista Gartner, si bien los proveedores de nube pública han sido muy buenos a la hora de mostrar el arte de lo posible con IA y GenAI, no han sido particularmente buenos a la hora de ayudar a las organizaciones a alcanzar sus objetivos de IA.
En su intervención en el reciente Simposio de Gartner, Daryl Plummer, analista jefe de investigación de Gartner, advirtió que los proveedores de tecnología están demasiado centrados en observar el avance de la IA desde su perspectiva, sin llevar a los clientes en el camino para lograr los objetivos de estos sistemas avanzados de IA. “Microsoft, Google, Amazon, Oracle, Meta y OpenAI han cometido un gran error: nos muestran lo que podemos hacer. [but] No nos están mostrando lo que debemos hacer”, dijo.
Las piezas que faltan tienen que ver con la experiencia en el dominio y los productos y servicios de TI que pueden adaptarse a los requisitos únicos de un cliente. Sin duda, esta parece ser el área de enfoque que empresas como Dell, HPE y Lenovo buscarán crecer en asociación con firmas de consultoría de TI.