Las cargas de trabajo de inteligencia artificial (IA) son bastante diferentes a las que hemos visto anteriormente en la empresa. Y en las diferentes fases del trabajo de la IA, el perfil de entrada/salida (E/S) y los impactos en el almacenamiento pueden variar drásticamente.
Después de un entrenamiento intenso, ponemos a trabajar la IA infiriendo de lo que ha aprendido. Además, debemos tener en cuenta los marcos de IA utilizados y sus características, además de las demandas de almacenamiento de referencias y puntos de control de generación aumentada de recuperación (RAG).
Preguntamos sobre todo esto cuando nos reunimos con el vicepresidente y director general de DGX Systems de Nvidia, Charlie Boyle, en el reciente evento Pure Storage Accelerate en Las Vegas.
En esta primera parte de una serie de dos, Boyle habla sobre los desafíos de datos clave para los clientes que se embarcan en proyectos de IA, consejos prácticos para los clientes que comienzan con la IA y las diferencias entre los tipos de cargas de trabajo de IA, como capacitación, ajuste, inferencia, RAG. y puntos de control.
¿Cuál es el mayor desafío con respecto a los datos para la IA que ve para los clientes?
El mayor desafío es saber qué datos son buenos para su IA, qué datos son malos y qué tal vez no importe.
Los buenos datos proporcionarán mejores conocimientos y resultados más precisos. Obviamente, ya sea que estés usando un chatbot o cualquier otra cosa, estos datos proporcionarán la respuesta correcta al usuario final. Lo que yo consideraría datos incorrectos son datos que podrían nublar la respuesta y que no añaden valor.
Podrían ser datos antiguos. Si estoy haciendo un chatbot de servicio al cliente y es un ticket de soporte de hace 15 años, ¿es útil? Tal vez lo sea, tal vez no lo sea. Usted, en su propia empresa, en su propio dominio, tiene que hacer esa distinción.
Si se trata de una pregunta del servicio de asistencia técnica de hace 15 años, podría preguntar: ¿Su línea telefónica está conectada a su módem? Ya no se aplica a usted.
Pero en un contexto manufacturero con infraestructura en una fábrica, algunos de esos activos de capital podrían haber estado en uso durante 20 o 30 años. Entonces, ese ticket de soporte para un problema que ocurrió hace 15 años, que solo ocurre una vez por década en ese producto de fabricación, puede resultarle muy útil.
Por lo tanto, una gran parte de la IA para empresas consiste en comprender los datos que se tienen. Cuando hablamos de comenzar con la IA, siempre es más fácil comenzar con datos que considere seguros.
Si voy a crear un chatbot y mi conjunto de datos de entrenamiento serán tickets de problemas de TI de los últimos 24 meses, probablemente sea súper seguro. Es una cosa interna. Fue curado por expertos porque el personal de TI tomó el tema y escribió notas. O son datos corporativos que han sido examinados, es información de mis comunicados de prensa, de mis presentaciones ante la SEC, por ejemplo, cosas que sé que legalmente tenían que ser precisas.
O aquí hay información de todos mis datos de marketing disponibles públicamente en el sitio web, como hojas de datos e información de productos. Un ser humano miró eso y pensó que lo había escrito correctamente. Así que es fácil empezar.
Pero luego, como empresa, piensas, tengo 20 años de datos. ¿Qué debo hacer con todas estas cosas? ¿Puedo crear insights? Y eso es lo que necesitas para lograr la primera victoria de la IA. Necesitas mostrarle a la gente que es útil. Y luego, paso a paso, analice cuál sería la siguiente cosa más útil para mis usuarios. Esos usuarios podrían ser usuarios internos o externos.
Crea una hipótesis. Es bastante fácil realizar entrenamiento de IA ajustando los modelos existentes. Ya no es necesario esperar seis meses para crear un modelo fundamental como GPT-3 o GPT-4.
Puede utilizar un modelo estándar como Llama, ajustarlo para su dominio y hacerlo en un par de semanas. O un día, según el tamaño del modelo y su infraestructura informática.
Adshead: ¿Cuáles son sus consejos clave para un cliente que quiere utilizar la IA?
Lo primero sería que hay un montón de aplicaciones de IA listas para usar a las que solo necesitas agregar tus datos. Tenemos un gran catálogo en el sitio de Nvidia. Hay sitios como Hugging Face, ese tipo de cosas, donde los usuarios no sólo han usado los modelos, sino que los han comentado.
Lo más común que vemos son los chatbots. Incluso mis usuarios de IA más avanzados, personas que tienen doctorados en este tema, cuando les hablo, me dicen, muchachos, no necesitan codificar el chatbot. Todos los ejemplos de chatbot existen en el mundo.
No es necesario codificar el chatbot. Todos los ejemplos de chatbot existen en el mundo. Elige uno para empezar con eso. Personalízalo según tus propias necesidades. No necesitas un doctorado para iniciarte en la IA
Charlie Boyle, Nvidia
Elija uno para comenzar con eso. Personalízalo según tus propias necesidades. No necesitas un doctorado para iniciarte en la IA.
Así que elige un modelo disponible en el mercado. En muchos lugares, incluido nuestro propio sitio, puede probar completamente el modelo disponible en línea. No necesita incluir ninguno de sus propios datos.
Entonces puedes decir, experimentar, por ejemplo, ¿qué hace este tipo de modelo por mí? ¿Qué tipo de preguntas puedo responder con él? Puede decidir si eso es útil para su negocio, si sería un buen chatbot de TI o una buena búsqueda de servicio al cliente.
Si tiene un sitio web enorme o una biblioteca de documentación de productos, es fácil y seguro colocar un chatbot al frente.
Como usuario de TI, como usuario empresarial, no es necesario ser un experto en chatbots para idear el modelo. Los modelos existen. Sólo necesitabas alimentarlo con tus propios datos. Elija un modelo que crea que funciona y coloque sus propios datos en él.
Pero incluya datos que estén disponibles públicamente, porque no existe ningún riesgo de cumplimiento allí. Así que no es como si hubiera filtrado información confidencial de la empresa. Si lo entreno en un sitio web que tenga toda la información disponible públicamente, entonces estarás a salvo.
Y, una vez que haya superado ese par de experimentos, mire algunos catálogos de modelos para ver si hay un ejemplo que resolvería un problema específico en su negocio al que esté dispuesto a dedicar uno o tres meses. esfuerzo del proyecto en.
¿Cuáles son las diferencias en términos de perfil de E/S entre la capacitación, la capacitación de ajuste, la inferencia, el trabajo con RAG y los diferentes marcos utilizados en la IA? ¿Cuáles son las exigencias de los puntos de control? ¿Y qué exigen del almacenamiento?
Si se trata de un modelo grande que está entrenando desde cero, necesita un almacenamiento muy rápido porque gran parte de la forma en que funciona el entrenamiento de IA es que todos acceden al mismo archivo al mismo tiempo porque todo se hace en paralelo. Eso requiere un almacenamiento y una recuperación muy rápidos. Está principalmente orientado a la lectura.
Con los puntos de control, se requiere mucha E/S porque existe una proporción proporcional al conjunto de datos de entrenamiento. Si solo tiene un nodo entrenando, la probabilidad de que un nodo se caiga, la conexión de red de ese nodo, es muy pequeña. Entonces, si puedo realizar mi entrenamiento en un nodo y me tomará cuatro horas realizar esa ejecución de entrenamiento, probablemente no necesite hacer un punto de control.
En el improbable caso de que sucediera algo, puedo volver a hacer cuatro horas. Luego está el extremo opuesto, que vemos mucho en modelos de lenguajes muy grandes o en tecnología de vehículos autónomos, donde la ejecución de entrenamiento puede durar tres semanas, tres meses y puede tener miles de nodos de cómputo. Tienes la garantía de que con un grupo tan grande y un conjunto de entrenamiento tan largo, algo sucederá.
Un rayo cósmico impactará algo en ese cúmulo y provocará algún error. Y si no realiza el control, podría haber recibido, por ejemplo, dos meses, y si no realiza el control, tendrá que empezar de nuevo por completo.
Entonces la pregunta es ¿con qué frecuencia hago checkpoint? Porque cuando estoy haciendo un punto de control, todo el cálculo se detiene. Y se trata de escribir. Y todos escriben al mismo tiempo.
Cuando haces un punto de control, en un grupo ideal todos terminan exactamente al mismo tiempo. En un grupo bien sintonizado, están en unos pocos segundos. Y luego, ocasionalmente, en un clúster muy grande, es posible que tenga algunos nodos que, por cualquier motivo, puedan ser un poco más lentos que otros. Tal vez se desvíen un par de minutos.
Pero cuando todo el mundo dice: he llegado a los 10 km, todo el mundo se detiene y todo el mundo escribe. Dependiendo del tamaño de su modelo y del tamaño de sus datos, la escritura podría ser muy larga. A veces esa escritura dura más de una hora.
