El software de código abierto tiene una serie de beneficios sobre productos comerciales, sobre el hecho de que se puede descargar de forma gratuita. Esto significa que cualquiera puede analizar el código y, suponiendo que tenga el entorno de hardware y software adecuado, puede comenzar a usar el código fuente abierto de inmediato.
Con inteligencia artificial (IA), hay dos partes para estar abiertas. El código fuente para el motor AI en sí se puede descargar de un repositorio, inspeccionar y ejecutar en hardware adecuado al igual que otro código de código abierto. Pero Open también se aplica al modelo de datos, lo que significa que es completamente factible que alguien ejecute un modelo de IA local que ya ha sido entrenado.
En otras palabras, con el hardware correcto, un desarrollador es libre de descargar un modelo de IA, desconectar el hardware de destino de Internet y ejecutarlo localmente sin el riesgo de que los datos de consulta se filtren a un servicio de IA basado en la nube.
Y dado que es de código abierto, el modelo AI se puede instalar localmente para que no incurra en los costos asociados con los modelos de IA alojados en la nube, que generalmente se cobran en función del volumen de consultas medidas en tokens enviados al motor de IA.
¿Cómo difiere un modelo abierto de la IA comercial?
Todo el software debe tener licencia. Los productos comerciales se cambian cada vez más en una suscripción y, en el caso de los modelos de idiomas grandes (LLM), el costo se correlaciona con la cantidad de uso, en función del volumen de tokens sometidos a la LLM y el hardware consumido en términos de horas de horas de horas de horas de horas Tiempo de unidad de procesamiento de gráficos (GPU) utilizado por el modelo cuando se consulta.
Como todo el software de código abierto, un LLM que es de código abierto está sujeto a los términos y condiciones del esquema de licencia utilizado. Algunas de estas licencias ponen restricciones sobre cómo se usa el software, pero, en general, no hay tarifas de licencia asociadas con la ejecución de un modelo abierto localmente.
Sin embargo, existe una carga si el modelo abierto se ejecuta en infraestructura de nube pública o se accede como un servicio en la nube, que generalmente se calcula en función del volumen de tokens enviados a la LLM mediante programación utilizando interfaces de programación de aplicaciones (API).
¿Cuáles son los beneficios de los modelos de IA de código abierto?
Más allá del hecho de que se puedan descargar y implementarlo en las instalaciones sin costos adicionales, su apertura ayuda a progresar en el desarrollo del modelo de manera similar a cómo la comunidad de código abierto puede mejorar los proyectos.
Al igual que otros proyectos de código abierto, cualquier persona puede verificar un modelo AI que es de código abierto. Esto debería ayudar a mejorar su calidad y eliminar errores y seguir abordando el sesgo, cuando los datos de origen sobre los que se capacita un modelo no es lo suficientemente diverso. El siguiente podcast explora aún más los modelos de IA.
Cómo comenzar con modelos abiertos
La mayoría de los modelos de IA ofrecen acceso gratuito o de bajo costo a través de la web para permitir a las personas trabajar directamente con el sistema AI. El acceso programático a través de API a menudo se cobra en función del volumen de tokens enviados al modelo como datos de entrada, como el número de palabras en una consulta de lenguaje natural. También puede haber una carga para los tokens de salida, que es una medida de los datos producidos por el modelo cuando responde a una consulta.
Dado que es de código abierto, se puede descargar un modelo abierto de su repositorio de código abierto (“Repo”) en GitHub. El repositorio generalmente contiene diferentes compilaciones para sistemas de destino, como las distribuciones de Linux, Windows y MacOS.
Sin embargo, si bien este enfoque es cómo los desarrolladores tienden a usar el código de código abierto, puede ser un proceso muy involucrado y un científico de datos puede solo querer “intentar” el último y más grande modelo, sin tener que entrar en el proceso algo arduo de obtener el modelo en funcionamiento.
Pase en abrazar Face, una plataforma de IA donde las personas que desean experimentar con modelos de IA pueden investigar lo que está disponible y probarlos en conjuntos de datos, todo desde un solo lugar. Hay una versión gratuita, pero Hugging Face también proporciona una suscripción empresarial y diversos precios para desarrolladores de modelos de IA para alojar y ejecutar sus modelos.
https://www.youtube.com/watch?v=jbffuwl0tyy
Otra opción es Ollama, una herramienta de línea de código abierto y línea de comandos que proporciona una forma relativamente fácil de descargar y ejecutar LLMS. Para una interfaz de usuario gráfica completa para interactuar con LLMS, es necesario ejecutar una plataforma AI como Open WebUI, un proyecto de código abierto disponible en GitHub.
Cómo los modelos de IA de código abierto admiten seguridad de TI corporativa
Los líderes de seguridad cibernética han expresado preocupaciones sobre la facilidad con la que los empleados pueden acceder a los LLM populares, lo que presenta un riesgo de fuga de datos. Entre las fugas ampliamente informadas se encuentra el uso de ChatGPT por parte de Samsung Electronics para ayudar a los desarrolladores a depurar el código. El código, en efecto, la propiedad intelectual de Samsung Electronics, se cargó en el ChatGPT Public LLM y efectivamente se subsumió en el modelo.
El gigante tecnológico rápidamente tomó medidas para prohibir el uso de ChatGPT, pero el crecimiento de los llamados copilotos y el aumento de la IA agente tienen el potencial de filtrar datos. Los proveedores de software que implementan tecnología de agente a menudo afirman que mantienen los datos privados de un cliente completamente separados, lo que significa que dichos datos no se utilizan para capacitar al modelo AI. Pero a menos que esté realmente entrenado con los últimos pensamientos, atajos, mejores prácticas y errores, el modelo se volverá rancio y desactualizado.
Un modelo de IA que está abierto se puede ejecutar en un sandbox seguro, ya sea en las instalaciones o alojado en una nube pública segura. Pero este modelo representa una instantánea del modelo de IA que lanzó el desarrollador, y de manera similar a la IA en el software empresarial, se desactualizará rápidamente y se volverá irrelevante.
Sin embargo, cualquier información que se alimente permanezca dentro de los límites del modelo, lo que permite a las organizaciones dispuestas a invertir los recursos necesarios para volver a entrenar el modelo utilizando esta información. En efecto, se pueden utilizar nuevos contenidos empresariales y datos estructurados para enseñar al modelo de IA los detalles de cómo opera el negocio.
¿Qué hardware necesitas?
Hay videos de YouTube que demuestran que un LLM como el modelo chino Deepseek-R1 puede ejecutarse en un dispositivo NVIDIA Jetson Nano Incorpado o incluso un Raspberry Pi, utilizando un adaptador adecuado y una tarjeta GPU relativamente moderna. Suponiendo que la GPU sea compatible, también necesita mucha memoria de video (VRAM). Esto se debe a que para el mejor rendimiento, el LLM necesita ejecutarse en la memoria en la GPU.
La inferencia requiere menos memoria y menos núcleos de GPU, pero cuanto más potencia de procesamiento y VRAM disponible, más rápido puede responder el modelo, como una medida de los tokens que puede procesar por segundo. Para la capacitación de LLM, el número de núcleos de GPU y los requisitos de VRAM aumentan significativamente, lo que equivale a servidores de IA locales extremadamente costosos. Incluso si las GPU se ejecutan en la nube pública con un uso medido, no se puede alejar de los altos costos necesarios para ejecutar cargas de trabajo de inferencia continuamente.
Sin embargo, la gran capacidad de la potencia de cálculo disponible de los hiperscalers significa que puede ser rentable cargar datos de capacitación a un modelo LLM abierto alojado en una nube pública.
Cómo hacer que los modelos de IA de código abierto sean más asequibles para ejecutar
Como su nombre lo indica, un modelo de lenguaje grande es grande. Los LLM requieren grandes conjuntos de datos para capacitación y inmensas granjas de servidores poderosos para capacitación. Incluso si un modelo de IA es de código abierto, el costo del hardware significa que solo aquellas organizaciones que están preparadas para hacer inversiones por adelantado en hardware o capacidad de GPU de reserva en la nube pública tienen los medios para operacionalizar los LLM por completo.
Pero no todos necesitan un LLM y es por eso que hay tanto interés en modelos que pueden ejecutarse con un hardware mucho más barato. Estos llamados modelos de lenguaje pequeño (SLM) son menos intensivos en cómputo, y algunos incluso ejecutarán dispositivos de borde, teléfonos inteligentes y computadoras personales (ver caja).