El Centro Nacional de Seguridad Cibernética (NCSC) del Reino Unido ha emitido consejos y orientación para los usuarios de herramientas de IA como ChatGPT que se basan en algoritmos de modelo de lenguaje grande (LLM), diciendo que si bien presentan algunos riesgos para la privacidad de los datos, no son necesariamente tan útiles en la actualidad. cuando se trata de desplegarlos al servicio de la actividad delictiva cibernética.
El uso de LLM ha experimentado un crecimiento exponencial desde que la startup estadounidense OpenAI lanzó ChatGPT a fines de 2022, lo que llevó a empresas como Google y Microsoft a presentar sus propios chatbots de IA a gran velocidad, con resultados variables.
Los LLM funcionan incorporando grandes cantidades de datos basados en texto, generalmente extraídos sin permiso explícito del Internet público. Al hacerlo, dijo el NCSC, no necesariamente filtran todo el contenido ofensivo o inexacto, lo que significa que es probable que se incluya contenido potencialmente controvertido desde el principio.
Luego, el algoritmo analiza las relaciones entre las palabras en su conjunto de datos y las convierte en un modelo de probabilidad que se usa para proporcionar una respuesta basada en estas relaciones cuando se le solicita al chatbot.
“Los LLM son, sin duda, impresionantes por su capacidad para generar una amplia gama de contenido convincente en múltiples lenguajes humanos e informáticos. Sin embargo, no son magia, no son inteligencia general artificial y contienen algunos defectos graves”, dijeron los investigadores del NCSC.
Por ejemplo, dichos chatbots a menudo se equivocan y se los ha visto “alucinando” con hechos incorrectos. Son propensos al sesgo y, a menudo, pueden ser muy crédulos si se les hace una pregunta capciosa. Necesitan enormes recursos informáticos y vastos conjuntos de datos, la obtención de estos últimos plantea cuestiones éticas y de privacidad. Finalmente, dijo el NCSC, se les puede persuadir para que creen contenido tóxico y son propensos a los ataques de inyección.
El equipo de investigación también advirtió que si bien los LLM no necesariamente aprenden de las consultas que se les solicitan, las consultas en general serán visibles para la organización propietaria del modelo, que puede usarlas para desarrollar aún más su servicio. La organización de alojamiento también puede ser adquirida por una organización con un enfoque diferente de la privacidad, o ser víctima de un ataque cibernético que resulte en una fuga de datos.
Las consultas que contienen datos confidenciales también plantean una preocupación: por ejemplo, alguien que le pide a un chatbot de IA consejos de inversión basándose en información no pública puede cometer una violación de uso de información privilegiada.
Como tal, el NCSC está aconsejando a los usuarios de chatbots de IA que se familiaricen con los términos de uso y las políticas de privacidad del servicio, y que tengan mucho cuidado al incluir información confidencial en una consulta o al enviar consultas que podrían generar problemas si lo hicieran. volverse público.
El NCSC también sugirió que las organizaciones que consideren usar LLM para automatizar algunas tareas comerciales eviten usar LLM públicos y recurran a un servicio privado alojado o construyan sus propios modelos.
Uso ciberdelincuente de los LLM
En los últimos meses se ha producido un largo debate sobre la utilidad de los LLM para los actores malintencionados, por lo que los investigadores del NCSC también consideraron si estos modelos facilitan o no la vida de los ciberdelincuentes.
Reconociendo que ha habido algunas demostraciones “increíbles” de cómo los LLM pueden ser utilizados por personas poco capacitadas para escribir malware, el NCSC dijo que en la actualidad, los LLM parecen convincentes y se adaptan mejor a tareas simples. Esto significa que son bastante más útiles cuando se trata de ayudar a alguien que ya es un experto en su campo a ahorrar tiempo, ya que puede validar los resultados por sí mismo, en lugar de ayudar a alguien que está comenzando desde cero.
“Para tareas más complejas, actualmente es más fácil para un experto crear el malware desde cero, en lugar de tener que dedicar tiempo a corregir lo que ha producido el LLM”, dijeron los investigadores.
“Sin embargo, es probable que un experto capaz de crear malware de alta capacidad pueda persuadir a un LLM para que escriba malware capaz. Esta compensación entre ‘usar LLM para crear malware desde cero’ y ‘validar malware creado por LLM’ cambiará a medida que mejoren los LLM”.
Lo mismo ocurre con el empleo de LLM para ayudar a realizar ataques cibernéticos que están más allá de las capacidades del atacante. Nuevamente, actualmente se quedan cortos aquí porque, si bien pueden proporcionar respuestas de apariencia convincente, es posible que no sean del todo correctas. Por lo tanto, un LLM podría inadvertidamente hacer que un ciberdelincuente haga algo que lo haga más fácil de detectar. El problema de las consultas cibernéticas retenidas por los operadores de LLM también es relevante aquí.
Sin embargo, el NCSC reconoció que, dado que los LLM están demostrando ser expertos en replicar estilos de escritura, el riesgo de que se utilicen para escribir correos electrónicos de phishing convincentes, tal vez evitando algunos de los errores comunes que cometen los hablantes de ruso cuando escriben o hablan inglés, como como descartar artículos definidos – es bastante más apremiante.
“Esto puede ayudar a los atacantes con altas capacidades técnicas pero que carecen de habilidades lingüísticas, ayudándolos a crear correos electrónicos de phishing convincentes o realizar ingeniería social en el idioma nativo de sus objetivos”, dijo el equipo.