La inteligencia artificial (IA) continúa evolucionando a un ritmo sin precedentes, y los agentes de IA emergen como una tecnología particularmente poderosa y transformadora. Estos agentes, impulsados por modelos avanzados de empresas como OpenAI y Microsoft, se están integrando en varios productos empresariales, ofreciendo importantes beneficios en automatización y eficiencia. Sin embargo, los agentes de IA conllevan una serie de nuevos riesgos y amenazas a la seguridad que las organizaciones deben abordar de forma proactiva.
Comprender los riesgos únicos de los agentes de IA
Los agentes de IA no son simplemente otra iteración de modelos de IA; representan un cambio fundamental en la forma en que la IA interactúa con los entornos digitales y físicos. Estos agentes pueden actuar de forma autónoma o semiautónoma, tomando decisiones, realizando acciones y logrando objetivos con una mínima intervención humana. Si bien esta autonomía abre nuevas posibilidades, también amplía significativamente la superficie de amenazas.
Tradicionalmente, los riesgos relacionados con la IA se han limitado a las entradas, el procesamiento y las salidas de los modelos, junto con las vulnerabilidades en las capas de software que los orquestan. Sin embargo, con los agentes de IA, los riesgos se extienden mucho más allá de estos límites. La cadena de eventos e interacciones iniciadas por los agentes de IA puede ser vasta y compleja, a menudo invisible para los operadores humanos. Esta falta de visibilidad puede generar serios problemas de seguridad, ya que las organizaciones luchan por monitorear y controlar las acciones de los agentes en tiempo real.
Entre los riesgos más apremiantes se encuentran la exposición y exfiltración de datos, que pueden ocurrir en cualquier punto de la cadena de eventos impulsados por agentes. El consumo desenfrenado de recursos del sistema por parte de agentes de IA (benignos o maliciosos) puede llevar a escenarios de denegación de servicio o de billetera, donde los recursos del sistema se ven abrumados. Quizás lo más preocupante sea la posibilidad de que se lleven a cabo actividades no autorizadas o maliciosas por agentes autónomos equivocados, incluido el “secuestro de agentes” por parte de actores externos.
El riesgo no termina ahí. Los errores de codificación dentro de los agentes de IA pueden provocar violaciones de datos no deseadas u otras amenazas a la seguridad, mientras que el uso de bibliotecas o códigos de terceros introduce riesgos en la cadena de suministro que pueden comprometer tanto los entornos de IA como los que no lo son. La codificación rígida de credenciales dentro de los agentes, una práctica común en entornos de desarrollo con código bajo o sin código, exacerba aún más los problemas de gestión de acceso, lo que facilita que los atacantes exploten estos agentes con fines nefastos.
Tres controles esenciales para mitigar los riesgos de los agentes de IA
Dados los riesgos multifacéticos asociados con los agentes de IA, las organizaciones deben implementar controles sólidos para gestionar estas amenazas de manera efectiva. El primer paso para mitigar los riesgos de los agentes de IA es proporcionar una vista y un mapa completos de todas las actividades, procesos, conexiones, exposiciones de datos y flujos de información de los agentes. Esta visibilidad es crucial para detectar anomalías y garantizar que las interacciones de los agentes se alineen con las políticas de seguridad empresarial. También se debe mantener un registro de auditoría inmutable de las interacciones de los agentes para respaldar la responsabilidad y la trazabilidad.
También es esencial tener un panel detallado que rastree cómo se utilizan los agentes de IA, su desempeño frente a las políticas empresariales y su cumplimiento de los requisitos legales, de seguridad y de privacidad. Este panel también debe integrarse con los sistemas empresariales de gestión de acceso e identidad (IAM) existentes para imponer el acceso con privilegios mínimos y evitar acciones no autorizadas por parte de agentes de IA.
Una vez que exista un mapa completo de las actividades de los agentes, considere establecer mecanismos para detectar y señalar cualquier actividad anómala o que viole las políticas. Se deben establecer comportamientos de referencia para identificar transacciones atípicas, que luego pueden abordarse mediante remediación automática en tiempo real.
Dada la velocidad y el volumen de las interacciones de los agentes de IA, los humanos por sí solos no pueden escalar la supervisión y remediación necesarias. Por lo tanto, implemente herramientas que puedan suspender y remediar automáticamente las transacciones no autorizadas y, al mismo tiempo, enviar cualquier problema no resuelto a operadores humanos para su revisión manual.
El control final implica la aplicación de remediación automática en tiempo real para abordar las anomalías detectadas. Esto puede incluir acciones como redactar datos confidenciales, imponer el acceso con privilegios mínimos y bloquear el acceso cuando se detectan infracciones. Además, asegúrese de mantener listas de denegación de indicadores de amenazas y archivos a los que los agentes de IA no pueden acceder. Se debe establecer un circuito continuo de monitoreo y retroalimentación para identificar y corregir cualquier acción no deseada resultante de las imprecisiones de los agentes de IA.
A medida que los agentes de IA se integran cada vez más en los entornos empresariales, no se pueden ignorar los riesgos y amenazas a la seguridad asociados. Las organizaciones deben informarse sobre estos nuevos riesgos e implementar los controles necesarios para mitigarlos. Al ver y mapear todas las actividades de los agentes de IA, detectar y marcar anomalías y aplicar soluciones en tiempo real, las empresas pueden aprovechar el poder de los agentes de IA mientras mantienen medidas de seguridad sólidas. En este panorama en rápida evolución, la gestión proactiva de riesgos no es sólo una opción: es una necesidad.
Avivah Litan es un distinguido vicepresidente analista de Gartner. La gestión de riesgos digitales y las estrategias para la resiliencia de la seguridad cibernética se discutirán más a fondo en la Cumbre de seguridad y gestión de riesgos 2024 en Londres, del 23 al 25 de septiembre.