¿Cuáles son los riesgos de seguridad de traer su propia IA?

Desde el lanzamiento de ChatGPT por parte de Open AI en noviembre de 2022, el interés en las herramientas de inteligencia artificial generativa (GenAI) ha aumentado drásticamente. Su capacidad para generar una respuesta basada en una pregunta o solicitud se ha utilizado para una variedad de propósitos, desde escribir correos electrónicos hasta respaldar chatbots.

el reciente Índice de tendencia laboral Un informe de Microsoft, basado en una encuesta a más de 31.000 empleados profesionales, muestra que el 75% de los trabajadores del conocimiento utilizan actualmente alguna forma de GenAI en sus trabajos, y casi la mitad de los encuestados comenzaron a utilizarla en los últimos seis meses. Sin embargo, casi el 80% de quienes utilizan GenAI utilizan su propia IA para trabajar, y el porcentaje aumenta ligeramente cuando se centra en las pequeñas empresas. Vale la pena señalar que esta adopción no es solo por parte de usuarios más jóvenes, que generalmente son más propensos a adoptar nuevas tecnologías, sino por parte de usuarios de todas las edades.

A medida que se genera más información y es necesario procesarla, luchamos cada vez más con lo que se conoce como deuda digital. Un ejemplo de esto es la sobrecarga de correo electrónico. El informe de Microsoft señala que aproximadamente el 85% de los correos electrónicos se leen en menos de 15 segundos; esto muestra por qué las personas están interesadas en avanzar hacia herramientas que ayuden a agilizar las tareas mundanas en su vida laboral.

“Existe esta deuda digital que se ha acumulado durante décadas, pero se ha acelerado durante la pandemia”, dice Nick Hedderman, director senior del grupo empresarial de trabajo moderno de Microsoft. “El 68% de las personas con las que hablamos dijeron que tienen dificultades con el volumen y el ritmo de trabajo. Casi el 50% dijo que se sentía agotado”.

Las herramientas de IA generativa que suelen utilizar los profesionales son las que se encuentran en los teléfonos inteligentes (como Galaxy AI) o en Internet (como ChatGPT). Desafortunadamente, debido a que estas herramientas son de código abierto, están fuera de la supervisión corporativa. Además, cuando una herramienta en línea es gratuita, el usuario suele ser el producto, ya que otros pueden utilizar su información.

“Si es gratis, debes considerarlo de la misma manera que cualquier sitio de redes sociales. ¿Con qué datos se está entrenando? En esencia, ¿ahora eres tú la mercancía? dice Sarah Armstrong-Smith, jefa de seguridad de Microsoft. “Lo que sea que pongas, ¿se destina a modelos de capacitación? ¿Cómo se verifica que los datos se mantengan de forma segura y no se utilicen para otros fines?

Más que cualquier otra cosa, el uso de herramientas generativas externas es un desafío de gobernanza de datos, más que un problema de GenAI, ya que depende de TI en la sombra: hardware o software utilizado en una organización que no está supervisado por el departamento de TI.

“Siempre ha habido solicitudes autorizadas y no autorizadas. Siempre ha habido desafíos a la hora de compartir datos entre plataformas en la nube”, afirma Armstrong-Smith. “Si es tan fácil cortar y pegar algo de cualquier sistema corporativo y ponerlo en una aplicación en la nube, independientemente de si se trata de una aplicación de IA generativa o cualquier otra aplicación, tenemos un problema con la gestión y la fuga de datos. Las cuestiones fundamentales del control de datos, la gobernanza de datos y todas esas cosas no desaparecen. De hecho, lo que se destaca es la falta de gobernanza y control”.

Gobernanza de datos

El problema de la gobernanza de datos que supone el uso de herramientas externas de IA generativa es doble.

En primer lugar, existe la filtración de datos, en la que los usuarios copian información potencialmente confidencial y la pegan en una herramienta en línea sobre la que no tienen control. Otros podrían acceder a estos datos y utilizarlos en el entrenamiento de herramientas de IA.

Si toma un conjunto de datos aleatorio que no ha verificado y no sabe en qué está entrenado, y luego lleva ese conjunto de datos a un entorno corporativo o viceversa, puede envenenar el modelo o algoritmo porque está introduciendo datos no verificados. en el conjunto de datos corporativo

Sarah Armstrong-Smith, Microsoft

También hay fugas en una organización si se añade información no verificada y no corroborada a su base de conocimientos. Con demasiada frecuencia, los usuarios asumen que la información proporcionada por una herramienta GenAI externa es correcta y apropiada; no corroboran los datos para garantizar que sean objetivamente exactos, lo que sería más probable que hicieran cuando buscan información en Internet.

“El peligro es que, si se toma un conjunto de datos aleatorio que no se ha verificado y no se sabe en qué está entrenado, y luego se lleva ese conjunto de datos a un entorno corporativo o viceversa, se puede incluso envenenar el modelo o el algoritmo real porque estás introduciendo datos no verificados en el conjunto de datos corporativo”, afirma Armstrong-Smith.

Este último es el problema más grave, ya que se incorporan datos potencialmente incorrectos o engañosos a una base de conocimientos y se utilizan para informar los procesos de toma de decisiones. También podría envenenar los conjuntos de datos que se utilizan para entrenar la IA interna, provocando así que la IA proporcione información engañosa o incorrecta.

Ya hemos visto casos de herramientas GenAI utilizadas incorrectamente que conducen a malos resultados. La IA generativa se está probando dentro de la profesión jurídica como una posible herramienta para ayudar a redactar documentos legales. En un caso, un abogado utilizó ChatGPT para preparar una presentación, pero la IA generativa alucinó casos falsos, que se presentaron ante el tribunal.

“En un entorno corporativo, hay que tener en cuenta el hecho de que se trata de datos empresariales”, afirma Armstrong-Smith. “Es un contexto empresarial, entonces, ¿qué herramientas tienen disponibles hoy para tener toda la gobernanza implementada? Va a tener seguridad; va a tener resiliencia. Tendrá todas esas cosas integradas por diseño”.

Si una proporción significativa de empleados depende habitualmente de aplicaciones externas, entonces es evidente que existe una necesidad de esa herramienta digital. Para determinar la solución de IA generativa más adecuada, lo mejor es identificar los casos de uso. De esa manera, se puede implementar la herramienta más adecuada para satisfacer las necesidades de los empleados y adaptarse perfectamente a su flujo de trabajo existente.

La ventaja clave de utilizar una herramienta corporativa de IA generativa en lugar de una plataforma abierta, como ChatGPT, es que la gestión de datos se mantiene durante todo el proceso de desarrollo. Como la herramienta se mantiene dentro de los límites de la red, se pueden proteger los datos corporativos. Esto mitiga posibles fugas por el uso de herramientas externas.

La protección que ofrece el uso de una herramienta de IA corporativa es que el sistema de back-end está protegido por el proveedor de IA. Sin embargo, vale la pena señalar que la protección del front-end (como en los casos de uso y modelos de implementación) sigue siendo responsabilidad de la organización de usuarios. Es aquí donde la gobernanza de datos sigue siendo clave y debe considerarse un elemento esencial de cualquier proceso de desarrollo al implementar herramientas de IA generativa.

“Siempre nos hemos referido a él como un modelo de responsabilidad compartida”, dice Armstrong-Smith. “Los proveedores de la plataforma son responsables de la infraestructura y la plataforma, pero lo que hagas con ella en términos de tus datos y tus usuarios es responsabilidad del cliente. Tienen que contar con la gobernanza adecuada. Muchos de estos controles ya están integrados de forma predeterminada; sólo tienen que aprovecharlos”.

Concientización entre los usuarios

Una vez que las herramientas de IA generativa estén disponibles internamente, los empleados deben ser conscientes de su presencia para poder utilizarlas. Fomentar su adopción puede ser un desafío si los empleados han desarrollado una forma de trabajar que se basa en el uso de plataformas GenAI externas.

Como tal, un programa de concientización que promueva la herramienta de IA generativa educaría a los usuarios sobre la accesibilidad y funcionalidad de la herramienta. Los sistemas de moderación de Internet también podrían redirigir a los usuarios de plataformas externas a la herramienta interna GenAI.

La IA generativa llegó para quedarse y, si bien las expectativas pueden haber alcanzado su punto máximo, es probable que sus usos crezcan y se vuelvan ubicuos.

“Creo que para muchas empresas, y en lo que sin duda verán a Microsoft centrarse, es en este concepto de IA generativa agente”, dice Henderson. “Aquí es donde se toma un proceso de negocio y se descubre cómo un agente podría servir a una organización internamente”. Un agente podría operar dentro de la red de una organización y llevar a cabo funciones específicas, como programar reuniones o enviar facturas.

Aunque la IA generativa es una tecnología nueva que podría mitigar las tareas mundanas y que requieren mucho tiempo, la protección de datos sigue siendo una preocupación clave. Por lo tanto, corresponde a las organizaciones concienciar a los empleados de los riesgos que plantea el uso de herramientas externas y tener las herramientas de IA generativa adecuadas dentro de su propia red para proteger la santidad de sus datos.

“Como sabemos con la tecnología, a medida que se generalice, el precio bajará, lo que significa que la IA será más común en todos los ámbitos y habrá más opciones sobre qué modelo usar”, concluye Armstrong. Herrero.

Exit mobile version