La llegada de la inteligencia artificial (IA) generativa provocó una gran discusión sobre los daños especulativos de la IA, con controversias sobre todo, desde datos de entrenamiento hasta uso militar y cuántas personas empleaban los proveedores de IA en sus departamentos de ética. Aunque los llamados “condenadores de la IA” han sido muy expresivos al pedir una regulación que aborde los daños a largo plazo que consideran existenciales, también han criticado la legislación emergente que se centra más en la competencia, el acceso y la protección del consumidor.
Mientras tanto, los grandes proveedores de IA, como Microsoft y Google, están publicando informes anuales de transparencia sobre cómo crean y prueban sus servicios de IA. Cada vez más, estos destacan un modelo de responsabilidad compartida para los clientes empresariales que utilizan sus herramientas y servicios que resultarán familiares por la seguridad en la nube y particularmente importantes a medida que lleguen herramientas de IA “agentes” que pueden tomar medidas de forma autónoma.
Dado que los sistemas que utilizan IA (ya sean enfoques generativos o más tradicionales) ya se utilizan dentro de las organizaciones y en herramientas orientadas al cliente, la gobernanza de la IA debe pasar de los equipos de ciencia de datos (que rara vez tienen experiencia en ética o riesgo empresarial) a CIO que puedan abordar la IA. ética de una manera práctica más que teórica, cubriendo la tolerancia al riesgo, los requisitos regulatorios y los posibles cambios en las operaciones comerciales. Según Accenture, sólo un pequeño porcentaje de organizaciones ha logrado evaluar el riesgo e implementar las mejores prácticas a escala.
Los problemas más apremiantes del mundo real son “la falta de transparencia, los problemas de sesgo, los problemas de precisión y los problemas con los límites de los propósitos”, según el analista de Gartner Frank Buytendijk. Según regulaciones como el GDPR, los datos recopilados para un propósito no pueden usarse para otro simplemente porque la IA permite el nuevo uso.
“Si eres una compañía de seguros, es problemático utilizar datos de las redes sociales en forma de imágenes y utilizar IA para escanearlas en busca de personas que fuman, mientras que en su solicitud de seguro dijeron que no”, dice Buytendijk.
Incluso con la amenaza de una próxima legislación específica sobre IA, existen mejores razones que el simple cumplimiento para asegurarse de que sus herramientas de IA estén alineadas con los valores fundamentales y los objetivos comerciales de su organización, dice el analista principal de Forrester, Brandon Purcell.
“Hay muchos obstáculos esperando para golpear a las empresas que se equivocan, pero nos estamos perdiendo la zanahoria: cuando te tomas el tiempo para garantizar que el objetivo que le estás dando a un sistema de IA sea lo más cercano posible al resultado previsto”. En el mundo real, realmente harás mejores negocios. Obtendrá más rentabilidad, más ingresos, más eficiencia. La ética, la responsabilidad y la alineación de la IA van de la mano con un buen uso de la IA”.
Paula Goldman, directora de uso ético y humano de Salesforce, está de acuerdo: “Es una cuestión de cumplimiento, pero también es una cuestión de qué tan bien funciona la IA y cuánto jugo se obtendrá del apretón. Cuanto más confianza generemos en el sistema, mejor funcionará la IA y más productiva será”.
Comience con principios
La IA responsable es a la vez un imperativo empresarial y un buen negocio, sugiere Diya Wynn, líder responsable de IA en AWS. Prefiere el término a ética de la IA porque amplía la conversación desde las connotaciones morales hasta las perspectivas de seguridad, privacidad y cumplimiento que las organizaciones necesitarán para abordar los riesgos y los impactos no deseados.
La buena noticia es que la mayoría de las empresas que cuentan con equipos de cumplimiento del RGPD ya cuentan con muchas de las estructuras necesarias para la gobernanza de la IA, aunque es posible que deba agregar experiencia ética a las capacidades técnicas de los equipos de ciencia de datos.
La IA responsable tiene que ver con la calidad, la seguridad, la equidad y la confiabilidad. Para lograrlo, Purcell insta a las organizaciones a comenzar con un conjunto de principios éticos de IA que abarquen responsabilidad, competencia, confiabilidad, empatía, coherencia fáctica, integridad y transparencia que articulen la cultura y los valores corporativos.
Eso ayudará cuando las optimizaciones de IA expongan tensiones entre diferentes equipos comerciales, como las herramientas de préstamo de IA que mejoran las ventas al ofrecer préstamos a solicitantes más riesgosos, y le brindarán una base sólida para adoptar controles efectivos utilizando herramientas cada vez más diseñadas para líderes empresariales y científicos de datos. “La ética de la IA es una disciplina humana, no una categoría tecnológica”, advierte Buytendijk.
Las métricas que preocupan a las empresas cuando implementan sistemas de IA rara vez son medidas puramente técnicas de precisión del aprendizaje automático en muchas de las primeras herramientas de IA responsables. Más bien, son medidas más tecnosociales, como lograr el equilibrio adecuado entre mejoras de productividad, satisfacción del cliente y retorno de la inversión.
Los chatbots generativos de IA que cierran llamadas más rápido y evitan escalaciones pueden no reducir el tiempo total que los agentes humanos pasan hablando por teléfono si se trata de casos simples que manejan rápidamente, dejando a los agentes con consultas complejas que requieren más tiempo y experiencia para abordar, pero que también son las más importantes. para fidelizar clientes de alto valor. Del mismo modo, el tiempo ahorrado es irrelevante si los clientes se dan por vencidos y acuden a otro proveedor porque el chatbot simplemente se interpone en su camino.
Muchas organizaciones quieren medidas personalizadas de cómo su sistema de IA trata a los usuarios, dice Mehrnoosh Sameki, líder responsable de herramientas de IA para Azure: “Tal vez quieran que la amabilidad sea una métrica, o la puntuación de las disculpas. Escuchamos mucho que la gente quiere ver hasta qué punto su aplicación es educada y pide disculpas, y muchos clientes quieren entender la ‘inteligencia emocional’ de sus modelos”.
Las herramientas emergentes de gobernanza de la IA de proveedores como Microsoft, Google, Salesforce y AWS (que trabajó con Accenture en su plataforma de inteligencia artificial responsable) cubren múltiples etapas de un proceso de IA responsable: desde la selección de modelos utilizando tarjetas de modelo y notas de transparencia que cubren las capacidades y riesgos, hasta la creación de barreras de seguridad de entrada y salida, la conexión a tierra, la gestión de la experiencia del usuario y el seguimiento de los sistemas de producción.
Puertas de enlace y barreras de seguridad para genAI
Existen riesgos únicos con los modelos de IA generativa, además de los problemas de equidad, transparencia y sesgo que pueden ocurrir con el aprendizaje automático más tradicional, que requieren mitigaciones en capas.
Las barreras de entrada ayudan a mantener una herramienta de inteligencia artificial en el tema: por ejemplo, un agente de servicio que puede procesar reembolsos y responder preguntas sobre el estado de los pedidos, pero pasa cualquier otra consulta a un humano. Esto mejora la precisión de las respuestas, lo que es bueno tanto para el servicio al cliente como para la reputación empresarial.
También mantiene los costos bajos al evitar costosas conversaciones de varios turnos que podrían ser un intento de fuga o un cliente frustrado que intenta solucionar un problema con el que la herramienta no puede ayudar. Esto se vuelve aún más importante a medida que las organizaciones comienzan a desplegar agentes que pueden tomar medidas en lugar de limitarse a dar respuestas.
Las barreras de seguridad también abordan preocupaciones de cumplimiento, como garantizar que la información de identificación personal (PII) y la información confidencial nunca se envíen al modelo, pero son las barreras de seguridad de salida donde las decisiones éticas pueden ser más importantes, evitando respuestas tóxicas o inexactas, así como material protegido por derechos de autor.
Azure AI Content Safety maneja ambos, y recientemente se agregaron nuevas opciones, explica Sameki. “Puede filtrar una gran cantidad de contenido riesgoso, como contenido sexual, de odio, dañino y violento. Puede detectar que alguien está intentando hacer jailbreak, ya sea directa o indirectamente, y filtrarlo. Podría filtrar materiales protegidos por propiedad intelectual como parte de la respuesta. Incluso podría ver que su respuesta contiene contenido alucinado e infundado y reescribirla por usted”.
Las alucinaciones son probablemente el problema más conocido de la IA generativa: cuando el modelo accidentalmente hace un mal uso de los datos o genera contenido que no está basado en el contexto disponible para el modelo. Pero igualmente importantes, sugiere, son las omisiones, cuando el modelo omite deliberadamente información en las respuestas.
En lugar de limitarse a filtrar las alucinaciones, es mejor fundamentar el modelo con datos relevantes.
Manejando alucinaciones
Los datos de entrenamiento son una cuestión espinosa para la IA generativa, con dudas sobre la legalidad y la ética del scraping masivo para crear conjuntos de entrenamiento para grandes modelos de lenguaje. Esto es una preocupación tanto para los empleados como para los CIO; En un estudio reciente de Salesforce, el 54% dijo que no confía en los datos utilizados para entrenar sus sistemas de IA, y la mayoría de los que no confían en esos datos de entrenamiento piensan que la IA no tiene la información para ser útil y dudan. para usarlo.
Mientras esperamos legislación, acuerdos de licencia y otros avances sobre los datos de capacitación de LLM, las organizaciones pueden hacer mucho para mejorar los resultados utilizando sus propios datos para mejorar la IA generativa enseñándole qué datos usar para proporcionar información en sus respuestas. La técnica más común para esto es la Generación Aumentada de Recuperación (RAG), aunque las herramientas suelen usar nombres más llamativos: se trata de una forma de metaprompting, que mejora el mensaje original del usuario, en este caso agregando información de sus propias fuentes de datos.
Si bien ajustar completamente los LLM es demasiado costoso para la mayoría de las organizaciones, puede buscar modelos que hayan sido ajustados para dominios especializados específicos utilizando una técnica llamada Adaptación de bajo rango (LoRA), que ajusta una cantidad menor de parámetros.
Recopilar y utilizar comentarios es clave para mejorar los sistemas (además de las consideraciones habituales como el seguimiento del uso y los costos). Los servicios de seguridad de contenido de Azure y Salesforce, por ejemplo, incluyen pistas de auditoría: si el sistema de inteligencia artificial tiene que eliminar el lenguaje fuera de color de un mensaje, usted querrá saber si lo captó, pero también si fue un usuario expresando frustración porque no obtienen resultados útiles, lo que sugiere que es necesario darle al modelo información adicional.
De manera similar, monitorear las alucinaciones indica no solo la calidad de los resultados de la IA, sino también si el modelo ha recuperado los documentos relevantes para responder preguntas. Recopile comentarios detallados de los usuarios y podrá permitir que los usuarios expertos capaciten el sistema con comentarios.
Diseñar la experiencia del usuario para que la retroalimentación sea natural también le brinda la oportunidad de considerar cómo presentar eficazmente la información de la IA: no solo dejar claro qué genera la IA, sino también explicar cómo se creó o qué tan confiable es para evitar que las personas la acepten sin evaluarla y verificando.
“Este traspaso entre la IA y las personas es realmente importante, y las personas necesitan entender dónde deben confiar en la respuesta proveniente de la IA y dónde pueden necesitar apoyarse y usar su criterio”, dice Goldman.
Los patrones humanos al mando pueden incluir lo que ella llama “fricción consciente”, como la forma en que los datos demográficos nunca se seleccionan de forma predeterminada para la segmentación de marketing en Salesforce.
“A veces, cuando se crea un segmento para una campaña de marketing utilizando atributos demográficos, una base de clientes puede ser perfectamente apropiada. Otras veces, puede ser un sesgo involuntario que limita su base de clientes”, añade Goldman.
Convierte el entrenamiento en una carta de triunfo
La forma en que los sistemas de IA afectan a sus empleados es una parte clave del uso ético de la IA. La atención al cliente es una de las áreas exitosas para la adopción de IA generativa y los mayores beneficios no provienen de reemplazar a los empleados del centro de llamadas, sino de ayudarlos a resolver llamadas difíciles más rápido mediante el uso de sistemas con RAG y su ajuste para conocer el producto, la documentación y el cliente. mejor, dice Peter Guagenti, presidente de Tabnine.
“Las aplicaciones más exitosas de esto están altamente capacitadas en las ofertas únicas de una empresa, la relación única que tienen con sus clientes y las expectativas únicas de los clientes”, dice.
Y la formación no sólo es importante para los sistemas de IA. La Ley de IA de la Unión Europea (UE) exigirá que las empresas fomenten la “alfabetización en IA” dentro de la organización. Al igual que con otras tecnologías, la familiaridad permite a los usuarios avanzados que han recibido una formación específica y relevante aprovechar al máximo las herramientas de IA.
“Las personas que más utilizan la herramienta son las que mejor la utilizan y obtienen el mayor beneficio”, afirma Guagenti, y aprovechar las eficiencias de la automatización en lugar de intentar reemplazar a los usuarios con IA beneficiará al negocio.
“Si puedes entrenar y enseñar a tu gente cómo hacer estas cosas, te beneficiarás, y si construyes un plan de estudios real en torno a esto con tu función de RR.HH., entonces te convertirás en el empleador preferido, porque la gente Sé que estas son habilidades críticas”.
Además de hacer que su inversión en IA valga la pena al mejorar la adopción, involucrar a los empleados sobre los “puntos débiles que están tratando de resolver” también es la mejor manera de crear herramientas de IA efectivas, afirma Goldman.
Para lograr todo eso correctamente será necesaria la cooperación entre los equipos de negocios y de desarrollo. IA responsable…