Las organizaciones deben realizar auditorías de extremo a extremo que consideren los aspectos sociales y técnicos de la inteligencia artificial (IA) para comprender completamente los impactos de cualquier sistema dado, pero falta comprensión sobre cómo realizar auditorías holísticas y las limitaciones del proceso. está frenando el progreso, dicen los expertos en auditoría algorítmica.
En la Conferencia Internacional de Auditoría Algorítmica inaugural, organizada en Barcelona el 8 de noviembre por la firma de auditoría algorítmica Eticas, los expertos tuvieron una amplia discusión sobre lo que debería implicar una auditoría “sociotécnica” para IA, así como varios desafíos asociados con el proceso. .
Con la asistencia de representantes de la industria, la academia y el tercer sector, el objetivo de la conferencia es crear un foro compartido para que los expertos discutan los desarrollos en el campo y ayuden a establecer una hoja de ruta sobre cómo las organizaciones pueden administrar sus sistemas de IA de manera responsable.
Los participantes en esta primera reunión de este tipo irán a Bruselas para reunirse con funcionarios de la Unión Europea (UE) y otros representantes de organizaciones de derechos digitales, para que puedan compartir su pensamiento colectivo sobre cómo las auditorías de IA pueden y deben ser reguladas. por.
¿Qué es una auditoría sociotécnica?
Gemma Galdon-Clavell, presidenta de la conferencia y directora de Eticas, dijo: “Los sistemas técnicos, cuando se basan en datos personales, no son solo técnicos, son sociotécnicos, porque los datos provienen de procesos sociales”.
Por lo tanto, describió una auditoría sociotécnica como “una investigación de extremo a extremo sobre cómo funciona un sistema, desde el momento en que elige los datos que van a entrenar su sistema, hasta el momento en que se maneja la decisión algorítmica. por un ser humano” o de otro modo impacta a alguien.
Agregó que si las organizaciones solo se enfocan en los aspectos técnicos de un sistema y se olvidan de la interacción social que produce el sistema, “realmente no están auditando [because] no estás mirando los daños, no estás mirando el contexto”.
Sin embargo, el consenso entre los asistentes a la conferencia fue que las organizaciones actualmente no logran interrogar significativamente sus sistemas.
Shea Brown, directora ejecutiva de BABL AI, dio el ejemplo del ser humano en el circuito como un aspecto que a menudo se pasa por alto en las auditorías sociotécnicas, a pesar de que se introduce una cantidad significativa de riesgo en el sistema cuando los humanos median en una decisión automatizada.
“La mayor parte del riesgo que encontramos, incluso más allá de cosas como el sesgo, son los lugares donde el algoritmo interactúa con una persona”, dijo. “Así que si no hablas con esa persona, [you can’t] descubra ‘¿cuál es su comprensión acerca de lo que ese algoritmo le está diciendo, cómo lo está interpretando, cómo lo está usando?’”
Otra parte importante del problema es el hecho de que los sistemas de IA a menudo se desarrollan de manera desordenada, lo que dificulta mucho la realización de auditorías sociotécnicas más adelante.
“Si pasas tiempo dentro de las empresas tecnológicas, rápidamente aprendes que a menudo no saben lo que están haciendo”, dijo Jacob Metcalf, investigador de ética tecnológica en Data & Society, y agregó que las empresas a menudo no sabrán información básica como si sus conjuntos de entrenamiento de IA contienen datos personales o su composición demográfica.
“Hay algunos problemas de gobernanza realmente básicos en torno a la IA, y la idea es que estas evaluaciones te obliguen a tener la capacidad y el hábito de preguntar: ‘¿Cómo se construye este sistema y qué hace realmente en el mundo?’”
Galdon-Clavell agregó que, a partir de su experiencia de auditoría en Eticas, “la gente no documenta por qué se hacen las cosas, entonces cuando necesitas auditar un sistema, no sabes por qué se tomaron las decisiones… todo lo que ves es el modelo , no tienes acceso a cómo sucedió eso”.
Una metodología estandarizada para pruebas contradictorias
Para combatir la falta de conocimiento interno sobre cómo se desarrollan los sistemas de IA, los expertos auditores acordaron la urgencia de contar con una metodología estandarizada sobre cómo realizar una auditoría sociotécnica.
Agregaron que si bien actualmente no existe una metodología estandarizada, debe incluir pasos prácticos a seguir en cada etapa del proceso de auditoría, pero no ser tan prescriptivo que no tenga en cuenta la naturaleza altamente contextual de la IA.
Sin embargo, el académico de derechos digitales Michael Veale dijo que la estandarización es un proceso complicado cuando se trata de responder preguntas inherentemente sociales.
“Una tendencia muy preocupante en este momento es que los legisladores como la Comisión Europea están impulsando opciones cargadas de valor en torno a los derechos fundamentales en las SDO. [standards development organisations]”, dijo, y agregó que estos organismos tienen el deber de rechazar y rechazar cualquier mandato para que establezcan estándares en torno a cuestiones sociales o políticas.
“Creo que el paso realmente es decir, ‘bueno, ¿qué cosas podemos estandarizar?’. Puede haber algunos aspectos de procedimiento, puede haber algunos aspectos técnicos que son adecuados para eso, [but] es muy peligroso llegar a una situación en la que separas lo político de lo técnico; están profundamente entrelazados en sistemas algorítmicos”, agregó Veale.
“Muchas de nuestras ansiedades en torno a los algoritmos representan nuestras preocupaciones con nuestras situaciones sociales y nuestras sociedades. No podemos pasar esas preocupaciones a los SDO para que las estandaricen, eso dará como resultado una crisis de legitimidad”.
Otro riesgo de la estandarización prescriptiva, según Brown, es que el proceso descienda a un glorificado ejercicio de marcar casillas. “Existe el peligro de que los interrogatorios se detengan y que perdamos la capacidad de llegar realmente a los daños si simplemente se estandarizan”, dijo.
Para evitar que las auditorías sociotécnicas se conviertan en meros ejercicios para marcar casillas, así como para garantizar que los involucrados no abusen del proceso, Galdon-Calvell planteó que las auditorías deberían ser de naturaleza antagónica.
“Puede tener auditorías realizadas por personas ajenas al sistema, explotando las posibilidades del sistema para realizar ingeniería inversa y, por lo tanto, a través de enfoques contradictorios, podría exponer cuándo las auditorías se han utilizado como un ejercicio de casilla de verificación, o como un ejercicio de inspección sin sentido”, dijo, y agregó que Eticas y otros asistentes analizarían cómo podría funcionar este proceso en las próximas semanas.
Problemas del sector público
Los problemas en torno a la auditoría sociotécnica también se exacerban para las organizaciones del sector público porque, incluso si un proveedor de IA ha documentado adecuadamente el proceso de desarrollo, no tiene la capacidad de examinarlo, o de lo contrario se les impide incluso inspeccionar el sistema debido a restricciones intelectuales. derechos de propiedad (PI).
“En muchos casos, la documentación simplemente no existe para que la gente del sector público pueda entender lo que está pasando, o no se transfiere, o hay demasiada documentación y nadie puede entenderla”, dijo. Divij Joshi, investigadora doctoral del University College London.
“Cuando la gente no quiere decirte cómo [an algorithm] está funcionando, es porque no quieren o porque no saben. No creo que ninguno sea aceptable”
Sandra Wachter, Instituto de Internet de Oxford
“Me da bastante miedo que en el sector público, las agencias que deberían estar debidamente facultadas por varios tipos de regulaciones para inspeccionar realmente las tecnologías que están adquiriendo, no puedan hacerlo… debido a los derechos de propiedad intelectual”.
Ramak Molavi, investigador principal de la Fundación Mozilla, también criticó la configuración de la contratación pública y agregó que la falta general de conocimiento del sector público sobre la IA significa que “dependen totalmente de los proveedores de conocimiento, toman [what they say] como realidad – obtienen una opinión pero para ellos, no es una opinión, es una descripción”.
Dando el ejemplo de un gobierno estatal local en Australia que había contratado un sistema de bienestar impulsado por IA de un proveedor privado, Jat Singh, profesor de investigación de la Universidad de Cambridge, agregó que, después de que a los funcionarios públicos se les negó el acceso para inspeccionar un bienestar particular decisión sobre la base de la PI, el gobierno de Nueva Gales del Sur simplemente introdujo una nueva disposición en el proceso de licitación que significaba que la empresa tenía que entregar la información.
Durante la investigación del Comité de Justicia y Asuntos Internos de la Cámara de los Lores sobre el uso de tecnologías algorítmicas avanzadas por parte de la policía del Reino Unido, Sandra Wachter, profesora de tecnología y regulación en el Instituto de Internet de Oxford, hizo un comentario similar, argumentando que los compradores del sector público deberían usar sus poder adquisitivo para exigir acceso a los sistemas de los proveedores para probar y demostrar sus afirmaciones sobre, por ejemplo, precisión y sesgo.
“Cuando la gente no quiere decirte cómo [an algorithm] está funcionando, es porque no quieren o porque no saben. No creo que ninguno sea aceptable, especialmente en el sector de la justicia penal”, dijo, y agregó que si bien es necesario lograr un equilibrio entre los intereses comerciales y la transparencia, las personas tienen derecho a saber cómo se toman las decisiones que les cambian la vida. .
“Cuando la gente dice que se trata solo de secretos comerciales, no creo que sea una respuesta aceptable. Alguien tiene que entender lo que realmente está pasando. Creo que la idea de que la libertad y la libertad pueden ser superadas por intereses comerciales sería irresponsable, especialmente si hay una manera de encontrar un buen término medio en el que pueda comprender completamente lo que está haciendo un algoritmo… sin revelar todos los secretos comerciales. ”
Límites de la auditoría
Galdon-Clavell dijo que la auditoría debe considerarse solo como una herramienta, aunque importante, para hacer que la implementación de la IA sea más responsable.
“La auditoría de IA está en el centro del esfuerzo para garantizar que los principios que hemos desarrollado en torno a la IA se traduzcan en prácticas específicas que significan que las tecnologías que toman decisiones sobre nuestras vidas realmente pasan por un proceso para garantizar que esas decisiones sean justas, aceptables y seguras. transparente”, dijo.
“La auditoría de IA está en el centro del esfuerzo para garantizar que… las tecnologías que toman decisiones sobre nuestras vidas pasen por un proceso para garantizar que esas decisiones sean justas, aceptables y transparentes”
Gemma Galdón-Clavell, Eticas
Jennifer Cobbe, investigadora asociada de la Universidad de Cambridge, agregó que era importante recordar que la auditoría por sí sola no puede resolver todos los problemas relacionados con el funcionamiento de la IA, y que incluso las auditorías con las mejores intenciones no pueden resolver problemas con sistemas que son inherentemente perjudiciales para las personas o grupos de la sociedad.
“Necesitamos estar pensando en qué tipo de cosas están más allá de esos mecanismos, así como en el control democrático. ¿Qué tipo de cosas decimos simplemente que no están permitidas en una sociedad democrática, porque simplemente son demasiado peligrosas? ella dijo.
Si bien la actual Ley de IA de la UE, por ejemplo, ha intentado trazar líneas rojas en torno a ciertos casos de uso de IA considerados como “un riesgo inaceptable”, incluidos los sistemas que distorsionan el comportamiento humano o aquellos que permiten la identificación biométrica remota y en tiempo real de personas. en lugares públicos: los críticos han compartido previamente preocupaciones de que la prohibición no se extiende al uso de IA por parte de las fuerzas del orden.
Además de prohibir ciertos casos de uso de IA, la auditoría también debe ir acompañada de medidas adicionales si los sistemas se van a considerar remotamente confiables.
“Un objetivo de la auditoría y la evaluación de importancia crítica y que a menudo se pasa por alto es dar a las partes perjudicadas oa las comunidades afectadas la oportunidad de cuestionar cómo se construyó el sistema y qué hace”, según Metcalf. “Si el objetivo de hacer la evaluación es reducir el daño, entonces la forma en que se estructura la evaluación debe proporcionar un punto de apoyo para que las partes afectadas exijan un cambio”.
Agregó que el objetivo final era un mayor control democrático de la IA y otras tecnologías algorítmicas: “Este es un momento en el que debemos afirmar el derecho a controlar democráticamente estos sistemas. La IA es para que las personas tengan una vida mejor. No les corresponde a las corporaciones limitar nuestro futuro”.
Los requisitos de auditoría sociotécnica también deberían, según Molavi de Mozilla, ir acompañados de una fuerte aplicación. “Es una cuestión política si desea financiar la aplicación de la ley o no”, dijo, y agregó que en los espacios de privacidad y protección de datos, por ejemplo, “casi nadie hace cumplir la ley”.
