Se están utilizando procesos de auditoría algorítmica inadecuados y mal definidos para enmascarar prácticas problemáticas o ilegales con inteligencia artificial (IA), según un informe del German Marshall Fund (GMF).
Publicado bajo la Iniciativa de Democracia e Innovación Digital del grupo de expertos GMF, el informe dice que si bien las auditorías algorítmicas pueden ayudar a corregir la opacidad de los sistemas de IA, las auditorías mal diseñadas o ejecutadas son, en el mejor de los casos, sin sentido y, en el peor de los casos, pueden desviar la atención o incluso desviar la atención. excusa, los daños que se supone deben mitigar.
Esto también se conoce como “lavado de auditoría”, y el informe dice que muchas de las prácticas de auditoría actuales de la industria tecnológica brindan una falsa seguridad porque las empresas están realizando sus propias autoevaluaciones o, cuando hay controles externos, todavía se evalúan de acuerdo con su propios objetivos en lugar de la conformidad con los estándares de terceros.
“Si están bien diseñadas e implementadas, las auditorías pueden fomentar la transparencia y la explicabilidad”, dice el informe. “Pueden hacer visibles aspectos de la construcción y operación del sistema que de otro modo estarían ocultos. Las auditorías también pueden sustituir la transparencia y la explicabilidad. En lugar de depender de quienes desarrollan e implementan sistemas algorítmicos para explicar o divulgar, los auditores investigan los sistemas mismos.
“Las auditorías no promoverán la responsabilidad de la plataforma o la IA confiable a menos que sean confiables ellos mismos”.
Para garantizar que las auditorías algorítmicas se conviertan en una parte confiable y significativa de la gobernanza de la IA, GMF dijo que se deben considerar una serie de preguntas clave.
Estos incluyen quién está haciendo la auditoría. Por ejemplo, si bien las auditorías internas pueden ser útiles para detectar problemas antes de que afecten a las personas, GMF dijo que este proceso es intrínsecamente poco confiable porque podría usarse para proporcionar afirmaciones no verificables de que la IA ha superado los estándares legales o éticos.
Las auditorías externas, por otro lado, si bien no pueden detectar problemas de manera temprana debido a que necesariamente miran hacia atrás a través del proceso de desarrollo de IA, generalmente mostrarán independencia de la organización de implementación, lo que indica confiabilidad y cumplimiento.
En julio de 2022, por ejemplo, Meta publicó su primer informe de derechos humanos, que fue realizado por la propia empresa. Si bien detalló los “riesgos más destacados” de la corporación y cómo crea “prácticas, decisiones, enfoques y productos que respetan los derechos”, los activistas dijeron en ese momento que Meta no había examinado adecuadamente los impactos negativos sobre los derechos de su propio negocio basado en la vigilancia. modelo.
Otras preguntas que las organizaciones deben considerar al auditar incluyen definir qué se audita exactamente y cuándo. El informe de GMF dijo: “Un proceso algorítmico se ejecuta desde la especificación del problema a través de la recopilación de datos, el modelado y la validación hasta la implementación e incluso los ajustes posteriores a la implementación. Para procesos dinámicos, como los algoritmos de redes sociales, este proceso es iterativo y se renueva constantemente.
“Las disposiciones de auditoría algorítmica que utilizan términos como ‘evaluación de riesgos’ o ‘auditoría’ a menudo son vagas sobre el objeto y el momento de la consulta, y si tienen la intención de observar el ciclo de vida completo de un sistema de IA o solo partes de él”.
Agregó: “Otro escollo común en el espacio de la tecnología es que una empresa afirme adherirse a los estándares de derechos humanos sin diseñar realmente sus sistemas para cumplirlos”.
En la primera Conferencia Internacional de Auditoría Algorítmica, un foro creado para que expertos y profesionales de la auditoría compartan conocimientos y mejores prácticas sobre cómo las organizaciones pueden administrar sus sistemas de IA de manera responsable, el consenso fue que las organizaciones deben realizar auditorías de extremo a extremo que consideren tanto los aspectos sociales como técnicos de la IA para comprender completamente los impactos de cualquier sistema dado.
Al llegar a conclusiones similares a las de GMF, los expertos en auditoría dijeron que una parte importante del problema es que los sistemas de IA a menudo se desarrollan de manera desordenada, con empresas que no documentan adecuadamente el proceso de desarrollo, lo que hace que sea mucho más difícil realizar estas auditorías “sociotécnicas”. mas tarde.
Para que sea significativo, GMF dijo que debe haber un conjunto de estándares comunes, que siguen siendo “discutidos y esquivos” debido a la falta de acuerdo sobre los objetivos y las definiciones básicas entre los auditores y los auditados.
Dijo que las disposiciones de auditoría también deben ser claras sobre el problema que aborda la auditoría. Por ejemplo, ya sea que se realicen para cumplir con un requisito legal o como un objetivo ético, la mayoría de las auditorías buscarán abordar cuestiones relacionadas con la equidad, la explicabilidad, la reparación, la privacidad o la solidez y la seguridad.
“Los estándares que utiliza la auditoría para evaluar normas como la equidad, la privacidad y la precisión deben basarse en el consenso tanto como sea posible”, dijo. “En ausencia de consenso, que será frecuente, los estándares que se apliquen deben estar, como mínimo, bien articulados. Una situación en la que los auditores propongan sus propios estándares no es ideal.
“Los estándares comunes, o al menos evidentes, fomentarán el desarrollo de certificaciones y sellos para los sistemas algorítmicos por parte de la sociedad civil, mientras que los estándares confusos y conflictivos facilitarán la ‘auditoría-lavado’ de los sistemas, dando la falsa impresión de una investigación rigurosa”.
Anna Thomas, directora del Instituto para el Futuro del Trabajo, al brindar evidencia al Comité de Estrategia Comercial, Energética e Industrial del Parlamento sobre cómo la IA afecta el lugar de trabajo, dijo: “Las herramientas de auditoría en sí mismas rara vez serán explícitas sobre el propósito de la auditoría”. , o definiciones clave que incluyen igualdad y equidad”. Agregó que muchos supuestos culturales en torno a estos conceptos son importados de EE. UU.
En un informe publicado el 17 de noviembre de 2022, titulado Repensar los datos y reequilibrar el poder digitalel Instituto Ada Lovelace abogó por una mayor participación pública en el escrutinio de datos y algoritmos, lo que podría ayudar a superar algunos de estos problemas.
“Los paneles o jurados de ciudadanos podrían ser coordinados por organizaciones de la sociedad civil especializadas para proporcionar información sobre la auditoría y evaluación de conjuntos de datos y algoritmos que tienen impactos y efectos sociales significativos”, dijo, y agregó que el “codiseño participativo o asambleas deliberativas” podría también puede usarse para ayudar a incorporar consideraciones de interés público en el proceso de diseño.
El informe de GMF fue escrito por Ellen P Goodman, ex becaria principal de GMF y actual asesora principal de justicia algorítmica en la Administración Nacional de Telecomunicaciones e Información, y la gerente del programa GMF y becaria Julia Tréhu.