A medida que los gobiernos buscan regular el mundo en línea, el escrutinio de los algoritmos que se encuentran detrás de los sitios web y las aplicaciones populares solo aumentará. Ante las dudas sobre si la autorregulación realmente funcionará y muchos sistemas siguen siendo opacos o difíciles de analizar, algunos expertos piden un nuevo enfoque y, en cambio, una empresa, Eticas, con sede en Barcelona, es pionera en un método de auditorías contradictorias.
La Ley de Servicios Digitales (DSA) de la Unión Europea (UE) vence en 2024 y requerirá que cualquier empresa que brinde servicios digitales realice auditorías independientes y evaluaciones de riesgos para garantizar que se respeten la seguridad y los derechos fundamentales de los usuarios en sus entornos. Anticipándose a esto, Eticas ha llevado a cabo varias auditorías adversarias externas de los algoritmos de las empresas tecnológicas.
Las auditorías realizadas por Eticas hasta el momento incluyen exámenes de cómo los algoritmos de YouTube y TikTok influyen en la representación de los migrantes, y cómo los algoritmos de inteligencia artificial (IA) utilizados por las aplicaciones de transporte en España (a saber, Uber, Cabify y Bolt) afectan a los usuarios. , trabajadores y competidores.
Iliyana Nalbantova, investigadora de auditorías contradictorias en Eticas, dijo a Computer Weekly que la “auditoría contradictoria” es esencialmente la práctica de evaluar algoritmos o sistemas de inteligencia artificial que tienen poco potencial para una supervisión transparente, o que están “fuera de alcance” de alguna manera.
Si bien Eticas suele ser un defensor de la auditoría sociotécnica interna, donde las organizaciones realizan sus propias auditorías de extremo a extremo que consideran los aspectos sociales y técnicos para comprender completamente los impactos de un sistema determinado, Nalbantova dijo que los desarrolladores mismos a menudo no son dispuestos a realizar tales auditorías, ya que actualmente no existen requisitos para hacerlo.
“La auditoría algorítmica adversaria llena este vacío y permite lograr cierto nivel de transparencia y responsabilidad de la IA que normalmente no se puede lograr en esos sistemas”, dijo.
“La atención se centra en gran medida en descubrir el daño. Eso puede ser un daño para la sociedad en su conjunto o para una comunidad específica, pero la idea de nuestro enfoque es empoderar a esas comunidades. [negatively impacted by algorithms] para descubrir esos efectos nocivos y encontrar formas de mitigarlos”.
Nalbantova agregó que si bien nunca se puede “lograr una evaluación completa y completa de un sistema” con una auditoría contradictoria debido a la imposibilidad de acceder a todos los aspectos de un sistema como lo haría una auditoría interna, el valor de este enfoque radica en su capacidad para ayudar a comprender el entorno social. impactos de los sistemas y cómo están afectando a las personas en la práctica.
“Es un ejercicio valioso por sí mismo porque te permite ver lo que puede hacer la propia empresa si decide auditar por su cuenta”, dijo. “Lo que realmente hace es alertar, así que tal vez no tengamos toda la información necesaria, pero tenemos suficiente… para plantear inquietudes e invitar a la acción”.
Hallazgos y respuestas de la auditoría
En cuanto a las auditorías realizadas hasta el momento, Eticas afirmó que el algoritmo de YouTube refuerza una visión estereotipada y deshumanizadora de los migrantes (que, según dijo, generalmente se representan como grandes grupos de personas no blancas con el rostro tapado, en contraste con los “refugiados” que dijo se representan más a menudo como pequeños grupos de personas blancas con rostros claramente visibles); mientras que el algoritmo de TikTok resta prioridad a cualquier contenido que contenga un discurso político sobre la migración en favor de contenido con un claro enfoque en el “entretenimiento”.
El informe adjunto sobre la auditoría señaló que esto “lleva a la conclusión de que el algoritmo de TikTok no da forma activa a la sustancia del discurso político sobre la migración, pero parece regular su visibilidad general a través de su sistema de recomendación y mecanismo de personalización”.
En su auditoría de transporte, Eticas dijo que encontró una falta general de transparencia en el uso de algoritmos de las tres empresas en el pago y la elaboración de perfiles de los trabajadores (lo que genera preocupaciones sobre el cumplimiento de la legislación laboral) y señaló que sus algoritmos de fijación de precios parecen estar en connivencia en algunas rutas vitales. a través de las principales ciudades, lo que a su vez sugiere “fijación indirecta de precios por medios algorítmicos”.
También descubrió que el algoritmo de Uber podría potencialmente discriminar en función de las características socioeconómicas de un vecindario, reduciendo así la disponibilidad del servicio en áreas de bajos ingresos de una manera que puede constituir una violación de la Ley General de Protección de Consumidores y Usuarios de España.
Al comentar sobre la auditoría contradictoria, un portavoz de YouTube dijo: “Si bien los espectadores pueden encontrar debates sobre temas como la política de inmigración en YouTube, el discurso de odio no está permitido en la plataforma. Nuestra política de incitación al odio, que aplicamos rigurosamente, prohíbe específicamente el contenido que promueva la violencia o el odio contra personas o grupos en función de atributos como su estatus migratorio, nacionalidad o etnia”.
Cabify también cuestionó el resultado de la auditoría de Eticas: “Cabify fija sus tarifas en el mercado de forma independiente a otros operadores, siguiendo su propia política de precios y su propio algoritmo, disponible para todos en su web. En este sentido, Cabify reitera que nunca se han fijado precios junto con ninguna otra firma tecnológica, como ya acreditó la CNMC en 2020.
“Cabify puede asegurar que su funcionamiento no vulnera en ningún caso la ley de defensa de la competencia, desmintiendo así la pretensión de que, junto con otras empresas del sector, han venido fijando directa o indirectamente condiciones comerciales o de servicio”.
Cabify añadió que, en relación con las preocupaciones planteadas por Eticas sobre el cumplimiento de los derechos laborales en España por parte de la plataforma, las condiciones de trabajo de los conductores las marcan las empresas titulares de las licencias de funcionamiento: “Cabify exige a sus flotas colaboradoras el cumplimiento exhaustivo de la normativa aplicable, incluso previendo como causa de terminación de los contratos”, dijo.
Computer Weekly también contactó a TikTok, Uber y Bolt sobre las auditorías, pero las empresas no respondieron.
El proceso de auditoría contradictoria
Nalbantova señaló que si bien cada auditoría difería necesariamente según el contexto del sistema en cuestión y el problema que se investigaba, así como el nivel de información disponible para Eticas como un tercero externo, el enfoque subyacente sigue siendo considerar los algoritmos y la IA como sistemas sociotécnicos.
“Venimos de la conciencia de que cualquier tipo de algoritmo, cualquier tipo de sistema de IA, utiliza datos informados por lo que sucede en la sociedad, y luego los resultados de esos procesos algorítmicos afectan a la sociedad a su vez, por lo que es una comunicación bidireccional. e interacción allí”, dijo Nalbantova.
“Es por eso que cualquier auditoría contradictoria debe incorporar elementos tanto sociales como técnicos, y luego, la apariencia de ese elemento técnico depende en gran medida del sistema que se está auditando y del enfoque que los auditores han decidido adoptar en este caso particular”.
A pesar de la variación necesaria en los detalles de las auditorías individuales, Eticas ha estado trabajando para sistematizar una metodología de auditoría contradictoria que otros puedan usar como marco repetible para comenzar a investigar los impactos sociales de cualquier algoritmo dado. Nalbantova dijo que si bien la creación de esta metodología es “un proceso iterativo y ágil”, Eticas ha podido identificar los pasos comunes que debe tomar cada auditoría contradictoria para lograr un alto nivel de rigor, consistencia y transparencia.
“Obviamente, el primer paso es elegir el sistema y asegurarse de que sea un sistema con impacto y un sistema al que pueda acceder de alguna manera”, dijo, y agregó que tales “puntos de acceso” podrían incluir comunidades afectadas para entrevistar, un interfaz pública de sistemas web o basados en aplicaciones, o bases de datos de código fuente abierto (aunque esto es muy raro).
A partir de aquí, los auditores deben comenzar un “análisis contextual” para comenzar a comprender el sistema y cómo interactúa con el entorno legal, social, cultural, político y económico en el que opera, lo que les ayuda a formar una hipótesis inicial de lo que es. pasando bajo el capó. Este análisis contextual también debe repetirse continuamente a medida que avanza la auditoría.
Luego, Eticas se acerca directamente a las organizaciones que desarrollan e implementan los sistemas, para que también tengan la oportunidad de participar en el proceso, pero prioriza el compromiso y la “construcción de alianzas” con las personas y comunidades afectadas.
“Un paso en el que insistimos en nuestra metodología es el involucramiento de las comunidades afectadas. Entonces, en algunos casos, las comunidades afectadas acudieron a nosotros con un problema que tal vez no estén seguros de cómo examinar”, dijo. “Por ejemplo, con nuestra auditoría de aplicaciones de transporte compartido, fue una asociación orgánica con dos organizaciones, Taxi Project y Observatorio TAS, que abogan por los derechos de los trabajadores en el sector del taxi”.
Todo esto también implica una “evaluación de viabilidad” de la auditoría y si puede avanzar de manera realista, ya que si no hay puntos de acceso identificados, o si los auditores no pueden obtener legalmente los datos necesarios, es posible que ni siquiera sea posible.
Una vez que los auditores identificaron un sistema, realizaron un análisis contextual, se acercaron a una variedad de partes interesadas y evaluaron la viabilidad general de la auditoría, Nalbantova dijo que la etapa final es diseñar una metodología para la auditoría que cubra la recopilación y el análisis de datos, que termina con considerando posibles mitigaciones y recomendaciones para cualquier efecto nocivo identificado.
“Este proceso no está exento de desafíos y requiere mucha creatividad, mucho pensamiento innovador, pero hemos descubierto que esos pasos abordan más o menos la mayoría de los problemas que surgen durante la planificación y la ejecución de una auditoría contradictoria, y se puede adaptar a diferentes sistemas”, dijo.
Mantener una mente abierta
En su informe sobre la auditoría de TikTok, Eticas señaló que, si bien el algoritmo de la empresa no detectó los intereses políticos de los usuarios para la personalización tan rápido como se esperaba inicialmente (en lugar de elegir priorizar el contenido de “entretenimiento” independientemente de las opiniones políticas de un usuario), las investigaciones del Muro Street Journal y NewsGuard de 2021 y 2022 respectivamente encontraron todo lo contrario.
Esas investigaciones “encontraron evidencia de que el algoritmo de TikTok detecta usuarios implícitos [political] intereses poco después de la creación de la cuenta y selecciona feeds de recomendaciones altamente personalizados rápidamente [within 40 minutes to two hours],” decía.
“Con esto, los resultados de nuestra auditoría y otros estudios recientes parecen sugerir que el nivel de personalización en el sistema de recomendación de TikTok se ajustó el año pasado”.
Nalbantova agregó que si bien los resultados fueron inesperados, ilustran que los algoritmos evolucionan con el tiempo y la necesidad de reevaluar continuamente sus impactos.
“A veces son muy dinámicos y cambian muy rápido… por eso es tan importante que cualquier proceso de auditoría sea realmente transparente y público para que otros puedan replicarlo y probarlo cada vez más”, dijo.
“No tenemos un marco de tiempo específico en el que se deban repetir las auditorías contradictorias, pero para las auditorías internas, por ejemplo, recomendamos al menos una vez al año o, idealmente, dos veces al año, por lo que se podría usar un marco de tiempo similar”.
Agregó que para los algoritmos de las redes sociales, que “cambian todo el tiempo”, las auditorías deberían ser aún más regulares.
Sin embargo, Patricia Vázquez Pérez, directora de marketing, relaciones públicas y comunicaciones de Eticas, señaló que la respuesta de las empresas a sus auditorías ha sido deficiente.
En respuesta a la auditoría de transporte compartido, por ejemplo, señaló que Cabify tuvo una “respuesta fuerte” e intentó desacreditar el rigor del informe y cuestionar sus hallazgos.
“Por lo general, antes de hacer una auditoría, nos ponemos en contacto con esa empresa, tratando de exponer las hipótesis iniciales de lo que creemos que podría estar sucediendo, y la mayoría de las veces obtenemos silencio”, dijo.
“A veces, después de que se publican el informe y las auditorías, recibimos respuestas negativas de las empresas. Nunca han estado abiertos a decir: ‘Bien, ahora que ha publicado esto, estamos abiertos a mostrarle nuestro código para una auditoría interna’; nunca quisieron eso”.
Nalbantova dijo que las auditorías contradictorias de Eticas muestran que las empresas solo están comprometidas con la transparencia en teoría: “Las empresas solo lo dicen en principio y no hacen nada en la práctica”.
Agregó, sin embargo, que Eticas aún se esforzará por proporcionar posibles medidas de mitigación para los problemas identificados por las auditorías, incluso cuando las empresas respondan negativamente a los resultados de una auditoría.
Computer Weekly contactó a Cabify sobre su reacción a la auditoría de Eticas y si trabajaría junto a auditores externos en el futuro: “Cabify reitera su compromiso con los consumidores y…