Las herramientas de inteligencia artificial (IA) utilizadas por la autoridad danesa de bienestar social violan la privacidad individual, corren el riesgo de ser discriminadas e infringen las regulaciones de la Ley de IA de la Unión Europea (UE) sobre sistemas de puntuación social, según un análisis de Amnistía Internacional.
Udbetaling Danmark (UDK, o Payout Denmark), establecida en 2012 para centralizar el pago de diversas prestaciones sociales en cinco municipios, utiliza algoritmos impulsados por inteligencia artificial para señalar a las personas que se consideran con mayor riesgo de cometer fraude en prestaciones sociales para una mayor investigación. Estos se desarrollaron en asociación con ATP, la empresa de procesamiento de pensiones más grande de Dinamarca, y varias corporaciones multinacionales privadas.
El informe detalla cómo los algoritmos de control de fraude de UDK violan los derechos humanos de los beneficiarios de prestaciones de seguridad social, incluidos sus derechos a la privacidad, la igualdad y la seguridad social. También concluye que el sistema crea una barrera para el acceso a beneficios sociales para ciertos grupos marginados, incluidas las personas con discapacidad, las personas de bajos ingresos y los inmigrantes.
“Esta vigilancia masiva ha creado un sistema de beneficios sociales que corre el riesgo de apuntar, en lugar de apoyar, a las mismas personas que debía proteger”, afirmó Hellen Mukiri-Smith, investigadora de Amnistía Internacional sobre inteligencia artificial y derechos humanos.
“La forma en que opera el sistema de bienestar automatizado danés está erosionando la privacidad individual y socavando la dignidad humana. Al implementar algoritmos de control de fraude y métodos de vigilancia tradicionales para identificar el fraude en beneficios sociales, las autoridades están permitiendo y ampliando la vigilancia masiva digitalizada”.
Amnistía sostiene que el sistema de detección de fraude de UDK probablemente esté incluido en la prohibición de la “puntuación social” prevista en la Ley de IA de la UE, que entró en vigor el 1 de agosto de 2024.
La ley define los sistemas de puntuación social de IA como aquellos que “evalúan o clasifican” a individuos o grupos en función del comportamiento social o rasgos personales, causando un “trato perjudicial o desfavorable” a esas personas.
Mukiri-Smith dijo: “La información que Amnistía Internacional ha recopilado y analizado sugiere que el sistema utilizado por la UDK y la ATP funciona como un sistema de puntuación social según la nueva ley de Inteligencia Artificial de la UE y, por lo tanto, debería prohibirse”.
UDK y ATP proporcionaron a Amnistía documentación redactada sobre el diseño de ciertos sistemas algorítmicos y supuestamente rechazaron las solicitudes de Amnistía de una auditoría colaborativa, negándose a proporcionar acceso completo al código y a los datos utilizados en sus algoritmos.
La autoridad danesa también rechazó la evaluación de Amnistía de que su sistema de detección de fraude probablemente esté incluido en la prohibición de puntuación social de la Ley de IA, pero no ofreció una explicación para este razonamiento.
En respuesta a esto, Amnistía ha pedido a la Comisión Europea que emita directrices claras sobre qué prácticas de IA constituyen un sistema de puntuación social en sus directrices sobre la Ley de IA. La organización también ha solicitado a las autoridades danesas que dejen de utilizar el sistema hasta que se pueda confirmar que no está incluido en esta prohibición.
Mukiri-Smith añadió: “Las autoridades danesas deben implementar urgentemente una prohibición clara y legalmente vinculante sobre el uso de datos relacionados con la ‘afiliación extranjera’ o datos proxy en la calificación de riesgos con fines de control del fraude. También deben garantizar una transparencia sólida y una supervisión adecuada en el desarrollo y despliegue de algoritmos de control de fraude”.
Computer Weekly se puso en contacto con UDK sobre las afirmaciones hechas por Amnistía Internacional, pero no recibió respuesta al momento de la publicación.
Violación de la privacidad
Junto con ATP, UDK utiliza un sistema de hasta 60 algoritmos para identificar solicitudes fraudulentas de beneficios sociales y señalar a personas para que las autoridades danesas las investiguen más a fondo.
Para impulsar estos modelos, las autoridades danesas han promulgado leyes que permiten la recopilación y combinación extensa de datos personales de bases de datos públicas de millones de residentes daneses. Esto incluye información sobre el estado de residencia, ciudadanía y otros datos que también pueden servir como indicadores de la raza, etnia u orientación sexual de una persona.
Mukiri-Smith añadió: “Esta amplia máquina de vigilancia se utiliza para documentar y crear una vista panorámica de la vida de una persona que a menudo está desconectada de la realidad. Realiza un seguimiento y monitorea dónde vive, trabaja un solicitante de beneficios sociales, su historial de viajes, registros médicos e incluso sus vínculos con países extranjeros”.
Las personas entrevistadas por Amnistía describieron el impacto psicológico de ser sometidos a vigilancia por parte de investigadores de fraude y trabajadores sociales. Al describir la sensación de ser investigado por fraude de prestaciones, Stig Langvad, de la Dansk Handicap Foundation, dijo a Amnistía que es como “sentarse en la punta de un arma”.
UDK afirmó que su recopilación y combinación de datos personales para detectar fraudes en prestaciones sociales tiene “base legal”.
Exacerbación de la marginación estructural
El informe también revela que el sistema de control de fraude en beneficios desarrollado por UDK y ATP se basa en estructuras inherentemente discriminatorias en los sistemas legales y sociales de Dinamarca, que categorizan a las personas y comunidades según sus diferencias.
Según el informe, la ley danesa ya crea un “entorno hostil para los inmigrantes y las personas a las que se les ha concedido el estatus de refugiado”, con requisitos de residencia para quienes pretenden reclamar prestaciones que afectan desproporcionadamente a las personas de países no occidentales, con muchos refugiados en Dinamarca. incluidos Siria, Afganistán y Líbano.
El algoritmo de control de fraude Really Single predice el estado familiar o civil de una persona para evaluar el riesgo de fraude de beneficios en pensiones y planes de cuidado infantil. Uno de los parámetros empleados por el algoritmo incluye patrones de vida o arreglos familiares “inusuales” o “atípicos”, pero no contiene claridad sobre lo que constituye tales situaciones, lo que deja espacio para una toma de decisiones peligrosamente arbitraria.
Mukiri-Smith añadió: “Las personas que viven en condiciones de vida no tradicionales, como aquellas con discapacidades que están casadas pero viven separadas debido a sus discapacidades; personas mayores en relaciones que viven separadas; o aquellos que viven en un hogar multigeneracional, un acuerdo común en las comunidades de inmigrantes, corren el riesgo de ser blanco del algoritmo Really Single para una mayor investigación sobre el fraude de beneficios sociales”.
Gitte Nielsen, presidenta del comité de política social y del mercado laboral de la Dansk Handicap Foundation, describió la sensación de ser examinado y reevaluado constantemente: “Te está devorando. Muchos de nuestros miembros… tienen depresión debido a este interrogatorio”.
UDK y ATP también utilizan entradas relacionadas con la “afiliación extranjera” en sus modelos algorítmicos. Por ejemplo, el algoritmo Model Abroad identifica grupos de beneficiarios que se considera que tienen “vínculos de fuerza media y alta” con países no pertenecientes al EEE y prioriza estos grupos para una mayor investigación.
La investigación de Amnistía encontró que algoritmos como estos discriminan a las personas en función de factores como el origen nacional y el estatus migratorio.
En respuesta a Amnistía, la UDK afirmó que el uso de “ciudadanía” como parámetro en sus algoritmos no constituye un procesamiento de información personal sensible.