El sistema de asistencia social sueco impulsado algorítmicamente se dirige desproporcionadamente a grupos marginados de la sociedad sueca para investigaciones de fraude de prestaciones y debe suspenderse de inmediato, ha afirmado Amnistía Internacional.
Una investigación publicada por Lighthouse Reports y Svenska Dagbladet (SvB) el 27 de noviembre de 2024 encontró que el sistema de aprendizaje automático (ML) que utiliza Försäkringskassan, la Agencia de Seguro Social de Suecia, está señalando de manera desproporcionada a ciertos grupos para una mayor investigación sobre el fraude de beneficios sociales, incluidas las mujeres. , personas de origen “extranjero”, personas de bajos ingresos y personas sin títulos universitarios.
Basado en un análisis de datos agregados sobre los resultados de las investigaciones de fraude en las que los algoritmos señalaron los casos, la investigación también encontró que el sistema era en gran medida ineficaz para identificar a hombres y personas ricas que realmente habían cometido algún tipo de fraude a la seguridad social.
Para detectar el fraude en las prestaciones sociales, el sistema basado en el aprendizaje automático (introducido por Försäkringskassan en 2013) asigna puntuaciones de riesgo a los solicitantes de seguridad social, lo que luego desencadena automáticamente una investigación si la puntuación de riesgo es lo suficientemente alta.
Aquellos con las puntuaciones de riesgo más altas son remitidos al departamento de “control” de la agencia, que se ocupa de los casos en los que existe sospecha de intención delictiva, mientras que aquellos con puntuaciones más bajas son remitidos a trabajadores sociales, donde son investigados sin presunción de intención delictiva.
Una vez que los casos se señalan a los investigadores de fraude, estos tienen el poder de rastrear las cuentas de redes sociales de una persona, obtener datos de instituciones como escuelas y bancos, e incluso entrevistar a los vecinos de una persona como parte de sus investigaciones. Aquellos que están incorrectamente marcados por el sistema de seguridad social se han quejado de que luego terminan enfrentando retrasos y obstáculos legales para acceder a sus derechos de asistencia social.
“Todo el sistema es similar a una caza de brujas contra cualquiera que sea señalado en investigaciones de fraude de beneficios sociales”, dijo David Nolan, investigador principal de Amnesty Tech. “Uno de los principales problemas con la IA [artificial intelligence] Los sistemas que están implementando las agencias de seguridad social es que pueden agravar las desigualdades y la discriminación preexistentes. Una vez que se señala a un individuo, se lo trata con sospecha desde el principio. Esto puede resultar extremadamente deshumanizante. Este es un claro ejemplo de cómo el derecho de las personas a la seguridad social, la igualdad y la no discriminación y la privacidad son violados por un sistema que está claramente sesgado”.
Pruebas contra métricas de equidad
Utilizando los datos agregados (lo que sólo fue posible porque la Inspección de Seguridad Social de Suecia (ISF) había solicitado previamente los mismos datos), SvB y Lighthouse Reports pudieron probar el sistema algorítmico con seis métricas de equidad estadística estándar, incluida la paridad demográfica, la paridad predictiva y tasas de falsos positivos.
Señalaron que, si bien los hallazgos confirmaron que el sistema sueco se dirige de manera desproporcionada a grupos ya marginados de la sociedad sueca, Försäkringskassan no ha sido completamente transparente sobre el funcionamiento interno del sistema, habiendo rechazado una serie de solicitudes de libertad de información (FOI) presentadas por los investigadores. .
Agregaron que cuando presentaron su análisis a Anders Viseth, jefe de análisis de Försäkringskassan, él no lo cuestionó y, en cambio, argumentó que no se había identificado ningún problema.
“Las selecciones que hacemos no las consideramos una desventaja”, dijo. “Analizamos casos individuales y los evaluamos en función de la probabilidad de error y los seleccionados reciben un juicio justo. Estos modelos han demostrado estar entre los más precisos que tenemos. Y tenemos que utilizar nuestros recursos de forma rentable. Al mismo tiempo, no discriminamos a nadie, pero cumplimos la ley contra la discriminación”.
Computer Weekly se puso en contacto con Försäkringskassan sobre la investigación y el posterior llamamiento de Amnistía para que se suspendiera el sistema.
“Försäkringskassan tiene una importante responsabilidad en la prevención de actividades delictivas contra el sistema de seguridad social sueco”, afirmó un portavoz de la agencia. “Este sistema basado en aprendizaje automático es una de varias herramientas utilizadas para salvaguardar el dinero de los contribuyentes suecos.
“Es importante destacar que el sistema funciona en total conformidad con la ley sueca. Vale la pena señalar que el sistema no marca individuos sino aplicaciones específicas. Además, ser señalado no da lugar automáticamente a una investigación. Y si un solicitante tiene derecho a beneficios, los recibirá independientemente de si su solicitud fue marcada. Entendemos el interés por la transparencia; sin embargo, revelar los detalles de cómo funciona el sistema podría permitir a las personas evitar la detección. Esta posición ha sido confirmada por el Tribunal Administrativo de Apelación (Stockholms Kammarrätt, caso núm. 7804-23)”.
Nolan dijo que si el uso del sistema continúa, entonces Suecia podría estar caminando sonámbula hacia un escándalo similar al de los Países Bajos, donde las autoridades fiscales utilizaron algoritmos para acusar falsamente de fraude a decenas de miles de padres y cuidadores, en su mayoría de familias de bajos ingresos, lo que también perjudicó desproporcionadamente a personas procedentes de minorías étnicas.
“Dada la respuesta opaca de las autoridades suecas, que no nos permite comprender el funcionamiento interno del sistema, y el marco vago de la prohibición de la puntuación social en virtud de la Ley de IA, es difícil determinar dónde entraría este sistema específico bajo la IA. Clasificación de los sistemas de IA basada en el riesgo de la ley”, dijo. “Sin embargo, hay evidencia suficiente para sugerir que el sistema viola el derecho a la igualdad y a la no discriminación. Por lo tanto, el sistema debe suspenderse inmediatamente”.
Según la Ley de IA, que entró en vigor el 1 de agosto de 2024, el uso de sistemas de IA por parte de las autoridades públicas para determinar el acceso a servicios y beneficios públicos esenciales debe cumplir estrictas normas técnicas, de transparencia y de gobernanza, incluida la obligación por parte de los implementadores de llevar a cabo una evaluación de los riesgos para los derechos humanos y garantizar que existan medidas de mitigación antes de utilizarlos. Quedan prohibidos sistemas específicos que sean considerados herramientas de puntuación social.
La ISF de Suecia descubrió previamente en 2018 que el algoritmo utilizado por Försäkringskassan “en su diseño actual [the algorithm] no cumple con el trato igualitario”, aunque la agencia retrocedió en ese momento argumentando que el análisis era erróneo y se basaba en motivos dudosos.
Un responsable de protección de datos que trabajó anteriormente en Försäkringskassan también advirtió en 2020 que el funcionamiento del sistema viola el Reglamento general europeo de protección de datos, porque la autoridad no tiene base legal para elaborar perfiles de personas.
El 13 de noviembre, Amnistía Internacional expuso cómo las herramientas de inteligencia artificial utilizadas por la agencia de bienestar social de Dinamarca están creando una perniciosa vigilancia masiva, con el riesgo de discriminación contra las personas con discapacidad, los grupos racializados, los migrantes y los refugiados.