El plan propuesto por la Unión Europea (UE) para regular el uso de inteligencia artificial (IA) amenaza con socavar la red de seguridad social del bloque y está mal equipado para proteger a las personas de la vigilancia y la discriminación, según un informe de Human Rights Watch.
El apoyo a la seguridad social en toda Europa se administra cada vez más mediante algoritmos basados en inteligencia artificial, que los gobiernos utilizan para asignar beneficios que salvan vidas, proporcionar apoyo laboral y controlar el acceso a una variedad de servicios sociales, dijo Human Rights Watch en su informe de 28 páginas. , Cómo la normativa de inteligencia artificial defectuosa de la UE pone en peligro la red de seguridad social.
Basándose en estudios de casos de Irlanda, Francia, los Países Bajos, Austria, Polonia y el Reino Unido, la organización no gubernamental (ONG) descubrió que la tendencia europea hacia la automatización discrimina a las personas que necesitan apoyo de la seguridad social, compromete su privacidad y hace les resulta más difícil obtener ayuda del gobierno.
Agregó que si bien la propuesta de la Ley de Inteligencia Artificial (AIA) de la UE, que se publicó en abril de 2021, reconoce ampliamente los riesgos asociados con la inteligencia artificial, “no protege de manera significativa los derechos de las personas a la seguridad social y un nivel de vida adecuado”.
“En particular, sus estrictas salvaguardias descuidan cómo las desigualdades existentes y las fallas en la protección adecuada de los derechos, como la brecha digital, los recortes de seguridad social y la discriminación en el mercado laboral, dan forma al diseño de los sistemas automatizados y se integran en ellos”.
Según Amos Toh, investigador principal sobre inteligencia artificial y derechos humanos de Human Rights Watch, la propuesta finalmente no logrará poner fin a la “vigilancia y perfiles abusivos” de quienes viven en la pobreza. “La propuesta de la UE no hace lo suficiente para proteger a las personas de los algoritmos que les quitan injustamente los beneficios que necesitan para mantenerse o encontrar un trabajo”, dijo.
La autorregulación no es lo suficientemente buena
El informe se hace eco de las afirmaciones hechas por los expertos en derechos civiles digitales, quienes previamente le dijeron a Computer Weekly que la propuesta regulatoria está apilada a favor de las organizaciones, tanto públicas como privadas, que desarrollan e implementan tecnologías de inteligencia artificial, a las que esencialmente se les asigna la tarea de marcar casillas, mientras que a la gente corriente se le ofrece poca protección o reparación.
Por ejemplo, aunque la AIA establece reglas sobre el uso de prácticas de IA de “alto riesgo” y “prohibidas”, permite a los proveedores de tecnología autoevaluar si sus sistemas son consistentes con las protecciones de derechos limitados de la regulación, en un proceso denominado ” evaluaciones de conformidad ”.
“Una vez que firman sus propios sistemas (mediante la presentación de una declaración de conformidad), son libres de comercializarlos en la UE”, dijo Human Rights Watch. “Esta adopción de la autorregulación significa que habrá pocas oportunidades para que la sociedad civil, el público en general y las personas directamente afectadas por la automatización de la administración de la seguridad social participen en el diseño e implementación de estos sistemas”.
“La automatización de los servicios de seguridad social debería mejorar la vida de las personas, no costarles el apoyo que necesitan para pagar el alquiler, comprar alimentos y ganarse la vida. La UE debería modificar el reglamento para garantizar que cumple con sus obligaciones de proteger los derechos económicos y sociales ”.
Amos Toh, Human Rights Watch
Agregó que la regulación tampoco brinda ningún medio de reparación contra las empresas de tecnología a las personas a las que se les niegan los beneficios debido a errores de software: “Las agencias gubernamentales responsables del cumplimiento normativo en su país podrían tomar medidas correctivas contra el software o detener su funcionamiento, pero el reglamento no otorga a las personas directamente afectadas el derecho a presentar una apelación ante estas agencias “.
Dando el ejemplo del algoritmo de elaboración de perfiles de empleo de Austria, que académicos austriacos han descubierto que se está utilizando para apoyar las políticas de austeridad del gobierno, la ONG dijo que ayudó a legitimar los recortes presupuestarios de la seguridad social al reforzar la narrativa dañina de que las personas con malas perspectivas laborales son perezosas o desmotivadas.
“La apariencia de objetividad matemática oscurece la realidad más confusa de que las perspectivas laborales de las personas están determinadas por factores estructurales que escapan a su control, como el acceso dispar a la educación y las oportunidades laborales”, dijo.
“Centrar los derechos de las personas de bajos ingresos en las primeras etapas del proceso de diseño es fundamental, ya que corregir el daño a los derechos humanos una vez que el sistema se activa es exponencialmente más difícil. En el Reino Unido, el algoritmo defectuoso utilizado para calcular los beneficios del Crédito Universal de las personas sigue provocando que las personas sufran fluctuaciones erráticas y reducciones en sus pagos, a pesar de un fallo judicial en 2020 que ordena al gobierno corregir algunos de estos errores. El gobierno también se ha resistido a cambios más amplios en el algoritmo, argumentando que serían demasiado costosos y onerosos de implementar “.
Las lagunas impiden la transparencia
Aunque la AIA incluye disposiciones para la creación de una base de datos centralizada de sistemas de alto riesgo en toda la UE, que será visible públicamente y se basará en las evaluaciones de conformidad, Human Rights Watch dijo que es probable que las lagunas en la regulación impidan una transparencia significativa.
La laguna más notable en torno a la base de datos, dijo, era el hecho de que solo se publicarían detalles genéricos sobre el estado de un sistema automatizado, como los países de la UE donde se implementa y si está activo o descontinuado.
“Los datos desglosados críticos para la comprensión del público del impacto de un sistema, como las agencias gubernamentales específicas que lo usan, las fechas de servicio y para qué se usa el sistema, no estarán disponibles”, dijo. “En otras palabras, la base de datos podría indicarle que una empresa en Irlanda está vendiendo software de puntuación de riesgo de fraude en Francia, pero no qué agencias o empresas francesas están utilizando el software y cuánto tiempo lo han estado utilizando”.
Agregó que la regulación también proporciona importantes exenciones para las autoridades encargadas de hacer cumplir la ley y de control migratorio. Por ejemplo, mientras que los proveedores de tecnología normalmente deben divulgar instrucciones de uso que expliquen los procesos de toma de decisiones subyacentes de sus sistemas, la AIA establece que esto no se aplica a las entidades encargadas de hacer cumplir la ley.
“Como resultado, es probable que la información de importancia crítica sobre una amplia gama de tecnologías de aplicación de la ley que podrían afectar los derechos humanos, incluidas las herramientas de evaluación de riesgos penales y el software de análisis de delitos que analizan grandes conjuntos de datos para detectar patrones de comportamiento sospechoso, permanezca en secreto, ” decía.
En octubre de 2021, el Parlamento Europeo votó a favor de una propuesta para permitir que la agencia internacional contra el crimen, Europol, intercambie información más fácilmente con empresas privadas y desarrolle herramientas policiales impulsadas por la inteligencia artificial.
Sin embargo, según Laure Baudrihaye-Gérard, directora legal y de políticas de la ONG Fair Trials, la extensión del mandato de Europol en combinación con las exenciones propuestas por la AIA permitiría efectivamente a la agencia del crimen operar con poca responsabilidad y supervisión cuando se trata de desarrollar y usar IA para la vigilancia.
En un artículo de opinión conjunto, Baudrihaye-Gérard y Chloé Berthélémy, asesora de políticas de European Digital Rights (EDRi), agregaron que el voto de los eurodiputados en el Parlamento representaba un “cheque en blanco” para que la policía cree sistemas de inteligencia artificial que corren el riesgo de socavar los derechos humanos fundamentales .
Recomendaciones para la reducción de riesgos
El informe de Human Rights Watch continúa con una serie de recomendaciones sobre cómo la UE puede fortalecer la prohibición de la AIA sobre los sistemas que representan un riesgo.
Estos incluyen la colocación de prohibiciones claras sobre las aplicaciones de IA que amenazan los derechos de formas que no se pueden mitigar de manera efectiva; codificar una fuerte presunción contra el uso de algoritmos para retrasar o denegar el acceso a los beneficios; y el establecimiento de un mecanismo para hacer adiciones a la lista de sistemas que presentan un “riesgo inaceptable”.
También recomendó introducir evaluaciones de impacto obligatorias sobre los derechos humanos que deben realizarse antes y durante los despliegues, y exigir a los Estados miembros de la UE que establezcan organismos de supervisión independientes para garantizar que las evaluaciones de impacto no sean simples ejercicios de tachar casillas.
“La automatización de los servicios de seguridad social debería mejorar la vida de las personas, no costarles el apoyo que necesitan para pagar el alquiler, comprar alimentos y ganarse la vida”, dijo Toh. “La UE debería modificar el reglamento para garantizar que cumple con sus obligaciones de proteger los derechos económicos y sociales”.
