Los grupos de la sociedad civil están pidiendo a los legisladores europeos que prohíban los sistemas policiales predictivos impulsados por inteligencia artificial (IA), argumentando que se dirigen de manera desproporcionada a los más marginados de la sociedad, infringen los derechos fundamentales y refuerzan la discriminación estructural.
En una carta abierta a las instituciones de la Unión Europea (UE), que actualmente intentan regular el uso de IA a través de la próxima Ley de Inteligencia Artificial (AIA) del bloque, las 38 organizaciones de la sociedad civil dijeron que el uso cada vez mayor de sistemas automatizados de toma de decisiones para predecir , perfilar o evaluar el riesgo de las personas o la probabilidad de un comportamiento delictivo presenta un “riesgo inaceptable” para los derechos fundamentales de las personas.
Esto incluye el derecho a un juicio justo y la presunción de inocencia, el derecho a la vida privada y familiar, y varios derechos de protección de datos.
El grupo, dirigido por Fair Trials and European Digital Rights (EDRi), dijo: “Estas predicciones, perfiles y evaluaciones de riesgo, realizadas contra individuos, grupos y áreas o ubicaciones, pueden influir, informar o dar como resultado resultados policiales y de justicia penal. , incluida la vigilancia, las detenciones y registros, las multas, los interrogatorios y otras formas de control policial”.
Agregó además que debido a que los datos subyacentes utilizados para crear, capacitar y operar sistemas policiales predictivos a menudo reflejan sesgos estructurales históricos y desigualdades en la sociedad, su implementación “dará como resultado que las personas, comunidades y áreas geográficas racializadas sean vigiladas en exceso y desproporcionadamente”. vigilados, interrogados, detenidos y encarcelados en toda Europa”.
El oficial legal y de políticas de Fair Trials, Griff Ferris, dijo: “La única forma de proteger a las personas de estos daños y otras violaciones de los derechos fundamentales es prohibir su uso”.
Fair Trials pidió anteriormente una prohibición total del uso de IA y sistemas automatizados para “predecir” el comportamiento delictivo en septiembre de 2021.
Tal como está actualmente, la AIA enumera cuatro prácticas que se consideran “un riesgo inaceptable” y que, por lo tanto, están prohibidas, incluidos los sistemas que distorsionan el comportamiento humano; sistemas que explotan las vulnerabilidades de grupos sociales específicos; sistemas que proporcionan “puntuación” de individuos; y la identificación biométrica remota y en tiempo real de personas en lugares públicos.
Sin embargo, los críticos le dijeron previamente a Computer Weekly que, si bien la propuesta establece una “prohibición horizontal amplia” de estas prácticas de IA, tales usos todavía están permitidos en un contexto de aplicación de la ley y “solo están prohibidos en la medida en que crean daño físico o psicológico”.
En su carta, publicada el 1 de marzo, los grupos de la sociedad civil piden explícitamente que los sistemas policiales predictivos se incluyan en esta lista de prácticas prohibidas de IA, que se recoge en el artículo 5 de la AIA.
“Para garantizar que la prohibición se haga cumplir de manera significativa, así como en relación con otros usos de los sistemas de IA que no estén dentro del alcance de esta prohibición, las personas afectadas también deben tener rutas claras y efectivas para impugnar el uso de estos sistemas a través de acciones criminales. procedimiento, para permitir que aquellos cuya libertad o derecho a un juicio justo esté en juego busquen una reparación inmediata y efectiva”, dijo.
Falta de responsabilidad
Gemma Galdon-Clavell, presidenta y fundadora de la consultora de auditoría algorítmica Eticas, con sede en Barcelona, dijo que su organización firmó la carta a los legisladores europeos debido a la actual falta de responsabilidad sobre cómo se desarrollan e implementan los sistemas de IA.
“Si vamos a confiar en los sistemas de IA para decidir sobre el futuro y las oportunidades de vida de las personas, estos deben ser transparentes en cuanto a cómo funcionan, quienes los desarrollan deben demostrar que han tomado todas las precauciones posibles para eliminar los sesgos y las ineficiencias de dichos sistemas y las administraciones públicas. quienes buscan usarlos deben desarrollar y hacer cumplir los sistemas de compensación para aquellos que sienten que sus derechos están siendo infringidos por dichos sistemas”, dijo a Computer Weekly.
“Como auditores algorítmicos, en Eticas a menudo vemos sistemas que funcionan de manera muy diferente a lo que anuncian y lo que es socialmente aceptable, y tememos que la expansión de la IA en contextos de alto riesgo e impacto no debería ocurrir a menos que exista un ecosistema regulatorio. .
“Creemos que las posibilidades de la IA se ven obstaculizadas por prácticas comerciales de IA que minimizan los riesgos y prometen resultados excesivos, sin transparencia ni rendición de cuentas”.
Un grupo de más de 100 organizaciones de la sociedad civil firmó una carta abierta en noviembre de 2021, pidiendo a los políticos europeos que modifiquen la AIA para que proteja adecuadamente los derechos humanos fundamentales y aborde los impactos estructurales de la IA.
Críticas de larga data
Los críticos de los sistemas policiales predictivos han presentado argumentos similares durante mucho tiempo. En marzo de 2020, por ejemplo, las pruebas presentadas a las Naciones Unidas (ONU) por la Comisión de Igualdad y Derechos Humanos (EHRC) del Reino Unido indicaron que el uso de vigilancia predictiva podría replicar y magnificar “patrones de discriminación en la vigilancia, al tiempo que otorga legitimidad a procesos sesgados”. ”.
Agregó: “La dependencia de ‘grandes datos’ que abarcan grandes cantidades de información personal también puede infringir los derechos de privacidad y dar lugar a la autocensura, con el consiguiente efecto inhibidor sobre la libertad de expresión y asociación”.
En su libro, Policía: una guía de campoque analiza la historia y los métodos de la vigilancia policial moderna, los autores David Correia y Tyler Wall también argumentan que las tasas de criminalidad y otros datos de actividad delictiva reflejan los patrones policiales ya racializados, creando un círculo vicioso de sospecha y aplicación contra las minorías negras y latinas en particular. .
“La vigilancia predictiva… proporciona datos aparentemente objetivos para que la policía participe en esas mismas prácticas, pero de una manera que parece libre de discriminación racial… por lo que no debería sorprender que la vigilancia predictiva ubique la violencia del futuro en los pobres de la presentes”, dijeron.
El 7 de septiembre de 2021, varios académicos advirtieron al Comité de Justicia y Asuntos Internos de la Cámara de los Lores (HAJC) del Reino Unido sobre los peligros de la vigilancia predictiva.
Rosamunde Elise van Brakel, codirectora de la Red de Estudios de Vigilancia, señaló que los datos “que se utilizan a menudo son datos de arrestos, y ha quedado muy claro que estos datos están sesgados, especialmente como resultado de la elaboración de perfiles étnicos por parte de la policía”, y que todo el tiempo “estos datos tienen este sesgo social incorporado, el software siempre estará sesgado”.
“El primer paso aquí no es una cuestión tecnológica, es una cuestión sobre cómo las prácticas sociales y policiales ya son discriminatorias o ya están sesgadas”, dijo. “No creo que puedas resolver este problema modificando la tecnología o tratando de encontrar IA para detectar sesgos”.
Discrepancias de poder
Hablando ante el HAJC en octubre de 2021, Karen Yeung, profesora interdisciplinaria de derecho, ética e informática en la Facultad de Derecho de Birmingham, señaló que el uso de tecnologías policiales predictivas tiene el potencial de afianzar masivamente las discrepancias de poder existentes en la sociedad, ya que “la realidad es hemos tendido a usar los datos históricos que tenemos, y tenemos datos en masa, principalmente sobre personas de entornos socioeconómicos más bajos”.
“No estamos creando herramientas de evaluación de riesgos criminales para identificar el uso de información privilegiada, o quién va a cometer el próximo tipo de fraude corporativo, porque no estamos buscando ese tipo de delitos”, dijo.
“Esto es realmente pernicioso… Estamos analizando un gran volumen de datos, que en su mayoría se trata de personas pobres, y los estamos convirtiendo en herramientas de predicción sobre las personas pobres, y estamos dejando a sectores enteros de la sociedad al margen de estas herramientas.
“Este es un problema sistémico grave y debemos hacernos esas preguntas”, dijo Yeung. “¿Por qué no recopilamos datos, que ahora es perfectamente posible, sobre el comportamiento policial individual? Podríamos haber rastreado a individuos deshonestos que son propensos a cometer violencia contra las mujeres. Tenemos la tecnología, pero no tenemos la voluntad política para aplicarla para controlar el ejercicio de la autoridad pública”.