Las fuerzas policiales del Reino Unido están “sobrealimentando el racismo” mediante el uso de sistemas automatizados de “vigilancia predictiva”, ya que se basan en perfilar personas o grupos antes de que hayan cometido un delito, según Amnistía Internacional.
Los sistemas de vigilancia predictiva utilizan inteligencia artificial (IA) y algoritmos para predecir, perfilar o evaluar la probabilidad de comportamiento criminal, ya sea en individuos específicos o en ubicaciones geográficas.
En un informe de 120 páginas publicado el 20 de febrero de 2025, titulado Racismo automatizado: cómo los datos policiales y los algoritmos codifican la discriminación en la vigilancia policial -Amnistía dijo que las herramientas de vigilancia predictiva se utilizan para atacar repetidamente a las comunidades pobres y racializadas, ya que estos grupos han sido históricamente “sobrepoletos” y, por lo tanto, están enormemente sobrerrepresentados en los conjuntos de datos policiales.
Esto crea un ciclo de retroalimentación negativo, donde estas “llamadas predicciones” conducen a una mayor sobrenadería de ciertos grupos y áreas; Reforzar y exacerbar la discriminación preexistente a medida que se recopilan cantidades crecientes de datos.
“Dado que los datos de detención y búsqueda de inteligencia contendrán un sesgo contra estas comunidades y áreas, es muy probable que la salida predicha represente y repita esa misma discriminación. Las salidas predichas conducen a más consecuencias de detención y búsqueda y criminales, lo que contribuirá a predicciones futuras ”, dijo. “Este es el ciclo de retroal de discriminación”.
Amnistía descubrió que en todo el Reino Unido, al menos 33 fuerzas policiales han desplegado herramientas de vigilancia predictiva, con 32 de ellas utilizando sistemas de predicción de delitos geográficos en comparación con 11 que están utilizando herramientas de predicción del crimen centradas en las personas.
Dijo que estas herramientas están “en violación flagrante” de las obligaciones nacionales e internacionales de los derechos humanos del Reino Unido porque se están utilizando para perfilar racialmente a las personas, socava la presunción de inocencia al atacar a las personas antes de que incluso hayan estado involucrados en un delito y combustible Vigilancia masiva indiscriminada de áreas y comunidades enteras.
El grupo de derechos humanos agregó que el uso creciente de estas herramientas también crea un efecto escalofriante, ya que las personas tienden a evitar áreas o personas que conocen están siendo atacadas por la vigilancia predictiva, socavando aún más el derecho de las personas a la asociación.
Los ejemplos de herramientas de vigilancia predictiva citadas en el informe incluyen la “Matriz de violencia de pandillas” de la policía metropolitana, que se utilizó para asignar “puntajes de riesgo” a las personas antes de que fuera destripada por la fuerza sobre sus impactos racistas; y la base de datos Xcalibre de la Policía de la Greater Manchester, que se ha utilizado de manera similar para perfilar a las personas en función de la “percepción” de que están involucrados en la actividad de las pandillas sin ninguna evidencia de ofender a sí mismos.
Amnistía también destacó el modelo de crimen y violencia de la policía de Essex, que utiliza datos sobre “asociados” para criminalizar a las personas por asociación con otros y utiliza problemas de salud mental o consumo de drogas como marcadores para la criminalidad; Y las herramientas policiales de “punto de acceso” de la policía de West Midlands, que la fuerza en sí misma ha admitido se usa para el mapeo de delitos predictivos propensos a errores que está equivocado el 80% del tiempo.
“El uso de herramientas policiales predictivas viola los derechos humanos. La evidencia de que esta tecnología nos mantiene a salvo simplemente no está allí, la evidencia de que viola nuestros derechos fundamentales es clara como el día. Todos somos mucho más que puntajes de riesgo generados por computadora “, dijo Sacha Deshmukh, directora ejecutiva de Amnistía Internacional del Reino Unido, y agregó que estos sistemas están decidiendo quién es un” puramente “criminal en el color de su piel o su origen socioeconómico.
“Estas herramientas para ‘predecir el crimen’ nos dañan a todos al tratar a las comunidades enteras como delincuentes potenciales, lo que hace que la sociedad sea más racista e injusta. El gobierno del Reino Unido debe prohibir el uso de estas tecnologías en Inglaterra y Gales, al igual que los gobiernos delegados en Escocia e Irlanda del Norte “.
Agregó que las personas y las comunidades sujetas a este perfil automatizado tienen derecho a saber cómo se utilizan las herramientas y deben tener rutas de reparación significativas para desafiar las decisiones policiales tomadas con el uso.
Además de una prohibición de tales sistemas, la amnistía también está pidiendo una mayor transparencia en torno al uso de sistemas basados en datos por parte de la policía que están en uso, incluido un registro de acceso público con detalles de las herramientas, así como obligaciones de responsabilidad que incluyen un Foro correcto y claro para desafiar el perfil policial y la toma de decisiones automatizadas.
En una entrevista con Amnistía, Daragh Murray, profesora titular de la Facultad de Derecho de la Londres de la Universidad de Queen Mary, que coescribió el primer informe independiente sobre el uso de la Policía Met de la tecnología de reconocimiento facial en vivo (LFR) en 2019, debido a que estos sistemas son Basado en la correlación en lugar de la causalidad, son particularmente dañinos e inexactos cuando se usan para atacar a las personas.
“Esencialmente, estás estereotipando a las personas, y estás incorporando estereotipos, estás dando un objetivo científico a los estereotipos”, dijo.
NPCC responde a la amnistía
Computer Weekly contactó a la oficina en casa sobre el informe de Amnistía, pero no recibió no en la respuesta registrada. Computer Weekly también contactó al Consejo del Jefe de Policía Nacional (NPCC), que lidera el uso de IA y algoritmos por parte de la policía del Reino Unido.
“La vigilancia utiliza una amplia gama de datos para ayudar a informar su respuesta a abordar y prevenir el delito, maximizando el uso de recursos finitos. Como era de esperar el público, esto puede incluir la concentración de recursos en áreas con el crimen más reportado ”, dijo un portavoz de NPCC.
“La vigilancia de los puntos de acceso y las patrullas específicas visibles son la base de la vigilancia comunitaria y los elementos disuasivos efectivos para detectar y prevenir el comportamiento antisocial y los delitos violentos graves, así como la mejora de los sentimientos de seguridad”.
Agregaron que el NPCC está trabajando para mejorar la calidad y la consistencia de sus datos para informar mejor su respuesta, asegurando que toda la información y la nueva tecnología se mantengan legalmente, éticamente, en línea con la práctica profesional (APP) autorizada de ética de datos.
“Es nuestra responsabilidad como líderes asegurarnos de equilibrar la lucha contra el crimen con la creación de confianza y confianza en nuestras comunidades al tiempo que reconocemos el impacto perjudicial que las herramientas como la parada y la búsqueda pueden tener, particularmente en las personas negras”, dijeron.
“El Plan de Acción de la Racera de la Policía es el compromiso más significativo de la vigilancia en Inglaterra y Gales para abordar el sesgo racial en sus políticas y prácticas, incluido un enfoque de ‘explicar o reformar’ para cualquier desproporcionalidad en los poderes policiales.
“El plan nacional está trabajando con las fuerzas locales y las mejoras de conducción en una amplia gama de poderes policiales, desde parada y búsqueda y el uso de Taser hasta despliegues de oficiales y paradas de tráfico. El plan también contiene una acción específica sobre la ética de los datos, que ha informado directamente la evaluación de la consulta y el impacto de la igualdad para la nueva aplicación “.
Preocupaciones en curso
Los problemas con la vigilancia predictiva se han destacado a las autoridades del Reino Unido y Europa que utilizan las herramientas durante varios años.
En julio de 2024, por ejemplo, una coalición de grupos de la sociedad civil pidió al gobierno laborista que entonces, entonces, la prohibición de la vigilancia predictiva y la vigilancia biométrica en el Reino Unido, sobre la base de que se usan desproporcionadamente para apuntar a la clase racializada y de clase trabajadora. y comunidades migrantes.
En la Unión Europea (UE), la Ley de IA del bloque ha prohibido el uso de sistemas de vigilancia predictiva que pueden usarse para atacar a las personas para el perfil o las evaluaciones de riesgos, pero la prohibición es solo parcial, ya que no se extiende a las herramientas de vigilancia predictiva basada en el lugar. .
Según un informe de 161 páginas publicado en abril de 2022 por dos eurodiputados a cargo de la supervisión y enmendación de la Ley de IA, “La vigilancia predictiva viola la dignidad humana y la presunción de inocencia, y tiene un riesgo particular de discriminación. Por lo tanto, se inserta entre las prácticas prohibidas “.
Según Griff Ferris, oficial de políticas y entonces legal de los juicios justos de la organización no gubernamental, “Una y otra vez, hemos visto cómo el uso de estos sistemas exacerba y refuerza la acción discriminatoria de la policía y la justicia penal, alimenta la desigualdad sistémica en la sociedad , y finalmente destruye la vida de las personas. Sin embargo, la prohibición también debe extenderse para incluir sistemas de vigilancia predictiva que se dirigen a áreas o ubicaciones, que tienen el mismo efecto “.
Un mes antes, en marzo de 2022, juicios justos, derechos de datos europeos (EDRI) y otras 43 organizaciones de la sociedad civil pidieron colectivamente a los legisladores europeos que prohíban los sistemas de vigilancia predictiva con IA, argumentando que apuntan desproporcionadamente a las personas más marginadas en la sociedad, infringen fundamentales fundamentales. derechos y reforzar la discriminación estructural.
Esa misma polilla, luego de su investigación formal sobre el uso de herramientas algorítmicas por parte de la policía del Reino Unido, incluido el reconocimiento facial y varias herramientas de “predicción” del crimen, el Comité de Asuntos Interiores y Justicia de Lords (HAJC) describió la situación como “un nuevo oeste de Wild” caracterizado por por falta de estrategia, responsabilidad y transparencia de arriba hacia abajo. Dijo que se requiere una revisión de cómo la policía despliega la IA y las tecnologías algorítmicas para evitar más abusos.
En el caso de las tecnologías de “vigilancia predictiva”, el HAJC señaló su tendencia a producir un “círculo vicioso” y “arraigadores de discriminación preexistentes” porque dirigen a las patrullas policiales a áreas de bajos ingresos, ya sobrealimentados basadas en históricos arrestar datos.
“Debido al aumento de la presencia policial, es probable que se detecte una mayor proporción de los crímenes cometidos en esas áreas que en aquellas áreas que no están sobresalidas. Los datos reflejarán esta mayor tasa de detección como una mayor tasa de criminalidad, que se alimentará en la herramienta y se incrustará en el siguiente conjunto de predicciones ”, dijo.
Sin embargo, en julio de 2022, el gobierno del Reino Unido ha rechazado en gran medida los hallazgos y recomendaciones de la investigación de los Señores, alegando que ya existe “una red integral de controles y equilibrios”.
El gobierno dijo en ese momento, mientras que los parlamentarios establecieron el marco legal que proporciona a la policía sus poderes y deberes, es para que la policía misma determine la mejor manera de usar nuevas tecnologías como IA y modelado predictivo para proteger al público.