El ministro de policía del Reino Unido, Kit Malthouse, sugirió que el uso de tecnologías algorítmicas avanzadas por parte de la policía debería probarse en los tribunales en lugar de definirse en una nueva legislación, que, según él, podría “sofocar la innovación”.
Dirigiéndose al Comité de Justicia y Asuntos Internos de la Cámara de los Lores (HAJC) el 12 de enero de 2022, Malthouse dijo que el uso de tecnologías algorítmicas por parte de la policía del Reino Unido ya estaba controlado por una “red de legislación”, y que es preferible un marco “basado en principios”. a la creación de nuevas reglas legales porque “siempre hay áreas de matices y circunstancias que no se pueden prescribir en la ley”.
El HAJC abrió una investigación sobre el uso de herramientas algorítmicas avanzadas por parte de las fuerzas del orden del Reino Unido en mayo de 2021, con la tarea declarada de examinar el marco legal existente en torno a su uso, así como cualquier problema ético planteado por su implementación.
Esto incluye el uso de tecnología de reconocimiento facial (LFR) y otras tecnologías biométricas, así como herramientas algorítmicas de “predicción” de delitos como la Matriz de Pandillas de los Servicios de Policía Metropolitana (MPS) o la Herramienta de Evaluación de Riesgos de Daños (Hart) de la Policía de Durham.
“Obviamente, todas estas técnicas que se utilizan, si se ofrecen como evidencia, tienen que estar y estarán sujetas al escrutinio y evaluación de expertos en la sala del tribunal”, dijo Malthouse, y agregó que también tendrían que validarse con un Human-in-the-loop y pruebas realizadas por expertos antes de su uso.
Dando el ejemplo de la transparencia como un principio clave, Malthouse dijo que ya se estaba alentando a la policía a compartir algoritmos y conjuntos de datos con expertos independientes para su escrutinio, como parte de los compromisos del gobierno en su Estrategia Nacional de IA.
Agregó que otros aspectos de la vigilancia, como la escalada en el uso de la fuerza, tampoco están prescritos en la ley.
“Hay principios establecidos sobre en qué circunstancias la policía puede usar la fuerza y creo que lo mismo se aplica al marco legislativo en torno a estas áreas”, dijo, y agregó que la legislación existente ya establece principios de “proporcionalidad y razonabilidad para los propósitos de lo que están haciendo”.
Cuando se le preguntó si había considerado hacer que los requisitos de transparencia sobre ciertas tecnologías fueran leyes estrictas, en lugar de una cuestión de aliento, Malthouse dijo que “ciertamente tendremos que ver”, y agregó: “Exigir transparencia en todos los ámbitos sería más una cuestión de principio que sería algo legislativo”.
Añadió además: “El problema es que, una vez que entras en la legislación, tienes que ser bastante prescriptivo sobre en qué circunstancias, en qué forma y cómo. A medida que avanzamos en esta área de desarrollo tecnológico que avanza rápidamente, eso, hasta cierto punto, podría sofocar la innovación”.
Utilizando la tecnología de reconocimiento facial como ejemplo, Malthouse afirmó que su uso por parte de la policía ya estaba sujeto a “bastantes pruebas y análisis”, incluso por prejuicios raciales, y señaló el hecho de que el uso de la tecnología por parte de la Policía de Gales del Sur (SWP ) fue declarado ilegal en los tribunales.
“Todo esto es comprobable en los tribunales”, dijo. “Como habrán visto, el reconocimiento facial en vivo que usó la policía de Gales del Sur se sometió a revisión judicial, se probó en la corte… y así es como probamos esas incertidumbres, probándolas frente a un juez”.
En respuesta a los comentarios del ministro, Griff Ferris, oficial legal y de políticas de la organización no gubernamental Fair Trials, que hace campaña por un sistema de justicia más justo a nivel mundial, dijo que las nuevas tecnologías y los sistemas automatizados pueden tener graves impactos, con muchos casos registrados de perfiles raciales y acción policial indebida resultante de su uso.
“Proteger a las personas de estos daños potenciales es mucho más importante que la innovación o las preocupaciones comerciales”, dijo.
“El gobierno y, de hecho, el Parlamento, deberían legislar para brindar garantías legales adecuadas en su uso o, en el caso de ciertas tecnologías, prohibir su uso por completo y no confiar en que las personas las impugnen en los tribunales.
“Llevar al gobierno o a la policía a los tribunales debería ser el último recurso, no la única forma de hacerlos responsables a ellos y a sus acciones, sobre todo cuando los litigios son extremadamente costosos y la mayoría de las personas no podrán pagarlos”.
Un conflicto de intereses entre la policía y los proveedores
Según la sentencia del Tribunal de Apelaciones en el caso SWP, que se dictó en agosto de 2020, la decisión se tomó sobre la base de que el uso de la tecnología por parte de la fuerza “no estaba de acuerdo” con los derechos de privacidad del Artículo 8 de los demandantes; que no realizó una Evaluación de Impacto de Protección de Datos (DPIA) adecuada; y que no cumplió con su Deber de Igualdad en el Sector Público (PSED) de considerar cómo sus políticas y prácticas podrían ser discriminatorias.
En cuanto al impacto discriminatorio de la tecnología, el fallo afirmó que “el SWP nunca ha buscado asegurarse, ya sea directamente o mediante una verificación independiente, de que el programa de software en este caso no tiene un sesgo inaceptable por motivos de raza o sexo”.
Agregó: “Por razones de confidencialidad comercial, el fabricante no está preparado para divulgar los detalles para que pueda ser probado. Eso puede ser comprensible pero, en nuestra opinión, no permite que una autoridad pública cumpla con su propio deber, indelegable, en virtud del artículo 149”.
Al dirigirse al HAJC en noviembre de 2021, el asesor científico jefe de la policía nacional en el Consejo del Jefe de la Policía Nacional (NPCC), Paul Taylor, destacó los intereses en conflicto entre las fuerzas policiales y sus proveedores de tecnología.
“Para poder analizar suficientemente estas nuevas tecnologías y todas las permutaciones, para poder decirle al 100% lo que están y no están haciendo, se requiere un nivel de recursos que simplemente no tenemos: la cantidad de pruebas y pruebas y las pruebas que uno necesita simplemente no están ahí”, dijo.
“Si me dirijo a la industria y digo: ‘Voy a hacerte responsable’, entonces querrán hacer un nivel de prueba que probablemente haga que la inversión en esa tecnología ya no sea viable; no es un producto interesante para que participen.
“Hay una tensión ahí [because] no queremos sofocar el mercado diciendo que tienes que hacer todo esto [testing], pero igualmente, por supuesto, necesitamos que lo hagan, y eso es un verdadero desafío para nosotros”, dijo Taylor.
Agregó que parte del problema es que la policía a menudo toma una tecnología bastante madura y trata de implementarla en un contexto policial para el que no fue diseñada explícitamente.
La opinión de Malthouse de que sería preferible probar nuevas tecnologías a través de los tribunales también contrasta con la opinión del ex comisionado de biometría, Paul Wiles, quien le dijo al Comité de Ciencia y Tecnología de la Cámara de los Comunes en julio de 2021 que si bien actualmente había un ” marco legal” que rige el uso de tecnologías biométricas, su naturaleza omnipresente y rápida proliferación significaba que se necesitaba un marco legal más explícito.
Wiles dijo que el marco actual que rige su uso “no se ha mantenido al día con el desarrollo de la nueva biometría” y tampoco “el gobierno ha respondido a las sentencias de los tribunales nacionales y del Tribunal Europeo de Derechos Humanos sobre la insuficiencia de ese marco actual”.
Durante esa misma sesión, Malthouse comentó sobre si el gobierno debería legislar específicamente sobre biometría: “Obviamente hay un marco en este momento, y eso se ha aducido a través de los tribunales, pero a medida que avanza la tecnología nos gustaría llegar a una posición en la que tanto el la policía y el público pueden confiar en la arquitectura legislativa que permite la adopción de tecnología futura.
“Si eso se requiere a través de la legislación o no, es un tema de discusión, pero tenemos un compromiso manifiesto, por lo que sin duda presentaremos planes antes de las próximas elecciones”.
Una base legal cuestionable
Hablando ante el HAJC en octubre de 2021, Karen Yeung, becaria interdisciplinaria de derecho, ética e informática en la Facultad de Derecho de Birmingham, dijo que un problema clave con los despliegues policiales de nuevas tecnologías es que las autoridades han comenzado a usarlas “solo porque podemos… sin evidencia clara” sobre su eficacia o impactos.
Sobre las pruebas de la tecnología LFR realizadas específicamente por el MPS, Yeung dijo que la metodología científica de la fuerza era “muy poco rigurosa”, y señaló que debido a que los procedimientos se modificaban cada vez que se realizaba una prueba, “no tenemos un conjunto estable y riguroso de datos sobre la base de estos experimentos”.
Agregó: “En esos 11 juicios, se escanearon 500,000 rostros para producir de nueve a 10 arrestos, y muchos de ellos eran personas buscadas por delitos muy triviales. Todo esto significa el seguimiento de la ubicación en tiempo real de muchos, muchos cientos de miles de británicos que se dedican a sus negocios legales, sin molestar a nadie”.
Al igual que con la tecnología de reconocimiento facial, Yeung dijo que el desarrollo de herramientas de predicción de delitos ha sido igualmente poco riguroso, ya que los datos históricos de arrestos se utilizan como un indicador de quién es probable que cometa un delito.
En respuesta al informe del Comité de Ciencia y Tecnología de julio de 2019, que pedía una moratoria sobre el uso policial de LFR hasta que se estableciera un marco legal adecuado, el gobierno afirmó en marzo de 2021, después de un retraso de casi dos años, que había ” ya existe un marco legal integral para la gestión de la biometría, incluido el reconocimiento facial”.
El gobierno dijo que este marco incluía poderes policiales de derecho consuetudinario para prevenir y detectar delitos, la Ley de Protección de Datos de 2018 (DPA), la Ley de Derechos Humanos de 1998, la Ley de Igualdad de 2010, la Ley de Policía y Pruebas Penales de 1984 (PACE), la Protección de Freedoms Act 2012 (POFA) y las propias políticas publicadas de las fuerzas policiales.