La investigadora de inteligencia artificial (IA) Sandra Wachter dice que aunque la investigación de la Cámara de los Lores sobre la tecnología policial “fue un gran paso en la dirección correcta” y logró resaltar las principales preocupaciones en torno a la IA policial y los algoritmos, el conflicto de intereses entre los organismos de justicia penal y sus proveedores aún podrían retrasar un cambio significativo.
Wachter, quien fue invitado a la investigación como testigo experto, es profesor asociado e investigador principal en el Instituto de Internet de Oxford y se especializa en la ley y la ética de la IA.
Hablando con Computer Weekly, Wachter dijo que tiene la esperanza de que al menos algunas de las recomendaciones se conviertan en legislación, pero le preocupa el impacto de la hostilidad de los proveedores de IA hacia la transparencia y la apertura.
“Me preocupa principalmente desde la perspectiva de la propiedad intelectual y los secretos comerciales”, dijo. “Existe una falta de voluntad o vacilación en el sector privado para ser completamente abierto sobre lo que realmente está sucediendo por varias razones, y creo que eso podría ser una barrera para implementar las recomendaciones de la investigación”.
Luego de una investigación de 10 meses sobre el uso de tecnologías algorítmicas avanzadas por parte de la policía del Reino Unido, incluido el reconocimiento facial y varias herramientas de “predicción” de delitos, el Comité de Justicia y Asuntos Internos de los Lores (HAJC) descubrió que había “mucho entusiasmo” sobre el uso de Sistemas de inteligencia artificial de quienes ocupan puestos superiores, pero “no detectamos un compromiso correspondiente con ninguna evaluación exhaustiva de su eficacia”.
El HAJC también señaló una variedad de “prácticas de venta dudosas” derivadas de un conflicto de intereses entre las fuerzas policiales, que están obligadas bajo el Deber de Igualdad del Sector Público (PSED) a considerar cómo sus políticas y prácticas podrían ser discriminatorias, y los proveedores del sector privado.
Para abordar los problemas relacionados con la adquisición de proveedores privados, el HAJC recomendó brindar apoyo adicional a los compradores policiales para que pudieran convertirse en “clientes competentes” de nuevas tecnologías y establecer un organismo nacional para certificar nuevas tecnologías.
“La certificación previa a la implementación podría, en sí misma, tranquilizarlos sobre la calidad de los productos que están adquiriendo. También se necesitan pautas de adquisición mejoradas”, dijo el comité, y agregó que los comités de ética locales y regionales también deben establecerse por ley para investigar si los usos reales y propuestos de una tecnología determinada son “legítimos, necesarios y proporcionados”.
También señaló que, si bien en la actualidad “no existen obligaciones sistémicas” de los organismos encargados de hacer cumplir la ley para divulgar información sobre el uso que hacen de tecnologías avanzadas, se debe establecer un “deber de franqueza”, junto con un registro público de algoritmos policiales, para que los reguladores y los el público en general puede comprender exactamente cómo se implementan las nuevas herramientas.
Promover la apertura y la transparencia significativa
Wachter, quien le dijo al HAJC en octubre de 2021 que los organismos encargados de hacer cumplir la ley del Reino Unido que adquieren tecnologías de inteligencia artificial deberían usar su poder adquisitivo para exigir acceso a los sistemas de los proveedores para probar y probar sus afirmaciones sobre precisión y sesgo, señaló que la falta de transparencia de los proveedores sobre su Es muy poco probable que los sistemas sean un “problema técnico que no podemos explicar”, sino más bien un caso de “no necesariamente queremos decírtelo”.
En agosto de 2020, el Tribunal de Apelación consideró ilegal el uso de la tecnología de reconocimiento facial en vivo por parte de la Policía de Gales del Sur (SWP), en parte porque la fuerza no cumplió con su PSED.
En la sentencia se señaló que el fabricante en ese caso, la firma japonesa de biometría NEC, no divulgó los detalles de su sistema a SWP, lo que significaba que la fuerza no podía evaluar completamente la tecnología y sus impactos.
“Por razones de confidencialidad comercial, el fabricante no está dispuesto a divulgar los detalles para que pueda ser probado”, dijo el fallo. “Eso puede ser comprensible, pero en nuestra opinión no permite que una autoridad pública cumpla con su propio deber, indelegable”.
Cuando se le preguntó sobre el ejemplo de SWP, Wachter dijo que cree que hay un término medio. “Cuando la gente habla de transparencia, por lo general habla como uno o cero, así que o todo es transparente o nada es transparente”, dijo. “Creo que es un poco erróneo: no todos deben saberlo todo, pero las personas adecuadas deben saber lo suficiente”.
Wachter dijo que parte del problema es que los usuarios de la policía están comprando los argumentos de los proveedores privados de que ciertos aspectos de la tecnología simplemente no se pueden divulgar ni discutir.
Para evitar esto, dijo que se trata de construir confianza y confiabilidad, y estuvo de acuerdo con HAJC en la necesidad de un sistema de certificación de terceros, muy parecido a un MoT para vehículos, en el que expertos calificados y confiables analizan la tecnología para comprender exactamente cómo funciona y para asegurarse de que no está causando daño.
En cuanto a la cantidad de información que debe incluirse en los registros públicos propuestos de algoritmos policiales, Wachter dijo que si bien siempre debe haber información abierta sobre qué tecnología está utilizando la policía, sugirió ir más allá al hacer que las empresas publiquen los resultados de sus pruebas para la tecnología. .
“El público en general tiene derecho a saber en qué se gasta el dinero de sus impuestos”, dijo. “Y si se está utilizando para disuadir a las personas, enviarlas a prisión, vigilarlas, entonces tengo derecho a saber que esta tecnología está funcionando según lo previsto”.
El propio trabajo académico revisado por pares de Wachter ha girado en torno a cómo probar los sistemas de inteligencia artificial en busca de sesgo, equidad y cumplimiento de los estándares de la ley de igualdad tanto en el Reino Unido como en la Unión Europea (UE).
El método desarrollado por Wachter y sus colegas, denominado “explicaciones contrafactuales”, muestra por qué y cómo se tomó una decisión (por ejemplo, por qué una persona necesitaba ir a prisión) y qué tendría que ser diferente para obtener un resultado diferente. , que puede ser una base útil para impugnar decisiones. Todo ello sin vulnerar los derechos de propiedad intelectual de las empresas.
“Cuando ejecuta esa prueba, decimos que debe publicar los resultados para mostrarle al mundo exterior que su algoritmo se adhiere a eso”, dijo, y agregó que los proveedores siempre están obligados a cumplir con la ley. “Si su sistema es racista y usted no lo sabe, eso no importa, usted seguirá siendo responsable. Entonces, la estructura de incentivos es que debe estar probando, probando, probando, porque no puede decirle a un regulador después ‘oh, no sabía lo que estaba pasando’; si tiene que hacerlo de todos modos, entonces también podría publicar eso.”
Resistencia potencial del gobierno al cambio
Aunque el gobierno aún debe responder formalmente a los hallazgos de la investigación, y tiene hasta el 30 de mayo de 2022 para hacerlo, el ministro de policía, Kit Malthouse, sugirió previamente al HAJC que el uso de nuevas tecnologías por parte de la policía debería probarse en los tribunales en lugar de definirse por nueva legislación, que dijo que podría “sofocar la innovación”.
Esto está en línea con afirmaciones anteriores del gobierno sobre la tecnología policial. Por ejemplo, en respuesta a un informe del Comité de Ciencia y Tecnología de julio de 2019, que pedía una moratoria sobre el uso policial de la tecnología de reconocimiento facial en vivo hasta que se estableciera un marco legal adecuado, el gobierno afirmó en marzo de 2021, después de un retraso de dos años. – que “ya existía un marco legal integral para la gestión de la biometría, incluido el reconocimiento facial”.
Pero según Wachter, aunque el enfoque sugerido por Malthouse podría ser aceptable en algunas circunstancias limitadas, como “si no estamos seguros de si realmente podría surgir un daño y cuándo”, en el caso de herramientas como el reconocimiento facial y la policía “predictiva”. análisis, el daño ya ha sido bien documentado.
“Sabemos que los datos son problemáticos”, dijo. “Sabemos que los sistemas son problemáticos. Nadie puede realmente fingir que no hay problema”.
Wachter agregó que la gran mayoría de las personas en el Reino Unido simplemente no tienen los recursos para desafiar a la policía en los tribunales por su uso de la tecnología. “Decir, ‘bueno, tratemos de ver quién viene y se queja’, eso no es lo que debe hacer un legislador”, dijo. “Deberías proteger a todos porque la libertad de todos está en juego”.
Respondiendo al argumento de que la legislación “sofocaría la innovación”, Wachter dijo: “Es un argumento tan aburrido: la mayoría de las veces, cuando la gente dice innovación, quiere decir ganancias. No confundamos esas dos cosas.
“No importa qué leyes existan, puedo investigar y desarrollar lo que quiera. El freno es si algo se implementa o no en la práctica, y luego estamos hablando de ganancias. Creo que eso es muy a menudo lo que la gente quiere decir”.
Agregó: “La buena ley está orientada a guiar la innovación ética y responsable y está tratando de prevenir la innovación dañina. No estoy seguro de si quiero hacer negocios con aquellos que no quieren seguir las pautas éticas y esas reglas, especialmente en el sector de la justicia penal”.
Aunque el HAJC concluyó, de acuerdo con una serie de testigos expertos de la investigación, que los responsables de implementar la tecnología policial están esencialmente “inventando sobre la marcha” sin la debida consideración de la eficacia y los impactos de los sistemas, hay una clara compromiso de adquirir más tecnología para la policía tanto de Malthouse como de la Revisión estratégica de la policía publicada en marzo de 2022.
En cuanto a por qué la policía del Reino Unido está tan comprometida con la implementación de nueva tecnología a pesar de su efectividad a menudo cuestionable, Wachter dijo: “Creo que está muy impulsada por ideas de austeridad y tratando de reducir costos. El sector público siempre ha estado, pero especialmente ahora, bajo una enorme presión para reducir costos, y las nuevas tecnologías se ven como una forma de lograrlo”.