El gobierno del Reino Unido ha expresado “reservas” sobre las propuestas legislativas de Lord Tim Clement-Jones para mejorar el escrutinio de las herramientas algorítmicas de toma de decisiones en el sector público, argumentando que las preocupaciones planteadas por su proyecto de ley ya están cubiertas por sus propias reformas de datos propuestas y la Estándar de grabación de transparencia algorítmica (ATRS) existente.
Presentado como un proyecto de ley de miembros privados en septiembre de 2024, Clement-Jones dijo en ese momento que las propuestas eran necesarias porque las salvaguardias existentes sobre las herramientas algorítmicas y de toma de decisiones automatizadas (ADM) no eran suficientes para garantizar la reparación una vez que “la computadora diga no”. .
Durante el debate en segunda lectura de su proyecto de ley en diciembre de 2024, Maggie Jones, subsecretaria de estado del Departamento de Ciencia, Innovación y Tecnología (DSIT), dijo que la combinación de reformas gubernamentales para hacer que el ATRS sea obligatorio para los departamentos del gobierno central, así como su propuesta de Ley de Acceso y Uso de Datos (DUAB), no sólo son suficientes para abordar las preocupaciones de Clement-Jones, sino que también se alinean mejor con las propias “prioridades” del gobierno de acelerar la innovación, la tecnología para el bien y la modernidad. gobierno digital”.
“Estas reformas logran el equilibrio adecuado entre garantizar que las organizaciones puedan hacer el mejor uso de la tecnología de toma de decisiones automatizada para respaldar el crecimiento económico, la productividad y la prestación de servicios, manteniendo al mismo tiempo altos estándares de protección de datos y la confianza del público”, dijo.
Sin embargo, Clement-Jones expresó sus propias reservas sobre las reformas de datos del gobierno, citando incidentes pasados que involucraron el uso de herramientas ADM para describir los “peligros de los sistemas de algoritmos no controlados”, incluida la falta de transparencia y la pérdida de confianza pública en la inteligencia artificial (IA). y la infiltración de prejuicios y racismo en sistemas no regulados de toma de decisiones.
Recordó a los Lores el fiasco de las calificaciones de nivel A y GCSE de 2020, donde los estudiantes perdieron injustamente plazas universitarias; el uso de sistemas ADM por parte de los ayuntamientos, donde a 540.000 ciudadanos se les asignaron puntuaciones de riesgo de “fraude” antes de negarles prestaciones de vivienda basándose en datos fraudulentos; y el escándalo de Post Office Horizon. “Es una confianza peligrosa si el gobierno realmente piensa que el ATRS, combinado con las disposiciones diluidas de ADM en el GDPR [General Data Protection Regulation]serán suficientes”, dijo Clement-Jones. “El proyecto de ley es crucial para garantizar que se obtengan los beneficios de estas tecnologías y al mismo tiempo se salvaguarden los valores democráticos y los derechos individuales”.
La baronesa Jones, sin embargo, argumentó que las reformas de datos del gobierno bajo la DUAB “establecen específicamente que la participación humana debe ser significativa. Esto es para evitar que se utilice una participación humana superficial para aprobar decisiones como si hubieran tenido una participación significativa”.
Preocupaciones de transparencia
Una de las principales preocupaciones de Clement-Jones era la transparencia de ATRS. Desde su lanzamiento en 2022, dijo, sólo se han publicado seis registros de transparencia algorítmica en el sector público.
El gobierno se defendió afirmando que “varios de estos registros se han completado” desde que se hizo obligatorio para todos los departamentos gubernamentales, y que pronto se publicarán.
Actualmente hay 23 registros contenidos en el ATRS.
El proyecto de ley de Clement-Jones también contiene una sección sobre Evaluaciones de Impacto Algorítmico (AIA) que las autoridades públicas tendrían que realizar antes del despliegue de cualquier herramienta de toma de decisiones. Las AIA les obligarían a evaluar y divulgar constantemente el impacto de la herramienta en la seguridad y la toma de decisiones administrativas cuando se actualice el algoritmo o cambie el alcance de las herramientas.
Su colega conservador, el vizconde Camrose –predecesor de Jones en DSIT– argumentó además que hacer cumplir las evaluaciones de impacto incluso antes de la compra sería “poco realista” y, como resultado, el proyecto de ley crearía una “carga administrativa”. También criticó el proyecto de ley de Clement-Jones por ser demasiado prescriptivo, en lugar de permitir al sector público la flexibilidad de tomar decisiones frente a sus “necesidades tremendamente diferentes”.
La baronesa Jones afirmó que el ATRS proporcionaba una visión holística sobre las salvaguardias relacionadas con el impacto de la herramienta y al mismo tiempo evitaba resultados negativos, y que por lo tanto no era necesario legislar para la transparencia: “No creemos que la legislación para registros de transparencia obligatorios o AIA para las autoridades públicas sea necesario en este momento”, dijo.
También se hicieron referencias a Canadá, que recientemente implementó un marco AIA similar al propuesto. Martha Lane Fox pidió cautela en la implementación del proyecto de ley de Clement-Jones, diciendo que podría aumentar la burocracia. “Canadá también ha estado tratando de avanzar hacia una mayor regulación de la transparencia algorítmica, y la implementación ha sido muy pesada y difícil”, dijo.
Una distinción clave del proyecto de ley de los miembros privados es que plantea la importancia de examinar los sistemas durante la etapa de adquisición –en lugar de después de su puesta en uso– para garantizar que se evalúen adecuadamente su eficacia e impacto antes de comprarlos.
En apoyo a la mejora de las medidas de adquisiciones, Lane-Fox dijo: “Las habilidades en el lado de las adquisiciones digitales de la administración pública no están suficientemente solicitadas, y los acuerdos celebrados con los proveedores están lejos de ser ideales a medida que avanzamos hacia un mundo en el que queremos fomentar la innovación, pero también debe fomentar la seguridad. Tengo muchas esperanzas de que las adquisiciones ocupen un lugar muy cercano en el centro de cualquier plan futuro”.
Clement-Jones presenta el proyecto de ley privado en un momento en que el gobierno busca utilizar la inteligencia artificial para impulsar el crecimiento e impulsar la economía. Peter Kyle dijo anteriormente en julio de 2024 que “nosotros‘Estamos poniendo la IA en el corazón del gobierno.‘s agenda para impulsar el crecimiento y mejorar nuestros servicios públicos”.
Mientras tanto, el primer ministro Keir Starmer dijo durante su discurso sobre el Plan de Acción de IA el 13 de enero que la tecnología es la “oportunidad definitoria” de nuestra generación. “Recuerden mis palabras: Gran Bretaña será una de las grandes superpotencias de la IA”, dijo.