Es probable que en su departamento se utilicen sistemas algorítmicos de predicción y clasificación. Pueden denominarse “IA” o no, y puede haber otros tipos de sistemas denominados “IA” que realicen diversas funciones. Existe un alto riesgo de que causen daños a los ciudadanos y puedan ser ilegales. Si no se analizan, pueden conducir a su futura aparición en una investigación pública como la de Horizon, siendo su posición indefendible.
Recomendaciones:
Debe exigir de inmediato que se complete en su totalidad un documento del Estándar de informes de transparencia algorítmica (ATRS) para cada sistema algorítmico utilizado en su departamento (y sus agencias y organismos independientes) que afecte decisiones o acciones relacionadas con personas jurídicas o políticas. Debe incluir un análisis completo de la base legal para su uso y su cumplimiento con toda la legislación pertinente. Debe incluir una evaluación de su precisión y de cómo ese grado de precisión es apropiado para el propósito para el que se utiliza. Cualquier uso de un producto llamado “IA” o uso de productos de “IA generativa”, como los chatbots, debe incluirse dentro del alcance de este ejercicio. Debe dejar de utilizar cualquier sistema cuando exista algún riesgo de daño a cualquier ciudadano, cuando exista alguna duda sobre su legalidad o cuando no se demuestre la precisión suficiente.
Otras opciones:
También es posible que desee considerar:
Ahorrar dinero dejando de gastar en “IA” a menos y hasta que se demuestre su valor.
Negarse a aceptar cualquier documento oficial elaborado con productos de “IA generativa”.
Prohibir completamente los sistemas predictivos.
Argumento:
Usted es consciente de la investigación pública sobre cómo los problemas con el software de contabilidad Post Office Horizon provocaron múltiples errores judiciales y consecuencias devastadoras para subdirectores de correos inocentes y sus familias. También serán conscientes de la consiguiente vergüenza (al menos) para muchos ex ministros de Correos que, por diversas razones, no lograron identificar o abordar el problema. Esta presentación sostiene que debe actuar de inmediato para garantizar que ningún sistema de su departamento corra el riesgo de crear problemas similares, dado que actualmente no existe una fuente de información visible y completa que le asegure lo contrario.
Desafíos a los beneficios comúnmente supuestos
La Oficina Nacional de Auditoría (NAO) publicó un informe en marzo de 2024 sobre el uso de inteligencia artificial (IA) en el gobierno y posteriormente el Comité de Cuentas Públicas inició una investigación basada en él. El Comité solicitó pruebas escritas y publicó las respuestas en mayo. Algunas de las respuestas respaldaron la presunción frecuentemente expresada sobre los beneficios que la IA podría aportar al gobierno y los servicios públicos. Muchos se mostraron más escépticos y describieron problemas con los sistemas existentes -en particular, algoritmos que tal vez no se llamen “IA” pero que hacen predicciones sobre las personas- y problemas fundamentales con el uso de herramientas de predicción estadística en la administración pública. Se mencionaron daños específicos derivados de sistemas específicos.
Problemas de legalidad y transparencia
Algunas comunicaciones contenían amplios argumentos legales y constitucionales de que muchos de esos métodos probablemente serían ilegales y entrarían en conflicto con el estado de derecho y los derechos humanos. Si bien las opiniones fueron encontradas, hubo una fuerte sensación de que las partes interesadas están muy alerta a los riesgos que plantea el uso de métodos algorítmicos y de inteligencia artificial por parte del gobierno. Un académico planteó un fuerte argumento en el sentido de que deberían estar prohibidos por ley; otro argumentó que es posible que ya sean ilegales. Una comunicación señaló que “la transparencia sobre el uso de métodos algorítmicos por parte del gobierno central está casi totalmente ausente”. Es bajo esta luz que se le ofrece este consejo.
Exageración, inexactitud y mal uso
El otro contexto es el gran revuelo que rodea a la “IA”, en particular a la “IA generativa”. Normalmente, la mayor parte del debate sobre el uso de la IA en el sector público se formula en términos de “puede” o “podría” o “tiene potencial para”, con afirmaciones de importantes beneficios transformadores en perspectiva. Todavía existe poca evidencia para fundamentar estas afirmaciones. Para contrarrestarlos, se argumenta que los usos específicos propuestos son inverosímiles, lo que socava muchos de los beneficios afirmados.
En cualquier investigación futura, “No sabía” no será una respuesta adecuada a los cuestionamientos a la inacción de un ministro.
Por ejemplo, el Servicio Digital del Gobierno experimentó con una interfaz de chatbot para Gov.uk y descubrió que las respuestas no alcanzaban el nivel de precisión exigido para un sitio donde la precisión objetiva es crucial. Por la misma razón (además de su falta de explicabilidad y coherencia) no son adecuados para su uso en procedimientos administrativos legales.
Hay quienes afirman que tales herramientas podrían resumir las consultas políticas. Sin embargo, un resumen del chatbot no permitirá determinar las posiciones matizadas sobre la política por parte de los grupos de partes interesadas. Además, incluso si es exacto, un resumen automatizado no cumple la función democrática de una consulta, de permitir que todas las voces sean escuchadas y que se demuestre que son escuchadas. Problemas similares se aplican al uso de estas herramientas para generar asesoramiento sobre políticas.
En todo el mundo se han encontrado casos de sesgo e inexactitud en los sistemas de predicción y clasificación utilizados en la administración pública. Una guía reciente del Departamento de Educación y la Unidad de Adopción Responsable de Tecnología (RTA) del Departamento de Ciencia, Innovación y Tecnología sobre el uso de herramientas de análisis de datos en la atención social infantil advierte específicamente sobre los usos predictivos, citando hallazgos de que no han demostrado efectividad. en la identificación de riesgos individuales. Los métodos utilizados para la detección de fraude probablemente tengan problemas similares, particularmente con predicciones de “falsos positivos” que llevan a que se interfiera o castigue a personas inocentes. Los métodos de clasificación relacionados tienen implicaciones políticas y sociales alarmantes.
Mitigar su riesgo
La RTA y la Oficina Central de Datos y Digital desarrollaron y publicaron ATRS como “un marco para el intercambio de información accesible, abierto y proactivo sobre el uso de herramientas algorítmicas en todo el sector público”. El 29 de marzo de 2024, la respuesta del entonces gobierno a la consulta sobre su libro blanco sobre IA anunció que ATRS se convertirá en un requisito para los departamentos gubernamentales del Reino Unido, pero esto aún no se ha implementado ni para los sistemas actuales ni para los futuros. Por lo tanto, existe una herramienta para mejorar significativamente la visibilidad y garantizar la seguridad de los usos de los algoritmos y la IA en el gobierno, a la espera de su implementación efectiva.
Por lo tanto, su posición en relación con los posibles daños al público y al gobierno queda muy expuesta. En cualquier investigación futura, “no sabía” no será una respuesta adecuada a los cuestionamientos a la inacción de un ministro. Para empezar a remediar esto, es necesario completar el ATRS y examinar críticamente los riesgos para cada sistema relevante en uso o propuesto. Esto es urgente ya que muchas organizaciones externas están buscando casos de daños a personas para impugnarlos en los tribunales.
Sus primeras semanas en el cargo son la oportunidad para examinar su herencia, identificar cualquier problema y actuar con decisión para cerrar cualquier sistema potencialmente dañino. La publicación completa de los documentos del ATRS y cualquier decisión que tome en base a ellos será una contribución significativa para aumentar la confianza del público en el trabajo del departamento.
Paul Waller es director de investigación en Thorney Isle Research.
