vchalup – stock.adobe.com
El uso de la IA y la automatización en el sector público Implica tanto sistemas de cara al público como herramientas detrás de escena destinadas a optimizar las operaciones y liberar tiempo del personal. Pero sabemos que estos beneficios no están garantizados. Las organizaciones del sector público deben abordar la automatización con cautela para evitar los peligros de afirmaciones sobrevaloradas. Los pasos en falso pueden tener graves consecuencias para los ciudadanos y los propios organismos públicos.
Se está automatizando una amplia gama de funciones del sector público, lo que muestra las diversas aplicaciones de estas tecnologías y su poder para cambiar las cosas. Los casos de uso de ejemplo incluyen:
-
Autoridades locales – utilizar chatbots, automatizar evaluaciones de atención social y emplear análisis de datos para identificar familias en riesgo.
Pero es fundamental señalar que estos sistemas no afectan a todos por igual, y las comunidades marginadas, aquellas con estatus migratorio incierto o aquellas que dependen del apoyo estatal tienen más probabilidades de verse afectadas por decisiones automatizadas. Esto puede tener consecuencias importantes, incluidos prejuicios y violaciones de la privacidad.
Riesgos de la automatización de los servicios públicos
Los sistemas automatizados deben ser examinados por su capacidad para lograr los resultados previstos. Numerosos ejemplos, como el Hackney Council y el sistema de verificación basado en riesgos (RBV) de Bristol, muestran que los sistemas automatizados pueden no cumplir lo prometido, lo que genera ineficacia e impactos adversos.
El sesgo en los sistemas automatizados a menudo surge de los datos utilizados para entrenarlos. Las herramientas policiales predictivas y el algoritmo A Level 2020 son excelentes ejemplos en los que los sesgos dieron lugar a resultados injustos. Las preocupaciones sobre el sesgo llevaron a la interrupción de ciertos sistemas por parte de la policía de West Midlands y el Ministerio del Interior.
La automatización se basa en una gran cantidad de datos, lo que genera preocupaciones sobre las fuentes de datos y el consentimiento de los ciudadanos. La controversia en torno al proyecto de ley de protección de datos e información digital destaca el delicado equilibrio entre el uso de datos y los derechos de privacidad.
Muchos sistemas automatizados son desarrollados por empresas privadas, lo que da como resultado una transparencia limitada. Los organismos del sector público a veces carecen de un conocimiento detallado de estos sistemas, lo que complica la rendición de cuentas y el recurso ciudadano. El registro de sistemas automatizados del Proyecto de Derecho Público destaca una opacidad generalizada.
La confianza es crucial. Sin él, los ciudadanos pueden resistirse a la recopilación de datos y al uso de sistemas automatizados. Los esfuerzos de transformación digital del NHS y el escándalo de Post Office/Horizon ilustran los desafíos para mantener la confianza del público en la tecnología.
Principios rectores de la automatización
Para equilibrar los beneficios y riesgos de la automatización, creemos que es esencial seguir un conjunto de principios rectores:
-
Interrogar la necesidad – examinar las razones subyacentes de la automatización. Asegúrese de que no reproduzca ni exacerbe los problemas existentes.
-
Impacto versus riesgo – centrarse en áreas donde la automatización puede ofrecer beneficios significativos con riesgos mínimos.
-
Establecer ‘líneas rojas’ – iIdentificar decisiones demasiado arriesgadas para la automatización debido a su impacto potencial en la vida de las personas.
-
Protección y evaluación exhaustivas – iimplementar evaluaciones de impacto consistentes y empoderar a las autoridades para modificar los sistemas dañinos.
-
Transparencia – hacer públicos el uso y la mecánica de los sistemas automatizados y garantizar evaluaciones de impacto exhaustivas.
-
Personal mejorado– dotar a los empleados del sector público de los conocimientos necesarios para comprender y evaluar los sistemas automatizados.
-
Participación ciudadana – involucrar a los ciudadanos y grupos de la sociedad civil en la toma de decisiones y el monitoreo de sistemas automatizados, generando confianza y adopción
Sin un enfoque cuidadoso y basado en principios no podemos aprovechar los beneficios de la automatización sin comprometer los derechos y la confianza de los ciudadanos. La atención es fundamental y algo que todos deberíamos respaldar.
Anna Dent es una investigadora experimentada y consultora de políticas públicas, y jefa de investigación de Problemas prometedores.