El mes pasado, el gobierno del Reino Unido anunció planes para “Mainlineai en las venas” de la nación y “revolucionar cómo se usa la IA en el sector público”. A pesar de este compromiso público, los departamentos gubernamentales han estado sentando las bases de esta adopción durante años, experimentando con herramientas algorítmicas a puerta cerrada.
Este espectro de AI extrayendo las cuerdas sobre las decisiones sobre nuestra salud, bienestar, educación y justicia sin nuestro conocimiento o escrutinio es una pesadilla kafkaesca. Solo ahora estamos comenzando a obtener una imagen de cómo se están utilizando.
Desde febrero de 2024, el Departamento de Ciencia, Innovación y Tecnología ha requerido que todos los departamentos del Gobierno Central publiquen información clara sobre su uso de herramientas algorítmicas en el centro estándar de grabación de transparencia algorítmica (ATRS). Sin embargo, hasta ahora solo 47 registros han sido públicos por varios departamentos gubernamentales, más de la mitad de los cuales fueron publicados desde el comienzo de este año.
Esta insuficiencia hacia la transparencia es particularmente alarmante, dados los informes de que los pilotos de IA destinados al sistema de bienestar se están archivando silenciosamente debido a “frustraciones y falsos comienzos”.
Las recientes adiciones a ATRS revelan que el gobierno está utilizando herramientas algorítmicas para influir en las decisiones críticas, incluido los que los reclamantes de beneficios califican para el empleo y la asignación de apoyo (ESA), que los escolares corren el riesgo de convertirse en ‘NEET’ (no en educación, empleo o o empleo. capacitación), y las oraciones y las condiciones de licencia que se deben dar a los delincuentes.
Con tan poca información disponible, vale la pena preguntar: ¿cuántos departamentos gubernamentales usan en secreto algoritmos para tomar decisiones sobre nuestras vidas?
Al mismo tiempo que está impulsando la adopción masiva de IA en el sector público, el gobierno está impulsando la legislación que debilitaría las protecciones existentes contra la toma de decisiones automatizadas (ADM).
El Reglamento General de Protección de Datos del Reino Unido (GDPR) actualmente prohíbe cualquier proceso automatizado únicamente que tome decisiones significativas. Esto nos protege de los escenarios de “computadora no” en los que enfrentamos resultados adversos sin ninguna comprensión real del razonamiento detrás de ellos. El proyecto de ley de uso de datos y acceso (DUAB) que actualmente progresa a través de la Cámara de los Comunes eliminaría esta protección de una gran franja de los procesos de toma de decisiones, dejándonos expuestos a discriminación, sesgo y error sin ningún recurso para desafiarlo.
El proyecto de ley permitiría la toma de decisiones únicamente automatizada, siempre que no procese ‘datos de categoría especial’. Esta subcategoría particularmente sensible de datos personales incluye datos biométricos y genéticos; datos sobre la salud, la vida sexual o la orientación sexual de una persona y los datos que revelan origen racial o étnico; creencias políticas religiosas o filosóficas; y membresía sindical.
Si bien las protecciones estrictas para estas categorías especiales de datos son sensibles, las decisiones automatizadas que utilizan datos de categorías no especiales aún pueden producir resultados perjudiciales y discriminatorios.
Por ejemplo, el escándalo de beneficios de cuidado infantil holandés implicó el uso de un algoritmo de autoaprendizaje que marcó desproporcionadamente a las familias de las minorías étnicas y de bajos ingresos como riesgos de fraude a pesar de no procesar datos de categorías especiales. El escándalo empujó a miles de personas a la pobreza después de que fueron investigados injustamente y obligados a pagar las deudas que no debían; La ansiedad de la situación hizo que las relaciones se rompieran e incluso llevó a las personas a quitarse la vida.
Más cerca de casa, el escándalo de calificación de nivel A durante la pandemia Covid produjo resultados desiguales entre los estudiantes de educación privada y de la escuela estatal y provocó la indignación pública a pesar de que el sistema de calificación no depende del procesamiento de datos de categorías especiales.
Los datos de categorías no especiales también pueden actuar como un proxy para datos de categoría especial o características protegidas. Por ejemplo, la herramienta de riesgo de evaluación de daños ahora desaparecida de la Constabulario de Durham (HART) evaluó el riesgo de reincidencia de los delincuentes mediante el procesamiento de 34 categorías de datos, incluidos dos tipos de código postal residencial. El uso de datos de código postal en el software predictivo corrió el riesgo de incorporar los sesgos existentes de sobremogado en áreas de privación socioeconómica. Desmirar las pocas salvaguardas que tenemos actualmente hace que el riesgo de otra catástrofe estilo horizonte sea aún mayor.
Es importante destacar que una decisión no se considera automatizada cuando hay una participación humana significativa. En la práctica, esto podría parecer un departamento de recursos humanos que revisa las decisiones de una herramienta de contratación de IA antes de decidir a quién entrevistar o un banco utilizando una herramienta de búsqueda de crédito automatizada como un factor al decidir si otorgar un préstamo a un solicitante. Estas decisiones no atraen las protecciones que se aplican al ADM.
El sector público actualmente evita algunas de las prohibiciones en ADM al señalar la aportación humana en el proceso de toma de decisiones. Sin embargo, la mera existencia de un humano en el bucle no necesariamente equivale a la participación “significativa”.
Por ejemplo, el Departamento de Trabajo y Pensiones (DWP) afirma que después de su herramienta de correspondencia médica en línea de ESA ofrece un perfil coincidente, un “agente realiza una revisión de casos” para decidir en última instancia si se debe otorgar un reclamo.
Sin embargo, la evaluación de riesgos del departamento también reconoce que la herramienta podría reducir el significado de la decisión de un agente humano si simplemente aceptan la sugerencia algorítmica. Este ‘sesgo de automatización’ significa que muchas decisiones automatizadas que tienen una participación humana superficial que no equivale a no más que el estampado de caucho de la lógica de una máquina, es probable que proliferen en el sector público, sin atraer ninguna de las protecciones contra el único ADM.
La cuestión de qué es una participación humana significativa es necesariamente dependiente del contexto. El Tribunal de Apelaciones de Amsterdam determinó que la decisión de Uber de los conductores de “fuego robo” no implicaba aportes humanos significativos, ya que a los conductores no se les permitía apelar y los empleados de Uber que tomaron la decisión no necesariamente tenían el nivel de conocimiento para dar forma significativamente al Resultado más allá de la sugerencia de la máquina.
Evidentemente, la definición de significativa de un hombre es diferente de la de otro. El DUAB brinda al Secretario de Estado de Ciencia, Innovación y Potencias expansivas de tecnología para redefinir cómo podría ser esto en la práctica. Esto nos pone en riesgo a todos sometidos a decisiones automatizadas que son aprobadas superficialmente por los humanos sin el tiempo, capacitación, calificaciones o comprensión para poder proporcionar información significativa.
El abrazo jubiloso de la IA por parte del gobierno del Reino Unido puede ser un signo de los tiempos, pero la proliferación no controlada de la toma de decisiones automatizada a través del sector público y el debilitamiento de las protecciones relacionadas es un peligro para todos nosotros.