Un sistema de inteligencia artificial (IA) utilizado por el Departamento de Trabajo y Pensiones (DWP) para detectar fraudes en materia de asistencia social muestra disparidades “estadísticamente significativas” relacionadas con la edad, la discapacidad, el estado civil y la nacionalidad de las personas, según la propia evaluación interna del departamento.
Publicado bajo las reglas de libertad de información (FoI) para el Proyecto de Derecho Público, el “análisis de equidad” de 11 páginas encontró que un sistema de aprendizaje automático (ML) utilizado por el DWP para examinar miles de pagos de beneficios de crédito universales está seleccionando personas de algunos grupos. más que otros a la hora de recomendar a quién investigar por posible fraude.
Realizada en febrero de 2024, la evaluación mostró que existe una “remisión estadísticamente significativa… y una disparidad de resultados para todas las características protegidas analizadas”, que incluían la edad, la discapacidad, el estado civil y la nacionalidad de las personas.
Dijo que una revisión posterior de las disparidades presentes encontró que “las disparidades identificadas no se traducen en preocupaciones inmediatas de discriminación o trato injusto a individuos o grupos protegidos”, y agregó que existen salvaguardias para minimizar cualquier impacto potencialmente perjudicial sobre los solicitantes legítimos de beneficios. .
“Esto no incluye la toma de decisiones automatizada”, dijo, señalando que “siempre es una decisión humana”. [who] toma la decisión considerando toda la información disponible”.
Agregó que si bien las características protegidas como raza, sexo, orientación sexual, creencias religiosas, etc. no fueron analizadas como parte del análisis de equidad, el DWP “no tiene preocupaciones inmediatas de trato injusto” porque las salvaguardas se aplican a todos los clientes. Planea “iterar y mejorar” el método de análisis, y se completarán más evaluaciones trimestralmente.
“Esto incluirá una recomendación y una decisión sobre si sigue siendo razonable y proporcionado continuar operando el modelo en servicio activo”, dijo.
Caroline Selman, investigadora principal del Proyecto de Derecho Público, dijo al Guardián: “Está claro que en una gran mayoría de los casos, el DWP no evaluó si sus procesos automatizados corrían el riesgo de apuntar injustamente a grupos marginados. DWP debe poner fin a este enfoque de ‘hacer daño primero, arreglar después’ y dejar de implementar herramientas cuando no es capaz de comprender adecuadamente el riesgo de daño que representan”.
Debido a la redacción, actualmente no queda claro en el análisis publicado qué grupos de edad tienen más probabilidades de ser seleccionados erróneamente para la verificación de fraude por parte del sistema de inteligencia artificial, o las diferencias entre cómo el algoritmo trata las nacionalidades.
Tampoco está claro si las personas con discapacidad tienen más o menos probabilidades de ser seleccionadas erróneamente para ser investigadas por el algoritmo que las personas sin discapacidad. Si bien los funcionarios dijeron que esto era para evitar que las personas jugaran con el sistema, el análisis en sí señaló que se anticipa cualquier disparidad en las derivaciones relacionadas con la edad (particularmente para los mayores de 25 años) o la discapacidad específicamente porque las personas con estas características protegidas ya están vinculadas a una tasa más alta de pagos de crédito universales.
Respondiendo a la Guardián En el informe, un portavoz del DWP dijo: “Nuestra herramienta de inteligencia artificial no reemplaza el juicio humano, y un asistente social siempre examinará toda la información disponible para tomar una decisión. Estamos tomando medidas audaces y decisivas para abordar el fraude de beneficios: nuestro proyecto de ley sobre fraude y error permitirá investigaciones más eficientes y efectivas para identificar más rápidamente a los delincuentes que explotan el sistema de beneficios”.
Si bien la evaluación describió las medidas que el DWP ha implementado para mitigar cualquier posible sesgo, incluido el hecho de que el modelo siempre remitirá las solicitudes de los solicitantes que define como de alto riesgo a un empleado del DWP, quien luego decidirá si las aprueba o no, el La evaluación no mencionó nada sobre el papel o la prevalencia del “sesgo de automatización”, según el cual es más probable que los usuarios confíen y acepten la información generada por los sistemas informáticos.
Computer Weekly se puso en contacto con el DWP para preguntarle si había evaluado la dinámica en torno al sesgo de automatización dentro del funcionamiento del sistema de IA y, de ser así, cómo esto afecta las disparidades en las derivaciones y los resultados, pero no recibió respuesta al momento de la publicación.
El papel de la IA y la automatización en los sistemas de bienestar ha sido objeto de un mayor escrutinio en los últimos meses. En noviembre de 2024, por ejemplo, un análisis de Amnistía Internacional encontró que el sistema de bienestar automatizado de Dinamarca crea una barrera para el acceso a beneficios sociales para ciertos grupos marginados, incluidas las personas con discapacidad, las personas de bajos ingresos y los inmigrantes.
El mismo mes, una investigación realizada por Informes del faro y Svenská Dagbladet descubrió que el sistema de bienestar de Suecia impulsado algorítmicamente se dirige de manera desproporcionada a grupos marginados para investigaciones de fraude de beneficios.