La Cámara de los Lores está revisando actualmente el proyecto de ley de datos (uso y acceso) línea por línea. Hay mucho que reflexionar y modificar. Esta semana consideramos la toma de decisiones automatizada (ADM).
Ha quedado claro que, tan sólo en los últimos dos años, en nuestra sociedad y economía se están utilizando cada vez más decisiones exclusivamente automatizadas. Sólo dos ejemplos: si obtienes ese préstamo (o no) y si consigues ese trabajo (o no) bien puede estar en “manos” de una caja negra y no de un ser humano.
ADM ahora se implementa a gran escala en muchos sectores, a menudo sin supervisión ni reparación regulatoria. El empleo y la contratación son sólo un ejemplo, si usted es el próximo en la lista para un trasplante de hígado es otro.
Por lo tanto, se ha vuelto aún más crítico que las salvaguardias en torno a ADM, que existen solo en la ley de protección de datos, garanticen que las personas comprendan cuándo se está automatizando una decisión importante sobre ellos: por qué se ha tomado esa decisión y que tienen rutas para impugnarla o Pide que lo decida un humano.
El artículo 22 de la Ley de Protección de Datos del Reino Unido (DPA) prohíbe el procesamiento de datos personales para decisiones sobre individuos con efectos “legales o igualmente significativos” basados únicamente en el procesamiento automatizado. A menos que la persona en cuestión haya dado su consentimiento explícito o se apliquen exenciones legales estrictas, debe haber un “humano al tanto” para revisar decisiones importantes mediante algoritmos.
Intervenciones regulatorias anteriores e incidentes documentados muestran la necesidad de estas protecciones legales, que protegen contra decisiones sesgadas y desequilibrios de poder injustos entre los sistemas algorítmicos y los interesados.
Otro ejemplo, el uso de la plataforma Frank por parte de Deliveroo para gestionar más de 8.000 trabajadores contratados a través de ADM, fue considerado ilegal por la Autoridad de Protección de Datos de Italia.
Salvaguardias y protecciones
Al considerar las enmiendas a las disposiciones actuales sobre ADM en el proyecto de ley de datos establecidas por mis colegas y por mí, está claro que hay un camino por recorrer si queremos que todos estemos convencidos de que el proyecto de ley ofrece las salvaguardias, protecciones y reparaciones adecuadas para los ciudadanos. a lo largo de la pieza.
En lo que respecta al borrador actual del proyecto de ley, con respecto a ADM, la Cláusula 80: Toma de decisiones automatizada establece reformas sustanciales para ADM, eliminando las protecciones bajo el Artículo 22 de la DPA que establece que las decisiones automatizadas solo se permiten en tres circunstancias. – cuando se celebre un contrato, o esté autorizado por la ley, o con el consentimiento explícito del interesado.
Está claro que, según las reformas propuestas, las restricciones a las decisiones exclusivamente automatizadas se relajan materialmente, lo que se permite siempre que los individuos afectados por esas decisiones puedan hacer representaciones, solicitar una intervención humana significativa y cuestionar las decisiones tomadas por ADM. Estos derechos de los interesados se establecen en un nuevo artículo 22C.
Por último, el Secretario de Estado también recibe nuevos poderes normativos para determinar “cuándo se realizará una participación significativa”. [in relation to ADM] Se puede decir que tuvo lugar a la luz de las tecnologías que emergen constantemente, así como de las expectativas sociales cambiantes sobre lo que constituye una decisión importante en un contexto de protección de datos”.
En efecto, esto podría darle al gobierno margen para renunciar a las restricciones cuando las nuevas tecnologías basadas en datos no puedan ser influenciadas prácticamente por un ser humano en el circuito, o cuando hacerlo simplemente socave el desempeño deseado.
Dilución material de derechos
Como consecuencia de esta dilución material de derechos y protecciones, propuse dos enmiendas para aumentar la cobertura en la que las personas podrían confiar en el proyecto de ley.
Sugerí que el proyecto de ley debería otorgar a cada individuo el derecho a una explicación personalizada sobre cualquier toma de decisiones automatizada en la que se encuentre.
Además, la explicación personalizada debe ser clara, concisa y en un lenguaje sencillo de su elección, ser comprensible y asumir un conocimiento técnico limitado de los sistemas algorítmicos, abordar cómo la decisión afecta al individuo personalmente, explicando qué aspectos de los datos del individuo probablemente han influido en la decisión. Las decisiones automatizadas (o, alternativamente, un contrafactual de qué cambio en sus datos habría dado como resultado un resultado más favorable) estarán disponibles de forma gratuita y sin que el acceso de la persona requiera mucho tiempo, estarán en un formato fácilmente accesible que cumpla con los deberes de igualdad. , ser proporcionado a través de un acceso interfaz de usuario, fácil de encontrar y libre de patrones de diseño engañosos, y permitir desafíos significativos si es necesario.
En otra enmienda también sugerí que los controladores de datos deben garantizar que los revisores humanos de decisiones algorítmicas tengan capacidades, capacitación y autoridad adecuadas para cuestionar y rectificar decisiones automatizadas. No tiene mucho sentido que a alguien en una organización se le asigne esta responsabilidad sin la autoridad necesaria para que tenga sentido.
Las salvaguardias de ADM son fundamentales para la confianza del público en la IA. El nivel de control y agencia que las personas tienen sobre decisiones importantes tomadas por la IA sobre sus vidas tendrá un impacto profundo y duradero en las actitudes públicas hacia estas tecnologías. Es por eso que mis colegas y yo presentamos enmiendas en esta área, es por eso que puse el compromiso y la confianza del público en el centro de mi proyecto de ley de regulación de la IA propuesto a principios de este año.
Debate significativo
En cuanto a la respuesta de la Ministra a nuestras enmiendas, afirmó que “hemos tenido un debate realmente profundo y significativo sobre estos temas”. Sin embargo, también agregó: “La Oficina del Comisionado de Información ya tiene orientación sobre cómo se debe proporcionar la revisión humana, y esto se actualizará después del proyecto de ley para garantizar que refleje lo que se entiende por ‘participación humana significativa’”.
Al abordar nuestras propuestas sobre la Cláusula 80 y el ADM en su conjunto, el ministro concluyó: “Eso es precisamente lo que las nuevas disposiciones de este proyecto de ley intentan abordar, para garantizar que haya una participación humana significativa y que el futuro de las personas no se vea afectado. decidido por una máquina automatizada”.
Es justo decir que mis colegas y yo no estábamos convencidos, en esta etapa, de que el proyecto de ley realmente garantice esto.
Es la tercera vez que tenemos un proyecto de ley de datos en el Parlamento. A pesar de los dos intentos anteriores, todavía hay mucho que mejorar en esta última versión.
Continuaremos intentando estas mejoras a medida que avance el proyecto de ley (para mejorar para el ciudadano, el consumidor, el innovador, el inversionista, para todos en todas nuestras múltiples manifestaciones) si realmente queremos tener algo que se acerque a una sociedad y una economía basadas en datos para el beneficio. de todos.