Las políticas de rendición de cuentas algorítmicas deben priorizar la participación pública significativa como un objetivo político central, de modo que cualquier implementación satisfaga realmente las necesidades de las personas y comunidades afectadas, según un estudio global de algoritmos en el sector público.
El estudio, realizado por el Instituto Ada Lovelace en colaboración con AI Now Institute y Open Governance Partnership, analizó más de 40 ejemplos de políticas de responsabilidad algorítmica en varias etapas de implementación, extraídos de más de 20 gobiernos nacionales y locales en Europa y América del Norte. .
“Este nuevo informe conjunto presenta la primera síntesis integral de un área emergente de derecho y política”, dijo Carly Kind, directora del Instituto Ada Lovelace. “Lo que queda claro de este mapeo de los diversos mecanismos de rendición de cuentas algorítmicos que se están implementando a nivel internacional es que existe un claro reconocimiento creciente de la necesidad de considerar las consecuencias sociales de los sistemas algorítmicos.
“Basándose en la evidencia de una amplia gama de partes interesadas estrechamente involucradas con la implementación de algoritmos en el sector público, el informe contiene importantes aprendizajes para los legisladores y la industria con el objetivo de impulsar políticas para garantizar que los algoritmos se utilicen en el mejor interés de la gente y la sociedad.”
La investigación destacó que, a pesar de ser un área relativamente nueva de gobernanza tecnológica, ya existe una amplia variedad de mecanismos de políticas que los gobiernos y los organismos del sector público están utilizando para aumentar la responsabilidad algorítmica.
Estos incluyen: pautas no vinculantes que deben seguir las agencias públicas; prohibiciones o prohibiciones en ciertos casos de uso algorítmico, que se han dirigido particularmente al reconocimiento facial en vivo; establecer órganos de supervisión externos; evaluaciones de impacto algorítmicas; y auditorías independientes.
Sin embargo, el análisis encontró que muy pocas intervenciones políticas han intentado de manera significativa asegurar la participación pública, ya sea del público en general o de las personas directamente afectadas por un sistema algorítmico.
Dijo que solo una minoría de los mecanismos de rendición de cuentas examinados habían adoptado estrategias de participación pública claras y formales o incluían la participación pública como un objetivo de política, en particular la Carta de algoritmos de Nueva Zelanda y la Ordenanza de vigilancia y seguridad comunitaria de Oakland, las cuales requerían una amplia consulta pública. .
“Los defensores de la participación pública, especialmente de las comunidades afectadas, argumentan que no solo es útil para mejorar los procesos y principios, sino que es crucial para diseñar políticas que satisfagan las necesidades identificadas de las comunidades afectadas, y para incorporar perspectivas contextuales que impulsan la experiencia es posible que los objetivos de las políticas no se cumplan ”, dijo el análisis.
“La participación y el compromiso significativos, con el público, las comunidades afectadas y los expertos dentro de las agencias públicas y externamente, es crucial para ‘transmitir’ la experiencia a los responsables de la implementación y el uso de sistemas algorítmicos.
“Las consideraciones para la participación y la consulta públicas también deben tener en cuenta los foros en los que se busca la participación y qué tipo de actores o partes interesadas están participando en el proceso”.
Agregó que, para que las formas de gobernanza participativa sean significativas, los formuladores de políticas también deben considerar cómo los actores con diferentes niveles de recursos pueden contribuir al proceso, y sugirió proporcionar material educativo y tiempo suficiente para responder como un medio para hacer que se escuchen nuevas voces. .
Estrechamente vinculada a la participación pública está la transparencia, que el informe señaló que debe equilibrarse con otros factores y objetivos de política.
“Los mecanismos de transparencia deben diseñarse teniendo en cuenta los desafíos potenciales que plantean los objetivos de las políticas compensatorias que requieren confidencialidad, y las compensaciones entre la transparencia y otros objetivos deben negociarse al decidir utilizar un sistema algorítmico”, dijo. “Esto incluye acordar umbrales aceptables para el riesgo de que los sistemas sean engañados o la seguridad se vea comprometida, y resolver preguntas sobre la transparencia y la propiedad de la propiedad intelectual subyacente”.
Sin embargo, señaló que actualmente existe “una falta de práctica estándar sobre los tipos de información que deben documentarse en la creación de sistemas algorítmicos” y para qué audiencias está destinada esta información, algo que las futuras políticas de rendición de cuentas deberían tratar de aclarar.
“Como señaló un encuestado, en el caso en el que la creación de un sistema algorítmico se documentó meticulosamente, la audiencia prevista (la agencia pública que usa el sistema) encontró la información inutilizable debido a su volumen y su lenguaje altamente técnico”, dijo el análisis.
“Esto habla no solo de la necesidad de desarrollar la capacidad interna para comprender mejor el funcionamiento de los sistemas algorítmicos, sino también de la necesidad de diseñar políticas de transparencia, teniendo en cuenta a las audiencias particulares y cómo pueden hacer que la información sea utilizable”.
Una revisión de 151 páginas publicada en noviembre de 2020 por el Centro de Ética e Innovación de Datos (CDEI), el organismo asesor del gobierno del Reino Unido sobre el uso responsable de la inteligencia artificial (IA) y otras tecnologías basadas en datos, también señaló que el uso del sector público de algoritmos con impacto social debe ser más transparente para fomentar la confianza y responsabilizar a las organizaciones por los resultados negativos que sus sistemas pueden producir.
Un ejercicio de investigación separado realizado por el CDEI en junio de 2021 encontró que, a pesar de los bajos niveles de conciencia o comprensión sobre el uso de algoritmos en el sector público, las personas en el Reino Unido sienten firmemente la necesidad de transparencia cuando se les informa sobre usos específicos.
“Esto incluyó deseos de una descripción del algoritmo, por qué se estaba utilizando un algoritmo, detalles de contacto para obtener más información, datos utilizados, supervisión humana, riesgos potenciales y tecnicismos del algoritmo”, dijo el CDEI, y agregó que era una prioridad para participantes que esta información debe ser fácilmente accesible y comprensible.
Otras lecciones extraídas del análisis global del Instituto Ada Lovelace incluyen la necesidad de incentivos institucionales claros, así como marcos legales vinculantes, que apoyen la implementación consistente y efectiva de los mecanismos de rendición de cuentas, y que la coordinación institucional entre sectores y niveles de gobernanza puede ayudar a crear consistencia. sobre casos de uso algorítmicos.
Amba Kak, directora de políticas y programas globales del AI Now Institute, dijo: “El informe da el salto esencial de la teoría a la práctica, centrándose en las experiencias reales de quienes implementan estos mecanismos de políticas e identificando brechas y desafíos críticos. Las lecciones de esta primera ola garantizarán una próxima ola más sólida de políticas que sean efectivas para hacer que estos sistemas rindan cuentas a las personas y los contextos a los que deben servir “.