El Centro de Ética e Innovación de Datos (CDEI) del gobierno del Reino Unido ha publicado una serie de estudios de casos relacionados con la auditoría y el aseguramiento de los sistemas de inteligencia artificial (IA), luego de la colaboración con la asociación comercial TechUK.
La “cartera de técnicas de aseguramiento de IA” se creó para ayudar a cualquier persona involucrada en el diseño, desarrollo, implementación o adquisición de sistemas de IA a hacerlo de manera confiable, brindando ejemplos de técnicas de auditoría y aseguramiento del mundo real.
“La garantía de IA se trata de generar confianza en los sistemas de IA al medir, evaluar y comunicar si un sistema de IA cumple con los criterios relevantes”, dijo el CDEI, y agregó que estos criterios podrían incluir regulaciones, estándares de la industria o pautas éticas.
“La garantía también puede desempeñar un papel importante en la identificación y gestión de los riesgos potenciales asociados con la IA. Para asegurar los sistemas de IA de manera efectiva, necesitamos una variedad de técnicas de aseguramiento para evaluar diferentes tipos de sistemas de IA, en una amplia variedad de contextos, contra una variedad de criterios relevantes”.
El portafolio contiene específicamente estudios de casos de múltiples sectores y una gama de enfoques técnicos, de procedimiento y educativos, para mostrar cómo se pueden combinar diferentes técnicas para promover la IA responsable.
Esto incluye ejemplos del Instituto Alan Turing, que ha tomado el método de garantía “basado en argumentos” de otros dominios “críticos para la seguridad” como la aviación y lo ha ampliado para proporcionar un proceso estructurado para evaluar y justificar las afirmaciones sobre las propiedades éticas de un sistema de IA; Babl AI, que realiza auditorías y certificaciones independientes, de terceros y basadas en criterios para herramientas de decisión de empleo automatizadas; y Digital Catapult, que proporciona “desarrollo de herramientas y capacitación ética” a las nuevas empresas tecnológicas.
Otros casos de estudio incluidos en la cartera provienen de Citadel AI, Nvidia, Mind Foundry, Shell, Qualitest, Logically AI y Trilateral Research, entre otros.
Sin embargo, el CDEI señaló que la inclusión de cualquier estudio de caso no representa un respaldo del gobierno a la técnica u organización y, en cambio, se supone que demuestra la gama de posibles opciones que ya están disponibles para las empresas. También confirmó que la cartera era un proyecto en curso al que se agregarán más ejemplos en el futuro.
Cada uno de los estudios de caso promueve un enfoque ligeramente diferente para examinar los sistemas de IA, que el CDEI ha dividido en categorías amplias.
Ejemplos de estos diferentes enfoques incluyen: evaluaciones de impacto, que pueden usarse para anticipar los efectos ambientales, de igualdad, de derechos humanos y de protección de datos de un sistema dado; evaluaciones de impacto, que hacen lo mismo pero de manera retrospectiva; auditoría de sesgo, que implica evaluar las entradas y salidas de los sistemas algorítmicos para determinar si un sistema está creando sesgo y cómo; y certificación, mediante la cual un organismo independiente aprueba que el sistema alcance ciertos estándares.
En cada estudio de caso, los enfoques descritos también se asignan a diferentes principios éticos descritos en el documento técnico de IA del gobierno del Reino Unido, que expuso sus propuestas regulatorias para crear un marco ágil y “pro-innovación” en torno a la tecnología.
Los principios en sí, que el gobierno dice que los reguladores deberían considerar para facilitar “el uso seguro e innovador de la IA” en sus industrias, incluyen seguridad y protección; transparencia y explicabilidad; justicia; rendición de cuentas y gobernanza; y impugnabilidad y reparación.
El lanzamiento de la cartera sigue a la publicación del CDEI de su hoja de ruta de garantía de IA en diciembre de 2021, que establece seis áreas de acción prioritarias para ayudar a fomentar la creación de un mercado competitivo, dinámico y, en última instancia, confiable para la garantía de IA en el Reino Unido.
Sin embargo, en noviembre de 2022, el grupo de expertos German Marshall Fund (GMF) publicó un informe que advertía que, si bien las auditorías algorítmicas pueden ayudar a corregir la opacidad de los sistemas de IA, las auditorías mal diseñadas o ejecutadas no tienen sentido en el mejor de los casos y, en el peor, pueden desviar la atención. de, o incluso disculpar, los daños que se supone deben mitigar.
También conocido como “lavado de auditoría”, el informe dice que muchas de las prácticas de auditoría actuales de la industria de la tecnología brindan una falsa seguridad porque las empresas están realizando sus propias autoevaluaciones o, cuando hay controles externos, todavía se evalúan de acuerdo con sus propios objetivos en lugar de que la conformidad con los estándares de terceros.
En mayo de 2023, la firma de auditoría algorítmica con sede en Barcelona Eticas habló con Computer Weekly sobre su método de “auditoría contradictoria”, que no está incluido en los ejemplos del CDEI, pero es esencialmente la práctica de evaluar algoritmos o sistemas de IA que tienen poco potencial para una supervisión transparente. , o están “fuera de alcance” de alguna manera.
Si bien Eticas suele ser un defensor de la auditoría sociotécnica interna, donde las organizaciones realizan sus propias auditorías de extremo a extremo que consideran tanto los aspectos sociales como técnicos para comprender completamente los impactos de un sistema determinado, su investigadora de auditorías antagónicas, Iliyana Nalbantova, dijo que los propios desarrolladores de IA a menudo no están dispuestos a realizar tales auditorías, ya que actualmente no existen requisitos para hacerlo.
“La auditoría algorítmica adversaria llena este vacío y permite lograr cierto nivel de transparencia y responsabilidad de la IA que normalmente no se puede lograr en esos sistemas”, dijo en ese momento.