La firma independiente de auditoría algorítmica Parity AI se asoció con la plataforma de gestión y adquisición de talento Beamery para realizar un escrutinio continuo del sesgo en sus herramientas de contratación de inteligencia artificial (IA).
Beamery, que utiliza IA para ayudar a las empresas a identificar, reclutar, desarrollar, retener y redistribuir talentos, se acercó a Parity para realizar una auditoría de sus sistemas por parte de terceros, que se completó a principios de noviembre de 2022.
Para acompañar la auditoría, Beamery también ha publicado una “declaración de explicabilidad” adjunta que describe su compromiso con la IA responsable.
Liz O’Sullivan, directora ejecutiva de Parity, dice que existe un “desafío importante” para las empresas y los equipos de recursos humanos (HR) al asegurar a todas las partes interesadas involucradas que sus herramientas de IA son conscientes de la privacidad y no discriminan a las comunidades desfavorecidas o marginadas.
“Para hacer esto, las empresas deben poder demostrar que sus sistemas cumplen con todas las regulaciones relevantes, incluidas las leyes locales, federales e internacionales de derechos humanos, derechos civiles y protección de datos”, dice. “Estamos encantados de trabajar con el equipo de Beamery como un ejemplo de una empresa que realmente se preocupa por minimizar el sesgo algorítmico no intencional, para servir bien a sus comunidades. Esperamos seguir apoyando a la empresa a medida que surjan nuevas regulaciones”.
Sultan Saidov, presidente y cofundador de Beamery, agrega: “Para que la IA esté a la altura de su potencial en la prestación de beneficios sociales, tiene que haber una gobernanza de cómo se crea y utiliza. Actualmente hay una falta de claridad sobre cómo debe ser esto, por lo que creemos que tenemos el deber de ayudar a establecer el estándar en la industria de recursos humanos mediante la creación de un punto de referencia para la IA que sea explicable, transparente, ético y que cumpla con los próximos normas reglamentarias”.
Saidov dice que la transparencia y la auditabilidad de los modelos de IA y sus impactos son clave.
Para generar un mayor grado de transparencia, Beamery, por ejemplo, implementó “capas de explicación” en su plataforma, de modo que pueda articular la combinación y el peso de las habilidades, la antigüedad, la competencia y la relevancia de la industria otorgada a una recomendación algorítmica, asegurando ese fin. -los usuarios pueden explicar de manera efectiva qué datos afectaron una recomendación y cuáles no.
El propósito de la auditoría de IA
Hablando con Computer Weekly sobre la auditoría de la IA de Beamery, O’Sullivan dice que Parity analizó la totalidad del sistema, porque la compleja naturaleza social y técnica de los sistemas de IA significa que el problema no se puede reducir a simples matemáticas.
“Lo primero que observamos es: ¿es esto posible de hacer con IA?” ella dice. “¿Es el aprendizaje automático el enfoque correcto aquí? ¿Es lo suficientemente transparente para la aplicación y la empresa tiene suficiente experiencia? ¿Tienen las prácticas correctas de recopilación de datos? Porque hay algunos elementos sensibles que debemos analizar con respecto a la demografía y los grupos protegidos”.
O’Sullivan agrega que esto era importante no solo para el futuro cumplimiento normativo, sino también para reducir el daño inducido por la IA en general.
“Para que la IA esté a la altura de su potencial en la prestación de beneficios sociales, tiene que haber una gobernanza de cómo se crea y utiliza”
Sultán Saidov, Beamery
“Ha habido un par de ocasiones en las que nos encontramos con clientes potenciales en los que los clientes acudieron a nosotros y dijeron todas las cosas correctas, tomaron las medidas y calcularon los números que son específicos para el modelo. ” ella dice.
“Pero luego, cuando miras la totalidad del sistema, simplemente no es algo que se pueda hacer con IA o no es apropiado para este contexto”.
O’Sullivan dice que, si bien es importante, cualquier auditoría de IA basada únicamente en el análisis cuantitativo de modelos técnicos no logrará comprender verdaderamente los impactos del sistema.
“Por mucho que nos encantaría decir que cualquier cosa se puede reducir a un problema cuantitativo, en última instancia, casi nunca es tan simple”, dice. “Muchas veces estamos lidiando con números que son tan grandes que cuando estos números se promedian, en realidad pueden encubrir el daño. Necesitamos comprender cómo los sistemas tocan e interactúan con las personas más vulnerables del mundo para tener una mejor idea de si se están produciendo daños y, a menudo, esos casos son los que se pasan por alto con mayor frecuencia.
“Para eso están las auditorías: para descubrir esos casos difíciles, esos casos extremos, para asegurarse de que también estén protegidos”.
Realización de una auditoría de IA eficaz
Como primer paso, O’Sullivan dice que Parity comenzó el proceso de auditoría realizando entrevistas con las personas involucradas en el desarrollo y la implementación de IA, así como con las personas afectadas por su operación, para poder recopilar información cualitativa sobre cómo funciona el sistema en la práctica.
Ella dice que comenzar con entrevistas cualitativas puede ayudar a “descubrir áreas de riesgo que no hubiéramos visto antes” y dar a Parity una mejor comprensión de qué partes del sistema necesitan atención, quién se beneficia en última instancia y qué medir. .
Por ejemplo, si bien las empresas suelen utilizar a un humano en el circuito como una forma de señalar el uso responsable de la IA, también puede crear un riesgo significativo de que los sesgos del operador humano se introduzcan silenciosamente en el sistema.
Sin embargo, O’Sullivan dice que las entrevistas cualitativas pueden ser útiles para escudriñar esta interacción hombre-máquina. “Los humanos pueden interpretar los resultados de las máquinas en una variedad de formas diferentes y, en muchos casos, eso varía según sus antecedentes, tanto demográficos como sociales, sus funciones laborales y cómo se les incentiva. Muchas cosas diferentes pueden jugar un papel”, dice ella.
“A veces, las personas simplemente confían naturalmente en las máquinas. A veces desconfían naturalmente de las máquinas. Y eso es solo algo que puede medir a través de este proceso de entrevista: simplemente decir que tiene un ser humano al tanto no es suficiente para mitigar o controlar los daños. Creo que la pregunta más importante es: ¿cómo interactúan esos humanos con los datos, y eso en sí mismo produce sesgos que pueden o deben eliminarse?
Una vez que se han realizado las entrevistas, Parity examina el modelo de IA en sí, desde las prácticas iniciales de recopilación de datos hasta su implementación en vivo.
O’Sullivan agrega: “¿Cómo se hizo? ¿Qué tipo de características hay en el modelo? ¿Existen prácticas de estandarización? ¿Hay proxies conocidos? ¿Hay algún proxy potencial? Y luego medimos cada característica en correspondencia con los grupos protegidos para averiguar si hay correlaciones inesperadas allí.
“Gran parte de este análisis también se reduce a los resultados del modelo. Por supuesto, veremos los datos de entrenamiento para ver si esos conjuntos de datos están equilibrados. Veremos la práctica de la evaluación, si están definiendo la verdad fundamental de una manera razonable. ¿Cómo están probando el modelo? ¿Cómo se ven esos datos de prueba? ¿Es también representativa de las poblaciones en las que intentan operar? Hacemos esto hasta llegar a los datos de producción y lo que realmente dicen las predicciones sobre estos candidatos”.
Agrega que parte del problema, particularmente con los algoritmos de contratación, es la gran cantidad de empresas que utilizan grandes corpus de datos extraídos de Internet para “extraer información” sobre los solicitantes de empleo, lo que invariablemente conduce a que se utilice otra información como representación de la raza, género, discapacidad o edad.
“Ese tipo de correlaciones son realmente difíciles de separar cuando se usa un modelo de caja negra”, dice, y agrega que para combatir esto, las organizaciones deben ser muy selectivas sobre en qué partes del currículum de un candidato se enfocan en los algoritmos de reclutamiento. , para que las personas solo sean evaluadas por sus habilidades, en lugar de un aspecto de su identidad.
Para lograr esto con Beamery, Saidov dice que usa IA para reducir el sesgo al observar información sobre habilidades, en lugar de detalles sobre los antecedentes o la educación de un candidato: “Por ejemplo, los reclutadores pueden crear trabajos y enfocar su contratación en la identificación de las habilidades más importantes, en lugar de adoptar el enfoque tradicional más propenso a los sesgos, como los años de experiencia o la escuela a la que asistió alguien”, dice.
Incluso aquí, O’Sullivan dice que esto todavía presenta un desafío para los auditores, quienes necesitan controlar las “diferentes formas en que esos [skill-related] las palabras se pueden expresar en diferentes culturas”, pero sigue siendo un enfoque más fácil “que simplemente tratar de averiguar a partir de esta gran cantidad de datos no estructurados qué tan calificado está el candidato”.
Sin embargo, O’Sullivan advierte que debido a que las auditorías brindan solo una instantánea en el tiempo, también deben realizarse a intervalos regulares, con un seguimiento cuidadoso del progreso con respecto a la última auditoría.
Por lo tanto, Beamery se ha comprometido a realizar más auditorías por parte de Parity para limitar el sesgo, así como para garantizar el cumplimiento de las próximas regulaciones.
Esto incluye, por ejemplo, la Ley Local 144 de la ciudad de Nueva York, una ordenanza que prohíbe la IA en las decisiones de empleo a menos que la tecnología haya estado sujeta a una auditoría de sesgo independiente dentro de un año de uso; y la Ley de IA de la Unión Europea y la Directiva de responsabilidad de IA que la acompaña.
El panorama actual de auditoría de IA
Un problema importante que los auditores algorítmicos siguen destacando con la industria tecnológica es su incapacidad general para documentar adecuadamente los procesos de desarrollo e implementación de IA.
Hablando durante la Conferencia de Auditoría Algorítmica inaugural en noviembre de 2022, la directora de Eticas, Gemma Galdon-Clavell, dijo que, en su experiencia, “las personas no documentan por qué se hacen las cosas, así que cuando necesita auditar un sistema, no sabe por qué las decisiones fueron tomadas… todo lo que ves es el modelo, no tienes acceso a cómo sucedió”.
Esto fue corroborado por el panelista Jacob Metcalf, investigador de ética tecnológica en Data & Society, quien dijo que las empresas a menudo no conocen información básica, como si sus conjuntos de capacitación de IA contienen datos personales o su composición demográfica. “Si pasas tiempo dentro de las empresas de tecnología, rápidamente te das cuenta de que a menudo no saben lo que están haciendo”, dijo.
O’Sullivan comparte sentimientos similares: “Durante demasiado tiempo, las empresas de tecnología han operado con esta mentalidad de ‘moverse rápido y romper cosas’ a expensas de una buena documentación”.
Ella dice que “tener una buena documentación para al menos dejar un rastro de auditoría de quién hizo qué preguntas en qué momento realmente puede acelerar la práctica” de la auditoría, y agrega que también puede ayudar a las organizaciones a iterar en sus modelos y sistemas más rápidamente. .
“Puedes diseñar un algoritmo con las mejores intenciones posibles y puede resultar que acabe perjudicando a las personas”
Liz O’Sullivan, paridad
Sobre las diversas regulaciones de IA próximas, O’Sullivan dice que son, al menos, un primer paso importante para exigir a las organizaciones que examinen sus algoritmos y traten el proceso con seriedad, en lugar de simplemente otro ejercicio de marcar casillas.
“Puedes diseñar un algoritmo con las mejores intenciones posibles y puede resultar que termine dañando a las personas”, dice, señalando que la única forma de comprender y prevenir estos daños es realizar auditorías extensas y continuas.
Sin embargo, dice que hay una trampa 22 para las empresas, ya que si se descubre algún problema durante una auditoría de IA, incurrirán en responsabilidades adicionales. “Necesitamos cambiar ese paradigma, y estoy feliz de decir que ha estado evolucionando bastante consistentemente durante los últimos cuatro años y es mucho menos preocupante hoy de lo que era, pero sigue siendo una preocupación”, dice ella.
O’Sullivan agrega que está particularmente preocupada por los esfuerzos de cabildeo del sector tecnológico, especialmente de las grandes empresas con buenos recursos que están “desincentivadas para entregar esas rocas” y examinar adecuadamente sus sistemas de IA debido a los costos comerciales de los problemas que se identifican.
Independientemente de los costos potenciales, O’Sullivan dice que los auditores tienen la obligación con la sociedad de no andarse con rodeos cuando examinan los sistemas de un cliente.
“No ayuda a un cliente si intenta ser fácil con ellos y decirles que no hay problema cuando hay un problema, porque en última instancia, esos problemas se agravan y se vuelven problemas más grandes que solo causarán mayores riesgos para el organización aguas abajo”, dice ella.
