No se puede confiar en que las empresas de inteligencia artificial (IA) compartan voluntariamente información sobre las capacidades y los riesgos del sistema, dicen empleados actuales y anteriores en un llamado abierto para una mayor protección de los denunciantes.
Durante la segunda Cumbre mundial de IA en Seúl, 16 empresas firmaron los Compromisos de Seguridad de la IA de Frontier, que es un conjunto voluntario de medidas sobre cómo desarrollarán la tecnología de forma segura, por ejemplo, evaluando los riesgos que plantean sus modelos en cada etapa del proceso. todo el ciclo de vida de la IA, estableciendo umbrales de riesgo inaceptables para hacer frente a las amenazas más graves y proporcionando transparencia pública sobre todo el proceso de evaluación de riesgos.
Según uno de los compromisos voluntarios clave, las empresas dijeron que tampoco desarrollarán ni implementarán sistemas de inteligencia artificial si los riesgos no pueden mitigarse lo suficiente.
Sin embargo, menos de dos semanas después de la cumbre, un grupo de trabajadores actuales y anteriores de OpenAI, Anthropic y DeepMind (los dos primeros firmaron los compromisos de seguridad en Seúl) han dicho que los acuerdos voluntarios actuales no serán suficientes para garantizar una supervisión efectiva. de empresas que desarrollan IA.
Agregaron que si bien las propias empresas, junto con los gobiernos y otros expertos en IA, han reconocido los riesgos claros que plantea la tecnología, que “van desde un mayor afianzamiento de las desigualdades existentes, hasta la manipulación y la desinformación, y la pérdida de control de la IA autónoma”, sistemas que potencialmente resultan en la extinción humana” – las empresas tienen “fuertes incentivos financieros” para evitar una supervisión efectiva.
“No creemos que las estructuras personalizadas de gobierno corporativo sean suficientes para cambiar esto”, escribieron en una carta abierta del 4 de junio de 2024.
“Las empresas de IA poseen sustancial información no pública sobre las capacidades y limitaciones de sus sistemas, la idoneidad de sus medidas de protección y los niveles de riesgo de diferentes tipos de daños. Sin embargo, actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en que todos lo compartirán voluntariamente”.
Acuerdos de confidencialidad
La carta, firmada tanto por empleados anónimos como por nombres, agrega que “amplios acuerdos de confidencialidad” les impiden expresar sus preocupaciones, “excepto a las mismas empresas que pueden no estar abordando estos problemas”.
“Las protecciones ordinarias a los denunciantes son insuficientes porque se centran en actividades ilegales, mientras que muchos de los riesgos que nos preocupan aún no están regulados”, agregaron. “Algunos de nosotros tememos razonablemente diversas formas de represalias, dada la historia de casos de este tipo en toda la industria. No somos los primeros en encontrarnos o hablar sobre estos problemas”.
La carta termina con llamados a una mayor transparencia y responsabilidad por parte de las empresas, incluido el hecho de que no celebrarán ni harán cumplir ningún acuerdo que prohíba las críticas a preocupaciones relacionadas con el riesgo; facilitar un proceso anónimo para que los empleados planteen inquietudes; y apoyar culturas internas de crítica abierta que permitan a los empleados actuales y anteriores plantear sus inquietudes a una amplia gama de grupos.
También pide a las empresas que no tomen represalias contra empleados actuales y anteriores que compartan públicamente información confidencial relacionada con riesgos después de que otros procesos hayan fallado: “Aceptamos que cualquier esfuerzo por informar inquietudes relacionadas con riesgos debe evitar la divulgación innecesaria de información confidencial. Por lo tanto, una vez que exista un proceso adecuado para plantear inquietudes de forma anónima a la junta directiva de la empresa, a los reguladores y a una organización independiente apropiada con experiencia relevante, aceptamos que las inquietudes se planteen inicialmente a través de dicho proceso.
“Sin embargo, mientras no exista ese proceso, los empleados actuales y anteriores deben conservar la libertad de informar sus inquietudes al público”.
La carta también fue firmada por destacados expertos en inteligencia artificial Stuart Russell, Geoffrey Hinton y Yoshua Bengio; el último de los cuales fue seleccionado por 27 países durante la primera cumbre mundial de IA para liderar la primera IA de frontera. estado de la ciencia informe que evalúe la investigación existente sobre los riesgos y capacidades de la tecnología.
Al comentar sobre los compromisos de seguridad asumidos por las 16 empresas de IA en ese momento, Bengio dijo que si bien le complace ver que tantas empresas líderes de IA se inscriban (y acoge con especial agrado sus compromisos de detener los modelos que presenten riesgos extremos), necesitarán hacerlo. estar respaldado por medidas regulatorias más formales en el futuro. “Este compromiso voluntario obviamente tendrá que ir acompañado de otras medidas regulatorias, pero de todos modos marca un importante paso adelante en el establecimiento de un régimen de gobernanza internacional para promover la seguridad de la IA”, dijo.
Computer Weekly se puso en contacto con el Departamento de Ciencia, Innovación y Tecnología sobre los comentarios de Bengio sobre la necesidad de medidas obligatorias, pero no recibió ninguna respuesta oficial.
Si bien el gobierno del Reino Unido ha dicho repetidamente que no legislará sobre la IA por temor a sofocar la innovación, esbozó su “pensamiento inicial” sobre la introducción de requisitos vinculantes para empresas seleccionadas que desarrollen los sistemas de IA más potentes en febrero de 2024, señalando que cualquier medida voluntaria para las empresas de IA probablemente sería “inconmensurable con el riesgo” que presentan las capacidades más avanzadas.
En respuesta a la carta, un portavoz de OpenAI dijo: “Estamos orgullosos de nuestro historial proporcionando los sistemas de IA más capaces y seguros y creemos en nuestro enfoque científico para abordar el riesgo. Estamos de acuerdo en que un debate riguroso es crucial dada la importancia de esta tecnología, y continuaremos interactuando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo.
“Esta es también la razón por la que tenemos vías para que los empleados expresen sus inquietudes, incluida una línea directa de integridad anónima y un Comité de Seguridad dirigido por miembros de nuestra junta directiva y líderes de seguridad de la empresa”.
El portavoz añadió que la creación de sistemas seguros y fiables es fundamental para el modelo de negocio de OpenAI, y que el 92% de las empresas Fortune 500 están utilizando sus herramientas, algo que, según afirman, no sucedería si los modelos no fueran seguros o capaces.
Agregaron además que OpenAI fue uno de los primeros en la industria en pedir una regulación gubernamental de la IA, y que tanto los empleados actuales como los anteriores tienen muchas vías para compartir sus puntos de vista.
Dijeron que esto incluye la capacidad de expresar sus opiniones a través del horario de oficina de los líderes, una línea directa de integridad anónima, sesiones de preguntas y respuestas con la junta y comunicaciones continuas con sus gerentes.
Sin embargo, también dijeron que era importante proteger la confidencialidad de la tecnología que se estaba construyendo, incluso contra divulgaciones no autorizadas que podrían conferir beneficios a actores maliciosos. Citaron específicamente a países que buscan superar la vanguardia de Estados Unidos en tecnología de inteligencia artificial.
Computer Weekly también se puso en contacto con DeepMind y Anthropic pero no recibió respuesta.