Nadie estaba seguro de dónde venía la ráfaga interminable de incendios y accidentes automovilísticos en Indonesia. Pero el sistema seguiría marcándolos, según Josh Sklar.
El ex moderador de contenido trabajó una vez en el equipo de Instagram que evaluó las publicaciones marcadas por la inteligencia artificial (IA) como propensas a ser problemáticas. Y aunque el sistema detectaría regularmente ese contenido ilícito, el número y la naturaleza de los falsos positivos era confuso en el mejor de los casos.
En el Reino Unido, la responsabilidad de las plataformas de redes sociales de moderar el contenido tóxico en línea solo se intensificará con la aprobación del proyecto de ley de seguridad en línea. Una cláusula en particular, que pide a las plataformas que “eviten” que los usuarios encuentren contenido peligroso, ha convencido a muchos de que las plataformas recurrirán a una mayor moderación automatizada para tratar de resolver el problema.
¿El único problema? Puede que no funcione.
El año pasado, la BBC intentó usar una herramienta de inteligencia artificial para medir la escala de toxicidad que enfrentan los políticos en línea. Identificó que cada día se envían unos 3.000 tuits “tóxicos” a los parlamentarios.
El problema era que la IA definió “tóxico” para significar cualquier cosa “grosero, irrespetuoso o irrazonable”, lo que significa que a menudo se marcaron palabras descriptivas simples como “Tory” e “hipócrita”. Un usuario de Twitter señaló que la herramienta etiquetó el vitriolo anti-trans como menos tóxico que llamar a alguien “transfóbico”.
En muchos sentidos, esa lucha por definir “tóxico” es el núcleo del problema de los sistemas de moderación de contenido de IA. Que su objetivo, moderar y “arreglar” los defectos tácitos y los sentimientos peligrosos en el mundo gris de la interacción humana, es difícil de lograr por completo para un sistema de aprendizaje automático.
“La IA funcionaría bien para eliminar de manera proactiva las peores cosas, como lo hacen ahora con las imágenes de violencia, por ejemplo”, dice Eugenia Siapera, directora del centro de política digital del University College Dublin. “Pero las decisiones más difíciles no se pueden automatizar”.
Moderación automatizada en la práctica
Para comprender por qué estos sistemas tienden a tener tantos defectos, primero vale la pena ver cómo funciona la moderación automática. Como cualquier sistema de aprendizaje automático, la moderación automática se basa en una amplia base de datos de reglas y publicaciones de ejemplo que entrenan al sistema para detectar contenido ilícito similar. Esto será informado por una lista de ciertas palabras clave prohibidas, que variará de un sitio a otro.
“La IA funcionaría bien para eliminar de manera proactiva las peores cosas, como lo hacen ahora con las imágenes de violencia. Pero las decisiones más difíciles no se pueden automatizar”
Eugenia Siapera, University College Dublin
Pero hay muchas complicaciones en eso. Un ejemplo es cuán culturalmente específicas son las interacciones sociales. Siapera explica: “Digamos que el sistema funciona en inglés, pero ¿qué clase de inglés es ese? ¿Es el americano? ¿Es el británico? ¿Son los irlandeses? ella cita la palabra “tviajero”, que en Irlanda representa un grupo étnico reconocido pero puede no tener el mismo significado en otras partes del mundo. Ese tipo de variación sería difícil de detectar para un sistema automatizado totalizador.
Y así como el personal y los algoritmos están capacitados para detectar contenido peligroso, las personas a las que vigilan piensan en nuevas formas de evadirlos. Esa tendencia es lo que sustenta el aumento de la popularidad de los códigos de silbatos nazis en línea, como 88 (significa Heil Hitler) o 14 (por el eslogan del terrorista de extrema derecha David calle Edén).
“Crea esta extraña carrera armamentista con los racistas”, como dice Sklar. “Allá‘Hay tantos insultos nuevos todo el tiempo”.
El problema solo empeora por lo opacos que son estos sistemas. Pocos dentro, y mucho menos fuera, de las principales empresas tecnológicas conocen completamente cómo funcionan estos sistemas (generalmente propietarios). Y eso se extiende más allá de cómo funciona el sistema a la naturaleza exacta de los conjuntos de datos que se introducen en el algoritmo que da forma a su comportamiento.
“En otras industrias críticas para la seguridad, ese tipo de tecnología estaría sujeta a pruebas abiertas de terceros independientes”, dice el jefe de política de Full Fact, glen tarman. “Chocamos autos repetidamente contra las paredes para probar que son seguros, pero las compañías de Internet no están sujetas al escrutinio abierto o las pruebas necesarias de terceros independientes”.
También vale la pena tener en cuenta que este tipo de automatización aún está en pañales. “La inteligencia artificial realmente solo existe desde 2017 dentro del espacio de moderación de contenido. Antes de eso, no había la potencia de procesamiento disponible”, dice Cris Pikes, director ejecutivo de Image Analyzer, la firma de moderación de contenido basada en IA. “Los modelos eran fundamentalmente demasiado simplistas en esa etapa”.
supervisión humana
Todo esto significa que es necesario tener algún tipo de supervisión humana en el sistema, de acuerdo con los que habló Computer Weekly, para enseñarle al algoritmo a detectar las últimas tendencias en contenido racista o los diferentes significados regionales de los términos.
“Chocamos repetidamente los autos contra las paredes para probar que son seguros, pero las compañías de Internet no están sujetas al escrutinio abierto independiente de terceros ni a las pruebas necesarias”.
Glen Tarman, hecho completo
Pero incluso si nominalmente hay supervisión humana, existe la duda de cuán extensa sería. Meta, por ejemplo, emplea solo 15,000 moderadores de contenido para cubrir Instagram y Facebook, según el New York Times, o aproximadamente uno por cada 333.000 usuarios activos. El gran volumen de contenido crea una enorme carga para el poco personal que trabaja para moderar el contenido. La presión significa que los moderadores dedican menos de 30 segundos a evaluar los problemas de una publicación.
Pero las complicaciones van más allá de la moderación de la IA en sí misma, a cómo funcionaría. La cláusula 9 del proyecto de ley de seguridad en línea propuesto, que crearía una obligación para las empresas de tecnología de “evitar que las personas encuentren” contenido peligroso, es un motivo de preocupación particular para muchos activistas.
“Mi interpretación es que sería necesario filtrar el contenido a medida que se carga… Eso es una preocupación, porque si elimina algo antes de que se publique, es una interferencia grave en la libertad de expresión”, dice Monica Horten, gerente de políticas de Open. Grupo de Derechos. “Creo que es una pendiente resbaladiza muy peligrosa para bajar”.
Ella argumenta que tal movimiento constituiría una restricción previa, una forma de censura gubernamental que prohíbe cierto contenido antes de su publicación, y algo que generalmente solo se permite en el Reino Unido en ciertas circunstancias legales específicas, como mandatos judiciales.
“Si se desmonta antes de que se instale, es posible que ni siquiera se dé cuenta de que algo anda mal”, agrega Horten. “El proyecto de ley de seguridad en línea no tiene disposiciones para la notificación adecuada de los usuarios cuando el contenido está restringido. Allá‘una disposición para un proceso de quejas, pero ¿cómo puede una persona quejarse si ni siquiera sabe que sucedió?”
En el proyecto de ley, tal como está, le corresponde al regulador de telecomunicaciones y medios, Ofcom, establecer pautas para lo que se considera contenido ilícito en línea, una organización cuyo nuevo presidente admite que ni siquiera usa las redes sociales.
El problema es que es posible que se requiera alguna forma de automatización si alguna vez queremos moderar las plataformas de redes sociales correctamente. La cantidad de publicaciones realizadas solo en Instagram asciende a decenas de miles de millones, una escala que incluso un ejército de moderadores humanos tendría dificultades para examinar manualmente.
Un problema fundamentalmente social
También existe la necesidad de una legislación como el Proyecto de ley de seguridad en línea, según la mayoría de los que habló Computer Weekly, o al menos algo que apunte a codificar leyes para gobernar lo que actualmente son espacios en línea en gran parte no gobernados.
“Las leyes no se han mantenido al día con lo que sucede en línea”, dice Pikes. “Así que el gobierno está en un lugar realmente difícil para tratar de traer esto. Están un poco condenados si lo hacen y condenados si no lo hacen”.
Donde eso deja todo es algo complicado. Para empezar, ciertamente hay muchas maneras de jugar con el proyecto de ley de seguridad en línea para mejorarlo. Estos incluyen todo, desde pautas más claras sobre la moderación y lo que constituye contenido ilícito y la mejora del proceso de quejas para aquellos que reciben restricciones injustas, hasta agregar medidas para minimizar la cantidad de contenido eliminado por las plataformas.
Pero muchos se preguntan si el debate pasa por alto el núcleo del problema.
“¿Cuál es el problema aquí? ¿Es un problema de tecnología? El racismo en las redes sociales es un síntoma de estructuras más amplias… Estos son problemas sociales y deben abordarse de manera integral”, dice Siapera. “Si tratas de controlar este problema a nivel de circulación, es solo este tipo de juego interminable de Whac-A-Mole”.
