Los gobiernos corren el peligro de recurrir a “soluciones mágicas de software” para combatir el abuso infantil y el terrorismo, en lugar de invertir en policías, trabajadores sociales y maestros que puedan abordar las causas subyacentes, afirma un académico de Cambridge.
El profesor de ingeniería de seguridad Ross Anderson ha argumentado en un documento que los gobiernos deberían ver el debate sobre la seguridad infantil desde el punto de vista de los niños en riesgo de sufrir daños, en lugar de desde la perspectiva de las agencias de inteligencia y las empresas que quieren vender software informático.
El documento es una respuesta a los argumentos presentados por dos directores sénior de GCHQ de que el software de escaneo del lado del cliente ubicado en teléfonos móviles y otros dispositivos electrónicos podría implementarse para detectar actividades ilegales, como el acicalamiento, sin interrumpir la privacidad y seguridad de las personas.
En su documento de discusión Reflexiones sobre la seguridad infantil en las plataformas de productos básicosIan Levy, director técnico del Centro Nacional de Seguridad Cibernética (NCSC) del Reino Unido, y Crispin Robinson, director técnico de criptoanálisis en GCHQ, dijeron que no era necesario que la sociedad eligiera entre hacer que las comunicaciones sean “inseguras por defecto” o crear “espacios seguros”. para los abusadores de niños”.
En una refutación de 19 páginas, Anderson, profesor de la Universidad de Cambridge y Edimburgo, afirmó que la idea de usar software para detectar abuso infantil, terrorismo y otras actividades ilegales resultaría inviable en la práctica y no abordaría los problemas subyacentes.
Anderson fue uno de los 14 expertos líderes en computación y criptografía en escribir un artículo anterior, Errores en nuestros bolsillos: los riesgos del escaneo del lado del clienteque argumentó que la tecnología de escaneo del lado del cliente “crea graves riesgos de seguridad y privacidad para toda la sociedad, mientras que la asistencia que puede brindar a las fuerzas del orden es, en el mejor de los casos, problemática”.
El profesor de Cambridge y Edimburgo, Ross Anderson, afirma que el uso de software para detectar abuso infantil, terrorismo y otras actividades ilegales resultaría inviable en la práctica y no abordaría los problemas subyacentes.
“La idea de usar inteligencia artificial para reemplazar a los policías, trabajadores sociales y maestros es el tipo de pensamiento mágico que conduce a una mala política”, argumentó en un nuevo documento de debate. ¿Control de chat o protección del cliente?
Históricamente, los gobiernos han tratado de limitar el uso de la criptografía para proteger sus capacidades de vigilancia. Durante la Guerra Fría, esto condujo desde la imposición de controles de exportación hasta propuestas para otorgar a las fuerzas del orden un acceso excepcional a claves de encriptación en la década de 1990, rompiendo los servicios encriptados en la década de 2000 y exigiendo que Apple rompiera la criptografía del iPhone en 2015. La justificación osciló en la protección infantil en el 1990, al terrorismo después del 11 de septiembre, y de regreso a la protección infantil.
Anderson señaló que las propuestas actuales de la Comisión Europea para introducir medidas conocidas como control de chat para escanear el contenido de los mensajes enviados a través de servicios de mensajería encriptada, como WhatsApp, han generado un rechazo significativo por parte de la industria y los grupos de la sociedad civil.
Existe una preocupación generalizada de que pasar a la informática de punta y el cifrado de extremo a extremo conducirá a “un motor de búsqueda del gobierno en todos nuestros dispositivos”, dice Anderson.
El modelado del lenguaje es propenso a errores
Levy y Robinson propusieron “modelos de lenguaje que se ejecutan completamente localmente” en un teléfono móvil o una computadora para detectar “lenguaje asociado con la preparación” en su artículo, una idea que ahora ha aparecido en los proyectos de ley del Reino Unido y la Unión Europea (UE).
Pero el uso de modelos de procesamiento de lenguaje natural (NLP) para detectar el discurso ilegal, ya sea acoso sexual, reclutamiento de terroristas o discurso de odio, es muy propenso a errores, argumentó Anderson. Al analizar solo el contenido del texto, es difícil lograr tasas de error significativamente inferiores al 5-10%. La Comisión Europea asumió que podría obtener un 10% de falsos positivos en un documento interno presentado al Consejo Europeo en junio. Esto significaría que mil millones de falsas alarmas tendrían que procesarse manualmente cada día.
Solo hay una herramienta de escaneo de prueba disponible, creada a través del Proyecto Artemis de Microsoft, que se suministra a través de Thorn, una empresa privada estadounidense. No existe una evaluación independiente de la eficacia de la tecnología y las afirmaciones de Microsoft al respecto son “notablemente débiles”. Anderson argumentó que era difícil ver cómo alguien podía confiar en una herramienta de escaneo de texto en lenguaje natural que fue entrenada en datos a los que el público no tiene acceso.
Hay demasiadas formas en que se puede subvertir el aprendizaje automático, por ejemplo, manipulando el motor de inferencia, los datos de entrenamiento o su etiquetado. No está del todo claro, dijo, cómo el escaneo remoto obligatorio de mensajes en los dispositivos de los usuarios podría “cuadrarse con el derecho humano a la privacidad y la prohibición establecida de vigilancia masiva sin orden judicial ni sospecha”.
La moderación manual de falsos positivos no es factible
Las empresas tecnológicas deben tratar adecuadamente las quejas de los usuarios, pero con frecuencia no lo hacen porque emplear moderadores humanos es costoso, dijo Anderson.
Están dispuestos a actuar sobre las solicitudes de eliminación de la policía y de los abogados de derechos de autor porque ignorarlos puede ser costoso. Pero ignoran las solicitudes de los usuarios comunes, incluidas mujeres y niños, que pueden desear denunciar abusos. “Eso debe solucionarse, ya sea mediante sanciones penales o sanciones financieras significativas”, afirmó el periódico.
Si la tecnología de procesamiento del lenguaje natural sugiere que existe un 60 % de probabilidad de que un niño sea manipulado, esto supera el umbral civil de responsabilidad si una plataforma tecnológica no actúa. Si los costos no fueran un problema, un moderador humano podría llamar a la víctima potencial, y si la víctima acepta que se realizó una preparación, un investigador podría trabajar con ellos para preservar la evidencia forense.
Pero la intervención humana cuesta dinero, y dado el estado actual de la ley y la práctica de la industria, es más probable que se bloqueen las cuentas del sospechoso, y potencialmente de sus familiares y amigos.
La afirmación de Levy y Robinson de que los falsos positivos de los algoritmos de aprendizaje automático pueden tratarse con moderación humana es “simplemente incorrecta”, argumentó Anderson. Esto se debe a que los organismos encargados de hacer cumplir la ley y las empresas de tecnología tienen poca o ninguna responsabilidad por el costo humano de los falsos positivos.
Ese fue el caso cuando un padre tomó una fotografía de su hijo pequeño, a pedido de una enfermera. La imagen fue cargada automáticamente por su teléfono a Google. Fue visitado por la policía y, a pesar de haber sido absuelto, no ha podido acceder a sus cuentas de Google.
Si un gran número de cuentas se remiten a la moderación, ya sea por falsos positivos o por niños que envían mensajes de “sexting” a otros niños, entonces un número significativo de jóvenes puede perder el acceso a sus vidas digitales.
La evidencia de los beneficios de la vigilancia electrónica es débil
Los ministros del gobierno del Reino Unido han criticado los planes de Facebook de trasladar Facebook Messenger al cifrado de extremo a extremo.
Anderson dijo que es posible que el número de arrestos disminuya si Facebook Messenger introdujera el cifrado de extremo a extremo, pero la evidencia que lo respalda es débil, ya que la cantidad de personas arrestadas o entrevistadas por delitos contra la imagen se ha mantenido constante a pesar de la proliferación de end-to-end. servicios de cifrado de extremo a extremo.
La evidencia de Alemania sugiere que la vigilancia electrónica no ha ayudado a la aplicación de la ley en la práctica. El país recolectó datos de comunicaciones entre 2008 y 2010, deteniéndose cuando se determinó que la práctica era ilegal. Pero las estadísticas muestran que el acceso de la policía a los datos en Alemania no tuvo un efecto disuasorio, no ayudó a esclarecer los delitos y no aumentó las condenas.
“Cuando los gobiernos argumentan que la privacidad debe verse afectada una vez más con la esperanza de arrestar a más abusadores, se requiere cierto escepticismo”, argumenta Anderson.
Mejores métodos de prevención del delito.
El enfoque de Levy y Robinson está en el abuso infantil, pero el proyecto de ley de seguridad en línea de Gran Bretaña también facultaría a las autoridades para imponer el escaneo de texto del lado del servidor para la radicalización y el reclutamiento de terroristas.
La historia del aumento de funciones en la vigilancia sugiere que la exploración del lado del cliente en busca de contenido terrorista sería el siguiente paso lógico, si se permite para la protección de los niños. Sin embargo, la investigación muestra que existen fuertes vínculos entre el extremismo político violento y la violencia o la misoginia contra las mujeres.
“Donde los ministros compran la idea de una ‘solución’ de software mágico, como le gusta llamar a la industria a sus productos, los resultados son a menudo decepcionantes y, a veces, desastrosos”
Ross Anderson, Universidades de Cambridge y Edimburgo
En lugar de usar intercepciones masivas para buscar hombres jóvenes que “expresen una opinión o creencia que apoye” a un grupo prescrito o descarguen una copia de El libro de cocina anarquistala policía debe prestar más atención a la violencia contra las mujeres y los niños, dice Anderson.
“Si hay 200 jóvenes pasando el rato en una mezquita con un feroz predicador salafista, el hombre a vigilar no es el que descargó el [Anarchist] libro de cocina, sino el que golpeó a su hermana”, argumentó el diario.
Anderson afirmó que el escaneo del lado del cliente no era la mejor solución si el objetivo de la política es prevenir el abuso a los niños.
Los delitos violentos contra los niños se asocian con privaciones, familias inestables que viven en barrios marginales, desempleo estructural, desesperación que conduce al abuso de alcohol y drogas, y pandillas que brindan modelos a seguir, dijo.
Mejores formas de abordar el problema serían aumentar las prestaciones por hijos a cargo y aumentar el número de trabajadores sociales infantiles.
La policía debe poder concentrarse en el problema principal, que es prevenir y enjuiciar los delitos contra los niños y la violencia política.
Una buena política requiere que el gobierno coordine múltiples organismos en los sectores estatal y privado trabajando para obtener los incentivos correctos. Para la policía y los trabajadores sociales, el trabajo de protección es una tarea ardua e ingrata, y es fácil distraerse con soluciones técnicas, argumentó el periódico.
“La idea de que los problemas sociales complejos se pueden solucionar con soluciones técnicas baratas es el canto de sirena del vendedor de software y ha atraído a muchos departamentos gubernamentales crédulos a las rocas”, escribió Anderson.
“Cuando los ministros compran la idea de una ‘solución’ de software mágico, como le gusta llamar a la industria a sus productos, los resultados son a menudo decepcionantes ya veces desastrosos”, dijo.
