A lo largo de la historia, los humanos siempre han aplicado nuevas tecnologías para obtener ventaja en la guerra. La actual prisa de las naciones de todo el mundo por desarrollar y desplegar sistemas de armas autónomas letales (AWS) no es diferente. Los maestros de esta tecnología adquirirán deslumbrantes capacidades de poder duro que, según insisten sus defensores, promoverán la paz a través de la disuasión. Los críticos sostienen que, en cambio, incentivará la guerra y al mismo tiempo deshumanizará a combatientes y civiles por igual al entregar decisiones sobre la vida o la muerte a fríos cálculos algorítmicos.
Es posible que ambas perspectivas resulten correctas caso por caso. Mucho dependerá del prisma del contexto en el que se utilice la tecnología. Lo central de la cuestión es cuánto control ceden los operadores humanos a las máquinas, especialmente cuando los escenarios de conflicto se desarrollan a un ritmo mucho más rápido. Porque si hay un área de consenso en torno a AWS es que estos sistemas acelerarán enormemente la guerra.
Más de 100 expertos en inteligencia artificial (IA) y robótica firmaron una carta abierta a las Naciones Unidas (ONU) en 2017 advirtiendo que AWS amenaza con permitir que la guerra “se pelee a una escala mayor que nunca y en escalas de tiempo más rápidas que las que pueden realizar los humanos”. comprender”. De hecho, esta dinámica está generando un importante dilema en materia de control de armas. Está plagado de incertidumbre y desacuerdo sobre si los humanos pueden controlar tecnologías letales que pueden pensar más rápido que ellos y que algún día podrían actuar de forma independiente.
Según la Campaña para detener los robots asesinos, se necesitan normas internacionales estrictas para frenar la proliferación y el abuso de AWS. Esta posición está respaldada por docenas de países más pequeños y premios Nobel de la Paz, así como por numerosos estudiosos de la paz y la seguridad. Por el contrario, las potencias militares se resisten a salvaguardias jurídicamente vinculantes.
Naciones como Gran Bretaña, China, India, Israel, Estados Unidos y otras, en cambio, abogan por un uso responsable a través de principios de participación humana. Esto, en teoría, compromete a que un operador humano supervise y apruebe el uso de la fuerza por parte de las unidades de AWS en todo momento.
Pero las nuevas versiones de AWS ya están acelerando el ciclo OODA (jerga militar que describe cómo las secuencias de observación, orientación, decisión y acción determinan los ataques).
Es más, se sabe que el sesgo de automatización desplaza rutinariamente el juicio humano en el uso de tecnología emergente. Al combinar estos dos factores, mayor velocidad y deferencia hacia las máquinas, queda abierta la pregunta de si incluso los operadores prácticos de AWS tendrán control total de las armas que empuñan.
‘La computadora dice matar’
El sesgo de automatización se define generalmente como una situación en la que los usuarios aceptan decisiones generadas por computadora por encima de evidencia contradictoria o sus propias percepciones.
“La IA más peligrosa no es la del tipo Terminator”, dijo en un correo electrónico Pat Pataranutaporn, tecnólogo del MIT. “Porque su mala intención es obvia”. Más bien, según Pataranutaporn, un experto en interacción entre humanos e IA, “el verdadero peligro radica en la IA que parece amigable pero manipula sutilmente nuestro comportamiento de maneras que no podemos anticipar”.
A principios de agosto, él y un colega escribieron un ensayo que describe el peligroso atractivo de la “inteligencia adictiva”: sistemas que son simultáneamente superiores y sumisos a sus operadores humanos.
Y aunque la investigación de Pataranutaporn se centra en los compañeros de IA, son claros riesgos similares en torno al uso de AWS por parte de actores estatales y no estatales. Esto es especialmente cierto si los modelos informáticos que sustentan las armas inteligentes aconsejan o seleccionan tácticas de tierra arrasada como el camino más corto hacia la victoria.
Múltiples juegos de guerra ejecutados utilizando grandes modelos de lenguaje durante el año pasado, por ejemplo, han mostrado a los robots de IA interpretando roles mientras los comandantes militares muestran una afinidad alarmante para aplastar a los adversarios mediante el lanzamiento de ataques nucleares.
Automatizar conflictos
De hecho, la IA ya está revolucionando la guerra. La táctica imperial de Moscú en Ucrania ha coincidido con enormes avances en la asequibilidad y accesibilidad del aprendizaje automático, las herramientas de reconocimiento visual, la conectividad de redes digitales y la robótica. Además de provocar la guerra interestatal más grande de este siglo hasta ahora, el resultado ha sido la creación de un entorno de combate rico en datos sin precedentes para concebir, probar y validar AWS.
Gran parte de la defensa de Ucrania contra los invasores rusos ya se ha reducido al combate entre drones utilizando sistemas que rozan la capacidad totalmente autónoma. En junio, Kiev estableció una nueva rama de Fuerzas de Sistemas No Tripulados en su ejército, la primera del mundo. Un mes después, Ucrania y la alianza militar occidental de la OTAN anunciaron un nuevo fondo común conjunto de 45 millones de euros (37 millones de libras esterlinas) para la Coalición de Drones. Dirigido por el Reino Unido y Letonia, su objetivo es acelerar la adquisición y entrega de drones a los combatientes ucranianos en el frente.
Pero los drones también están omnipresentes en lugares mucho más allá de Europa del Este. Los sistemas no tripulados se han utilizado ampliamente en zonas de conflicto que van desde Gaza y Myanmar hasta Sudán, Etiopía, Nagorno-Karabaj en Azerbaiyán, el norte de Irak y Siria. El ejército estadounidense mantiene una flota de buques de superficie controlados por la IA que vigilan el Estrecho de Ormuz, un corredor estratégicamente vital para el suministro mundial de energía que limita con Irán.
Armas centinela autónomas salpican el lado surcoreano de la zona desmilitarizada entre este país y Corea del Norte. Un informe de expertos de la ONU sugiere que el primer robot asesino verdaderamente autónomo del mundo, un dron producido por el conglomerado de defensa estatal turco STM, se utilizó en Libia ya en 2020, para cazar a combatientes rebeldes leales al general rebelde del ejército Khalifa Haftar.
Los componentes de software avanzados también están mejorando la eficiencia de combate de las fuerzas convencionales, ya sea guerra electrónica basada en el aprendizaje o programas rápidos de identificación y adquisición de objetivos. Una parte importante de esta innovación está siendo impulsada por nuevas empresas en Silicon Valley y otros lugares, que buscan revolucionar la industria de defensa global. Un informe del ejército estadounidense predice que la suma de toda esta nueva tecnología supondrá un aumento espectacular de la letalidad de las operaciones de combate a gran escala hasta el punto de que probablemente provocará un cambio en las doctrinas militares modernas.
Velocidad de escape de AWS
Escribiendo en Asuntos exteriores La revista, el ex director ejecutivo y presidente de Google, Eric Schmidt, junto con el ex jefe militar estadounidense Mark A. Milley, dicen que Estados Unidos y sus aliados deberían adoptar una estrategia maximalista para AWS. “Las guerras futuras ya no se tratarán de quién puede concentrar la mayor cantidad de gente o desplegar los mejores aviones, barcos y tanques”, argumentan. “En cambio, estarán dominados por sistemas de armas cada vez más autónomos y algoritmos potentes”.
La clave para esto, dicen Schmidt y Milley, será subcontratar una enorme cantidad de planificación militar a agentes artificiales. “Los sistemas de inteligencia artificial podrían, por ejemplo, simular diferentes enfoques tácticos y operativos miles de veces, acortando drásticamente el período entre la preparación y la ejecución”, escriben.
Sin embargo, otros desconfían de este tipo de futuro. Advierten que la integración total de AWS en el funcionamiento militar corre el riesgo de agravar la brutalidad inherente y la niebla de guerra en los conflictos armados.
El elemento humano del combate –ya sea riesgo de víctimas, opiniones diferenciadas o cadenas de mando burocráticas– suele moderar el uso de la fuerza por parte de los gobiernos, aunque de forma imperfecta y a veces sin intención. Al menos lo frena en la medida en que se pueden considerar cursos de acción alternativos. La enérgica adopción de AWS eliminaría algunos de esos obstáculos.
Gran parte de esto se reduce al software y a los protocolos de entrenamiento de datos que sustentan el hardware de los sistemas de armas. “Incluso cuando estos sistemas están nominalmente bajo control humano, puede haber dificultades”, mencionó en un correo electrónico Peter Burt, investigador de Drone Wars UK. “Si se automatizan demasiadas funciones de un sistema, es posible que los operadores no puedan monitorear adecuadamente el proceso y anular el sistema, si es necesario”.
Esto es muy importante porque significa que AWS podría distorsionar la rendición de cuentas en torno al uso de la fuerza. La explicabilidad y trazabilidad de las decisiones en tiempos de guerra “ya son extremadamente escasas”, dijo Brianna Rosen, investigadora principal de la Universidad de Oxford y miembro del Consejo de Seguridad Nacional de Estados Unidos durante la era Obama, en un podcast en marzo.
La introducción de la IA en este proceso, predice, lo empeorará mucho, ya que la red opaca de diferentes algoritmos, conjuntos de datos y procedimientos preferidos por diferentes ramas militares y agencias de inteligencia significa que “ninguna persona va a entender completamente cómo funciona esta tecnología”. obras”.
Elke Schwarz, profesora de teoría política en la Universidad Queen Mary de Londres centrada en la ética de la aplicación de la IA para uso militar, se hace eco de estas opiniones.
“El problema del sesgo de automatización es bastante espinoso, porque no es algo que pueda superarse fácilmente”, afirma. “Operar un sistema de armas basado en IA no es un simple caso de comando y control”.
Más bien, cuando el operador humano está “incrustado en un entorno de pantallas, interfaces y tecnologías digitales, cuyo funcionamiento no siempre es fácilmente inteligible”, el humano que se supone debe supervisar el sistema en realidad se vuelve dependiente de la información que se le presenta a través de un caja negra de análisis de IA. Entonces, dice Elke, “matar se convierte en una cuestión de procesamiento eficiente de datos. Matar como forma de gestión del flujo de trabajo”.
Supervisión humana
Aparte de Rusia, que dijo a la ONU el año pasado que no le preocupa demasiado mantener el control humano directo y total de AWS, la mayoría de las potencias militares han dicho públicamente que quieren que la tecnología esté siempre sujeta a supervisión humana. Pero estas posiciones se afirman con pocos detalles.
Cuando se trata de mantener a los humanos informados, “todos pueden aceptar ese concepto, mientras que al mismo tiempo, todos pueden no estar de acuerdo con lo que realmente significa en la práctica”, dijo Rebecca Crootof, profesora de derecho y experta de AWS. el guardián a principios de este año. “No es tan útil en términos de dirigir decisiones de diseño tecnológico”.
A medida que los sistemas de IA evolucionan, los nuevos diseños ya están distanciando inherentemente el control humano un par de grados cada vez.
“Podríamos mirar hacia atrás dentro de 15 o 20 años y darnos cuenta de que cruzamos un umbral muy significativo”, advierte Paul Scharre, vicepresidente ejecutivo y director de estudios del centro de estudios Center for a New American Security.
Drones autónomos
Las empresas emergentes en Ucrania, por ejemplo, han desarrollado drones autónomos que pueden operar en enjambres donde cada unidad se comunica y coordina entre sí o pueden programarse para ejecutar un ataque incluso si se corta la conexión a Internet con un operador humano.
Mientras tanto, los críticos de AWS dicen que el uso por parte de Israel de armas impulsadas por IA en Gaza disipa la noción de que la tecnología hará que la guerra sea más precisa y humana, puntos de venta clave entre sus defensores. A finales de septiembre, más de 42.000 personas en Gaza habían muerto a manos de las fuerzas de las FDI y casi 100.000 más habían resultado heridas, según las autoridades sanitarias locales, la gran mayoría de ellos civiles inocentes.
Para corregir esto en el futuro, Schmidt, ex director ejecutivo y presidente de Google, y Milley, ex jefe militar de EE. UU., sugieren que AWS y sus operadores humanos deberían estar sujetos a un entrenamiento incesante. Aconsejan que los sistemas de armas deben probarse y evaluarse continuamente para confirmar que funcionan según lo previsto en condiciones del mundo real.
Schmidt y Milley también recomiendan que Washington imponga sanciones económicas contra los países que no sigan este principio. “La próxima generación de armas autónomas debe construirse de acuerdo con los valores liberales y el respeto universal por los derechos humanos, y eso requiere un liderazgo estadounidense agresivo”, advierten.
Rosen, académico de Oxford y escéptico de las aplicaciones militares de la IA, también sugiere que las democracias liberales inician un debate público más destacado sobre el uso de armas inteligentes. Esto, dice, puede constituir la base para construir políticas nacionales e instrumentos legales para reducir sus daños. Y una vez que estos mecanismos de gobernanza estén implementados, podrían brindar la credibilidad necesaria para intentar encontrar un consenso internacional en torno a AWS.
Hace unas semanas, 61 países, incluido Estados Unidos, respaldaron el llamado “plan de acción” en una cumbre para el uso militar responsable de la IA celebrada en Seúl. El marco no vinculante detalla 20 compromisos diferentes, divididos en tres categorías diferentes, que buscan establecer un entendimiento común sobre cómo abordar el impacto de la IA en la paz y la seguridad internacionales. Esto incluye mantener el control humano de AWS y una visión de los modos futuros de gobernanza de la IA en el ámbito militar.
En definitiva, las armas autónomas parecen destinadas a convertirse en un elemento habitual de los conflictos del siglo XXI. Queda por ver si, dentro de una década o dos a partir de ahora, la toma de decisiones humana…