Según los expertos en tecnología militar, el uso de sistemas de armas autónomos (AWS) contra humanos erosionará la agencia moral y conducirá a una devaluación general de la vida.
Hablando en la Conferencia de Viena sobre Sistemas de Armas Autónomas el 30 de abril de 2024, un foro creado por el gobierno austriaco para discutir los actuales desafíos morales, éticos, legales y humanitarios que presentan las armas impulsadas por inteligencia artificial (IA), los expertos hablaron sobre el impacto. de AWS sobre la dignidad humana, y cómo la violencia habilitada algorítmicamente en última instancia deshumanizará tanto a sus objetivos como a sus operadores.
Las preocupaciones específicas planteadas por los expertos a lo largo de la conferencia incluyeron el potencial de deshumanización cuando las personas que reciben fuerza letal son reducidas a puntos de datos y números en una pantalla; el riesgo de discriminación durante la selección de objetivos debido a sesgos en la programación o en los criterios utilizados; así como el desapego emocional y psicológico de los operadores de las consecuencias humanas de sus acciones.
Los oradores también abordaron si alguna vez podrá haber un control humano significativo sobre AWS, debido a la combinación del sesgo de automatización y cómo tales armas aumentan la velocidad de la guerra más allá del conocimiento humano.
La ética del asesinato algorítmico
Al destacar su trabajo sobre la ética del armamento autónomo con la académica Elke Schwarz, Neil Renic, investigador del Centro de Estudios Militares de Copenhague, dijo que una de las principales preocupaciones con AWS es cómo podrían intensificar aún más los sistemas más amplios de violencia en los que ya están integrados. .
“Las armas autónomas y las matanzas sistemáticas que permitirán y acelerarán probablemente presionen la dignidad humana de dos maneras diferentes: en primer lugar, incentivando una devaluación moral del objetivo”, dijo, añadiendo que la “sistematización extrema” de los seres humanos bajo AWS impondrá directamente, o al menos incentivará, la adopción de categorías de destinatarios prefijadas y demasiado amplias.
“Esta cruda y total cosificación de los seres humanos conduce muy fácilmente a la pérdida de restricciones esenciales, es decir, al despojo de los derechos básicos y la dignidad de quienes son objeto de ataques. Y podemos observar estos efectos examinando la historia de los asesinatos sistemáticos”.
Para Fan Yang, profesor asistente de derecho internacional en la Facultad de Derecho de la Universidad de Xiamen, el problema del sesgo en AWS se manifiesta tanto en términos de los datos utilizados para entrenar los sistemas como en cómo los humanos interactúan con ellos.
Al señalar que el sesgo en AWS probablemente se manifestará en víctimas humanas directas, Yang dijo que esto es mucho peor que, por ejemplo, ser víctima de discriminación de precios en un algoritmo minorista.
“Técnicamente, es imposible erradicar el sesgo del diseño y desarrollo de AWS”, afirmó. “El sesgo probablemente persistiría incluso si hubiera un elemento de control humano en el código final porque psicológicamente los comandantes y operadores humanos tienden a confiar demasiado en cualquier opción o decisión recomendada por un AWS”.
Yang añadió que cualquier ataque discriminatorio (ya sea como resultado de sesgos incorporados en los datos o de los prejuicios de los operadores humanos que confían en los resultados de las máquinas) probablemente exacerbará el conflicto al marginar aún más a ciertos grupos o comunidades, lo que en última instancia podría intensificar la violencia y socavar la paz. soluciones.
Renic añadió que la naturaleza sistémica y algorítmica de la violencia infligida por AWS también tiene el potencial de erosionar la “agencia moral” de los operadores que utilizan las armas.
“Dentro de los sistemas de violencia intensificada, los humanos a menudo se ven desempoderados, o ellos mismos se desempoderan, como agentes morales”, dijo. “Pierden o renuncian a su capacidad de autorreflexión, de ejercer un juicio moral significativo en el campo de batalla, y dentro de los sistemas de violencia algorítmica, es probable que veamos a los involucrados ceder cada vez más su juicio a la autoridad de los algoritmos”.
Las armas autónomas no van a poner fin a la participación humana [but] reorganizarán y distorsionarán la relación humana con violencia, potencialmente para peor
Neil Renic, Centro de Estudios Militares
Renic añadió además que, a través de los “procesos de rutinización” fomentados por el asesinato computarizado, los operadores de AWS pierden tanto la capacidad como la inclinación a cuestionar moralmente tales sistemas, lo que lleva a un tipo diferente de deshumanización.
Al comentar sobre los efectos perjudiciales de AWS para sus operadores, Amal El Fallah Seghrouchni, presidente ejecutivo del Centro Internacional de Inteligencia Artificial de Marruecos, dijo que existe un doble problema de “virtualidad” y “velocidad”.
Al resaltar la distancia física entre un usuario militar de AWS y el teatro de operaciones donde se implementa la tecnología, señaló que las consecuencias de las decisiones letales automatizadas no son visibles de la misma manera, y que la gran velocidad con la que estos sistemas toman las decisiones puede dejar Operadores con falta de conciencia.
Sobre la cuestión de si los objetivos deberían ser designados de forma autónoma por una EMA en función de sus características, ningún orador se mostró a favor.
Anja Kaspersen, directora de desarrollo de mercados globales y tecnologías de vanguardia del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE), por ejemplo, dijo que con la IA y el aprendizaje automático en general, los sistemas a menudo tendrán una tasa de error aceptable.
“Tienes un 90% de precisión, está bien. Pero en un operativo [combat] En el teatro, perder el 10% significa perder muchas, muchas, muchas vidas”, afirmó. “Aceptar el ataque significa aceptar esta pérdida de vidas humanas; eso es inaceptable”.
Renic añadió que si bien puede haber algunos escenarios menos problemáticos en los que un AWS puede seleccionar más libremente sus objetivos (como un entorno marítimo alejado de los civiles donde las características que se identifican son un enemigo uniformado en la cubierta de un barco), hay innumerables escenarios en los que -Las características definidas o discutibles pueden computarse para formar la categoría de “enemigo objetivo” con resultados horrendos.
“Aquí pienso en cuánta miseria y daño injusto ha producido la característica de ‘hombre en edad militar’”, dijo. “Me preocupa que esa característica del hombre en edad militar, por ejemplo, esté codificada en un arma autónoma. Creo que ese es el tipo de desafío moral que realmente debería incomodarnos en estas discusiones”.
El consenso entre Renic y otros oradores fue que el enfoque sistematizado del asesinato generado por AWS y la facilidad con la que diversos actores podrán desplegar dichos sistemas reducirán en última instancia el umbral para recurrir a la violencia.
“Nuestro problema aquí no es borrar a la humanidad: las armas autónomas no van a poner fin a la participación humana”, dijo Renic. “Sin embargo, lo que harán, junto con la IA militar en general, es reorganizar y distorsionar la relación humana con la violencia, potencialmente para peor”.
En términos de regulación de la tecnología, el consenso fue que las armas totalmente autónomas deberían prohibirse completamente, mientras que todos los demás tipos y aspectos de AWS deberían estar fuertemente regulados, incluido el proceso de selección de objetivos, la escala de fuerza desplegada en un caso determinado y la capacidad de los seres humanos para intervenir significativamente.
