Los principales desarrolladores de IA, como OpenAI y Anthropic, están hilando una aguja delicada para vender software al ejército de los Estados Unidos: hacer que el Pentágono sea más eficiente, sin permitir que su IA mate a personas.
Hoy en día, sus herramientas no se están utilizando como armas, pero la IA está dando al Departamento de Defensa una 'ventaja significativa' en la identificación, seguimiento y evaluación de amenazas, dijo la Directora Digital y de IA del Pentágono, la Dra. Radha Plumb, a TechCrunch en una entrevista telefónica.
“Obviamente estamos aumentando las formas en las que podemos acelerar la ejecución de la 'kill chain' para que nuestros comandantes puedan responder a tiempo para proteger a nuestras fuerzas”, dijo Plumb.
La 'kill chain' se refiere al proceso militar de identificar, rastrear y eliminar amenazas, que implica un sistema complejo de sensores, plataformas y armas. La IA generativa está demostrando ser útil durante las fases de planificación y estrategia de la 'kill chain', según Plumb.
La relación entre el Pentágono y los desarrolladores de IA es relativamente nueva. OpenAI, Anthropic y Meta modificaron sus políticas de uso en 2024 para permitir a las agencias de inteligencia y defensa de EE. UU. utilizar sus sistemas de IA. Sin embargo, aún no permiten que su IA dañe a los humanos.
“Hemos sido muy claros sobre para qué utilizaremos o no sus tecnologías”, dijo Plumb, cuando se le preguntó cómo colabora el Pentágono con los proveedores de modelos de IA.
No obstante, esto inició una ronda de citas rápidas para empresas de IA y contratistas de defensa.
Meta se asoció con Lockheed Martin y Booz Allen, entre otros, para llevar sus modelos de IA Llama a las agencias de defensa en noviembre. Ese mismo mes, Anthropic se asoció con Palantir. En diciembre, OpenAI cerró un acuerdo similar con Anduril. Más discretamente, Cohere también ha estado implementando sus modelos con Palantir.
A medida que la IA generativa demuestra su utilidad en el Pentágono, podría presionar a Silicon Valley para flexibilizar sus políticas de uso de IA y permitir más aplicaciones militares.
“Jugar a través de diferentes escenarios es algo en lo que la IA generativa puede ser útil”, dijo Plumb. “Permite aprovechar la gama completa de herramientas disponibles para nuestros comandantes, pero también pensar creativamente en diferentes opciones de respuesta y posibles compensaciones en un entorno donde existe una amenaza potencial, o una serie de amenazas, que deben ser procesadas”.
No está claro cuál tecnología está utilizando el Pentágono para este trabajo; utilizar IA generativa en la 'kill chain' (incluso en la fase de planificación inicial) parece violar las políticas de uso de varios desarrolladores de modelos líderes. Por ejemplo, la política de Anthropic prohíbe utilizar sus modelos para producir o modificar 'sistemas diseñados para causar daño o pérdida de vidas humanas'.
En respuesta a nuestras preguntas, Anthropic remitió a TechCrunch a la reciente entrevista de su CEO Dario Amodei con el Financial Times, donde defendió su trabajo militar:
La posición de que nunca deberíamos utilizar la IA en entornos de defensa e inteligencia no tiene sentido para mí. La posición de que deberíamos utilizarla sin restricciones y hacer cualquier cosa que queramos, incluidas armas del juicio final, eso obviamente es igual de loco. Estamos tratando de buscar un equilibrio, de hacer las cosas de manera responsable.
OpenAI, Meta y Cohere no respondieron a la solicitud de comentarios de TechCrunch.
Vida y muerte, y armas de IA
En los últimos meses, ha surgido un debate sobre tecnología de defensa en torno a si las armas de IA realmente deberían permitirse tomar decisiones de vida o muerte. Algunos argumentan que el ejército de EE. UU. ya tiene armas que lo hacen.
El CEO de Anduril, Palmer Luckey, señaló recientemente en X que el ejército de EE. UU. tiene una larga historia de compra y uso de sistemas de armas autónomos como una torreta CIWS.
“El Departamento de Defensa ha estado comprando y utilizando sistemas de armas autónomos durante décadas. Su uso (¡y exportación!) está bien comprendido, estrictamente definido y regulado explícitamente por reglas que no son en absoluto voluntarias”, dijo Luckey.
Pero cuando TechCrunch preguntó si el Pentágono compra y opera armas que son completamente autónomas, es decir, sin humanos en la operación, Plumb rechazó la idea por principio.
“No, es la respuesta corta”, dijo Plumb. “Por una cuestión tanto de fiabilidad como de ética, siempre tendremos humanos involucrados en la decisión de emplear la fuerza, y eso incluye a nuestros sistemas de armas”.
El término 'autonomía' es algo ambiguo y ha provocado debates en toda la industria tecnológica sobre cuándo los sistemas automatizados, como agentes de codificación de IA, autos autónomos o armas de fuego autodisparadoras, se convierten realmente en independientes.
Plumb dijo que la idea de que los sistemas automáticos estén tomando decisiones de vida o muerte de forma independiente era 'demasiado binaria', y la realidad era menos 'de ciencia ficción'. Más bien, sugirió que el uso de sistemas de IA del Pentágono es en realidad una colaboración entre humanos y máquinas, donde los líderes superiores toman decisiones activas en todo el proceso.
Seguridad de la IA en el Pentágono
Las asociaciones militares no siempre han sido bien recibidas por los empleados de Silicon Valley. El año pasado, decenas de empleados de Amazon y Google fueron despedidos y arrestados después de protestar contra los contratos militares de sus empresas con Israel, acuerdos de nube que entraron bajo el nombre en clave 'Project Nimbus'.
En comparación, ha habido una respuesta bastante silenciada por parte de la comunidad de IA. Algunos investigadores de IA, como Evan Hubinger de Anthropic, dicen que el uso de la IA en los ejércitos es inevitable y es fundamental colaborar directamente con el ejército para asegurarse de que lo hagan bien.
“Si se toman en serio los riesgos catastróficos de la IA, el gobierno de EE. UU. es un actor extremadamente importante con el que hay que interactuar, y tratar de bloquear al gobierno de EE. UU. para que no utilice la IA no es una estrategia viable”, dijo Hubinger en un post de noviembre en el foro en línea LessWrong. “No es suficiente centrarse solo en los riesgos catastróficos, también hay que prevenir cualquier forma en que el gobierno pueda usar incorrectamente sus modelos”.
