El jefe de Palantir UK dice que depende de las fuerzas armadas decidir cómo se usa el objetivo con IA en la guerra

Hace 2 días

CompartirGuardar

Añadir como preferido en Google

Marc Cieslak, corresponsal de IA y

Matt Murphy, BBC Verify

Louis Mosley, de Palantir, dice que las fuerzas armadas son responsables de cómo se usan los sistemas de IA

El gigante tecnológico Palantir ha rechazado las preocupaciones de que el uso militar de sus plataformas de IA pueda llevar a riesgos imprevistos, en una entrevista exclusiva con la BBC, insistiendo en que la forma en que se utiliza la tecnología es responsabilidad de sus clientes militares.

Ocurre mientras expertos han expresado preocupación por el uso de la plataforma de defensa impulsada por IA de Palantir - Maven Smart System - durante el conflicto bélico y por su uso reportado en ataques de EE. UU. contra Irán.

Analistas han advertido que el uso de la plataforma por parte de los militares, que ayuda al personal a planificar ataques, deja poco tiempo para la “verificación significativa” de su salida y podría llevar a que se impacten objetivos incorrectos.

Pero el jefe de Palantir para Reino Unido y Europa, Louis Mosley, dijo a la BBC en una entrevista amplia que, si bien las plataformas de IA como Maven han sido “instrumentales” para la gestión estadounidense de la guerra contra Irán, la responsabilidad sobre cómo se usa su salida debe permanecer siempre “con la organización militar”.

“Siempre hay un humano en el circuito, así que siempre hay un humano que toma la decisión final. Ese es el esquema actual.”

El Maven Smart System fue lanzado por el Pentágono en 2017 y está diseñado para acelerar las decisiones de objetivos militares al reunir grandes volúmenes de datos, incluidos diversos tipos de inteligencia, imágenes de satélite y de drones.

El sistema analiza estos datos y luego puede proporcionar recomendaciones para el objetivo. También puede sugerir el nivel de fuerza a usar en función de la disponibilidad de personal y del hardware militar, como aviones.

Pero ha crecido el escrutinio sobre el uso de herramientas de este tipo en la guerra. En febrero, el Pentágono anunció que dejaría de implementar el sistema de IA Claude de Anthropic - que ayuda a impulsar Maven - después de que la compañía se negara a permitir el uso de su IA en armas autónomas y vigilancia. Palantir dice que alternativas pueden reemplazarlo.

Desde que comenzó la guerra con Irán en febrero, se ha reportado que EE. UU. ha utilizado Maven para planificar ataques en todo el país.

Video demostrativo del Maven Smart System de Palantir

Impulsado por la BBC sobre el riesgo de que Maven pudiera sugerir objetivos incorrectos - que podrían incluir civiles - Mosley insistió en que la plataforma solo está pensada para servir como guía para acelerar el proceso de toma de decisiones del personal militar y que no debe verse como un sistema automatizado de apuntado.

“Podrías pensarlo como una herramienta de apoyo”, dijo Mosley. “Les está permitiendo sintetizar enormes cantidades de información que antes habrían tenido que hacer manualmente, una por una.”

Sin embargo, Mosley se remitió a los ejércitos individuales cuando la BBC lo cuestionó por el riesgo de que comandantes con poco tiempo ordenen a sus oficiales que tomen la salida de Maven como si estuviera avalada automáticamente.

“Eso es realmente una pregunta para nuestros clientes militares. Son ellos quienes deciden el marco de políticas que determina quién puede tomar qué decisión”, dijo. “Esa no es nuestra función.”

Desde el 28 de febrero, EE. UU. ha lanzado más de 11.000 ataques contra Irán, muchos de ellos supuestamente identificados por Maven.

El almirante Brad Cooper, jefe de las fuerzas militares de EE. UU. en Oriente Medio, ha elogiado los sistemas de IA por ayudar a los oficiales a “revisar en segundos enormes cantidades de datos, para que nuestros líderes puedan abrirse paso entre el ruido y tomar decisiones más inteligentes más rápido de lo que el enemigo puede reaccionar”.

La firma de IA Anthropic busca un experto en armas para detener a los usuarios por ‘mal uso’

OpenAI cambia acuerdo con el ejército de EE. UU. tras la reacción

Trump ordena al gobierno detener el uso de Anthropic en la batalla por el uso de IA

Pero algunos se preocupan de que la participación de la IA en la planificación de misiones cree riesgos significativos.

“Esta priorización de la velocidad y la escala y el uso de la fuerza, entonces, deja muy poco tiempo para una verificación significativa de los objetivos para asegurarse de que no incluyan accidentalmente objetivos civiles”, dijo la profesora Elke Schwarz, de la Queen Mary University of London.

“Si existe el riesgo de matar y te apropias de mucho de tu pensamiento crítico hacia un software que se encargará de estas cosas por ti, entonces solo te vuelves dependiente del software”, añadió. “Es una carrera hacia el fondo.”

En las últimas semanas, funcionarios del Pentágono han enfrentado preguntas sobre si herramientas de IA como Maven se usaron para identificar objetivos en el mortal ataque con impacto en una escuela en el pueblo iraní de Minab. Funcionarios iraníes dijeron que el ataque mató a 168 personas, incluyéndose alrededor de 110 niños, el día inicial de la guerra.

En el Congreso, varios demócratas de alto rango han pedido un escrutinio mayor de plataformas de IA como Maven. La representante Sara Jacobs - miembro del Comité de Servicios Armados de la Cámara - pidió reglas y regulaciones claramente aplicadas sobre cómo y cuándo se usan los sistemas de IA.

“Las herramientas de IA no son 100% fiables: pueden fallar de formas sutiles y, aun así, los operadores siguen confiándoles de más”, dijo a NBC News el mes pasado.

“Tenemos la responsabilidad de imponer salvaguardias estrictas sobre el uso de IA por parte de las fuerzas militares y garantizar que haya un humano en el circuito en cada decisión de usar fuerza letal, porque el costo de equivocarse podría ser devastador para los civiles y para los miembros del servicio que llevan a cabo estas misiones.”

Pero Mosley rechazó las sugerencias de que la velocidad de la plataforma de su empresa está acelerando la toma de decisiones en el Pentágono y potencialmente creando situaciones peligrosas. En su lugar, argumentó que la rapidez con la que los comandantes ahora toman acción es una “consecuencia del aumento de la eficiencia” que Maven ha habilitado.

Citando “seguridad operativa”, el Pentágono se negó a comentar cuando la BBC preguntó cómo se usarán en el futuro sistemas de IA como Maven o quién sería el responsable si algo saliera mal.

Pero los funcionarios en EE. UU. parecen estar avanzando con planes para integrar aún más a Maven en sus sistemas.

La semana pasada, la agencia de noticias Reuters informó que el Pentágono había designado a Maven como un “programa oficial de referencia” - estableciéndolo como una tecnología que se integrará a largo plazo en todo el ejército de EE. UU.

En una carta obtenida por Reuters, el subsecretario de Defensa Steve Feinberg dijo que la plataforma proporcionaría a los comandantes “las últimas herramientas necesarias para detectar, disuadir y dominar a nuestros adversarios en todos los ámbitos”.

Reporte adicional de Jemimah Herd

Inteligencia artificial

Guerra de Irán