🛡 VULNERABILIDADES 🛡

Las alucinaciones de IA casi provocan una confrontación militar entre EE. UU. y China.

🛡CyberObservatorio
Las alucinaciones de IA casi provocan una confrontación militar entre EE. UU. y China.
Idioma

Las alucinaciones de IA casi provocan una confrontación militar entre EE. UU. y China.

Fuente: Security Affairs

**La Amenaza de la Inteligencia Artificial en Operaciones Militares: Un Incidente que Casi Provoca un Conflicto**

En el contexto actual de crecientes tensiones geopolíticas, la intersección entre la inteligencia artificial (IA) y las operaciones militares se ha vuelto un tema crucial. Recientemente, un incidente alarmante reveló cómo un malentendido basado en IA podría haber desencadenado un enfrentamiento entre Estados Unidos y China. Esta situación pone de manifiesto no solo los riesgos inherentes a la adopción acelerada de tecnologías avanzadas, sino también la falta de protocolos robustos para garantizar la veracidad de la información generada por estas herramientas.

Según un reportaje de CNN, un informe de inteligencia circuló entre las fuerzas armadas estadounidenses afirmando que un buque chino en el Medio Oriente transportaba componentes para un programa de armas nucleares. Este aviso generó una respuesta inmediata, con equipos armados listos para abordar la embarcación y aviones militares ya en el aire. Sin embargo, tras una revisión del origen de esta información, se determinó que el reporte era "totalmente falso", lo que casi provoca una operación militar que podría haber escalado las tensiones entre las dos potencias.

Imagen del articulo

El incidente se originó cuando un analista del Comando de Operaciones Especiales del Pacífico utilizó un chatbot para analizar la carga de un buque. La IA, al combinar información de fuentes abiertas con inteligencia de señales clasificada, llegó a una conclusión errónea sobre el cargamento. Este analista luego utilizó nuevamente la inteligencia artificial para convertir esa conclusión equivocada en un informe formal.

Este caso resalta un peligro real de las "alucinaciones" de la IA en el ámbito militar y de inteligencia: una respuesta incorrecta puede difundirse rápidamente a través del sistema si no se detiene a verificarla. Según una fuente anónima, las herramientas internas utilizadas por los analistas militares son, en su mayoría, copias de software comercial, lo que pone en duda su efectividad en situaciones críticas.

Este tema es especialmente relevante dado que el Pentágono ha estado presionando para integrar modelos de IA en las manos de tres millones de personas, tanto militares como civiles, en todos los niveles de clasificación. La estrategia de aceleración de IA del Secretario de Defensa, Pete Hegseth, busca eliminar barreras burocráticas y acelerar la experimentación. Sin embargo, parece que no se ha considerado lo que sucede cuando un modelo es incorrecto pero se presenta con confianza.

La aplicación de la IA en las diferentes ramas militares no es consistente; cada una utiliza diversas herramientas, sigue distintos protocolos y realiza diferentes controles de seguridad. Además, no existe un sistema común para verificar la corrección de la información producida por estas herramientas. Según fuentes, este incidente no fue aislado, y errores similares de IA ya se han presentado en otras áreas de la comunidad de inteligencia.

Un problema más amplio radica no solo en la tecnología en sí, sino en la presión por utilizarla rápidamente. Los analistas más jóvenes, que han crecido con herramientas de IA, pueden estar más inclinados a confiar en sus respuestas sin una verificación exhaustiva. Como dijo una fuente: "La IA te permite llegar a una mala idea más rápido."

Este resumen de riesgos se encapsula en una frase contundente: la velocidad, que debería ser un beneficio, se convierte en el factor que elimina el último punto de control donde un humano podría detenerse y cuestionar la veracidad de la información.

Las decisiones de selección de objetivos son uno de los aspectos más críticos para la IA militar, ya que determinan quién es atacado y quién no. La velocidad de la IA puede convertirse en un problema si no hay suficientes controles para verificar sus conclusiones antes de que se tomen medidas. Una fuente destacó que todavía no existe una orientación clara sobre cómo un operador humano debería prevenir bajas civiles o incidentes de fuego amigo cuando la IA está fuertemente involucrada en la selección de objetivos. El mayor riesgo puede no ser un sistema de IA actuando de manera autónoma, sino una respuesta incorrecta y confiada que llega a los tomadores de decisiones antes de que alguien tenga tiempo de desafiarla.

En operaciones militares, la rapidez es crucial, pero igual de importante es contar con personas que puedan detenerse y cuestionar: ¿es esta información realmente correcta?

Este incidente no solo plantea interrogantes sobre la efectividad de los sistemas de IA en el ámbito militar, sino que también invita a una reflexión más profunda sobre el manejo de la tecnología en contextos de alta tensión geopolítica. En un mundo donde la información se mueve a la velocidad de la luz, la verificación y la prudencia son más esenciales que nunca.

Pierluigi Paganini es un reconocido autor y experto en ciberseguridad, que aborda la intersección del hacking y la inteligencia artificial. Su trabajo subraya la importancia de un enfoque crítico y metódico en el uso de tecnologías avanzadas en la defensa y la seguridad nacional.

AI Hallucinations Nearly Triggered a US-China Military Confrontation

Source: Security Affairs

According to CNN, four sources familiar with the episode say an intelligence report circulated through the military claiming a Chinese vessel in the Middle East was carrying components for a nuclear weapons program. The response was immediate. Armed boarding teams were preparing to move in, and military planes were already in the air. “The intelligence report, circulated across the US military this spring in the midst of the war with Iran, immediately set off alarm bells: A Chinese ship in the Middle East was transporting components of a nuclear weapons program.” reads thereportpublished by CNN. “The US military swung into action with plans to intercept the vessel, according to four sources familiar with the episode. According to two of the sources, armed members of the US military were preparing to board the ship. Military planes were in the air, one of those sources and another source familiar with the incident said.” Then someone checked the source. The report was described by a source as “entirely false” and reportedly came close to triggering an armed operation, with the potential to escalate tensions between the US and China. “The report, according to one of the sources, was “entirely false.” continues the report. “But it also “almost started a war,” the source said. Any US operation against a Chinese vessel could have risked spiraling into an armed conflict between the two nations.” The incident began when an analyst at Special Operations Command Pacific asked a chatbot to analyze intelligence about the ship’s manifest. The system combined open-source information with classified signals intelligence and produced a wrong conclusion about the cargo. The analyst then used AI again to turn that conclusion into a formal intelligence report. Two AI passes, zero verification in between. The case shows the real danger of AI hallucinations in military and intelligence work: a wrong answer can move quickly through the system when nobody stops to verify it. “The internal tools are mostly just copies of the commercial stuff wearing lipstick,” a former senior US official familiar with the AI systems used by military and intelligence analysts told CNN. Which matters, because the Pentagon has been pushing hard in the other direction. Defense Secretary Pete Hegseth’s January “Artificial Intelligence Acceleration Strategy” explicitly aims to put AI models directly into the hands of three million military and civilian personnel, across every classification level. The strategy talks about eliminating bureaucratic barriers and accelerating experimentation. Nobody in that strategy seems to have planned for what happens when the model is confidently wrong. The way AI is being used across the military is still far from consistent. Different branches use different tools, follow different rules and apply different safety checks. There is also no common system for verifying whether the information produced by these tools is correct. According to one source, this was not an isolated case, and similar AI errors have already appeared elsewhere in the intelligence community. The bigger problem may not be the technology itself, but the pressure to use it quickly. Younger analysts, who have grown up with AI tools, may be more likely to trust their answers without checking them carefully. As one source put it: “AI allows you to get to a bad idea faster.” That’s the whole risk, compressed into eight words. Speed was supposed to be the benefit. Instead it’s the thing removing the last checkpoint where a human might have paused and asked whether the machine actually got it right. Targeting decisions are one of the most sensitive areas for military AI because they can determine who is attacked and who is not. The speed of AI can become a problem when there are not enough checks to verify its conclusions before action is taken. One source noted that there is still no clear guidance on how a human operator should prevent civilian casualties or friendly-fire incidents when AI is heavily involved in selecting targets. The biggest risk may not be an AI system acting on its own, but a confident and incorrect answer reaching decision-makers before anyone has time to challenge it. In military operations, speed matters, but so does having someone able to stop and ask a simple question: is this information actually correct? Follow me on Twitter:@securityaffairsandFacebookandMastodon Pierluigi Paganini (SecurityAffairs– hacking, AI Hallucinations)

Las alucinaciones de IA casi provocan una confrontación militar entre EE. UU. y China. | Ciberseguridad - NarcoObservatorio