🛡 VULNERABILIDADES 🛡

OpenAI revela un nuevo bypass de cifrado utilizado en ataques de destilación

🛡CyberObservatorio
OpenAI revela un nuevo bypass de cifrado utilizado en ataques de destilación
Idioma

OpenAI revela un nuevo bypass de cifrado utilizado en ataques de destilación

Fuente: CyberScoop

**Introducción Contextual**

La inteligencia artificial (IA) ha revolucionado numerosas industrias, desde la atención médica hasta la educación, y su desarrollo continuo suscita tanto entusiasmo como preocupación. En este contexto, la seguridad de los modelos de IA se ha convertido en un tema crucial. Recientemente, OpenAI, una de las compañías líderes en este campo, anunció que había interrumpido una operación de extracción de capacidades de razonamiento de sus modelos de IA, a la que atribuyó a un rival chino: Moonshot AI. Este incidente pone de relieve las vulnerabilidades inherentes a los sistemas de IA y plantea interrogantes sobre la ética y la seguridad en la carrera por la supremacía tecnológica.

**Detalles Técnicos**

Imagen del articulo

OpenAI detectó un aumento progresivo de actividad sospechosa, comenzando el 1 de julio de 2023 y culminando el 24 y 25 de julio con la recepción de 16,000 solicitudes de 4,000 usuarios que seguían un patrón de extracción relevante. Para el 28 de julio, el número de usuarios implicados había ascendido a 15,000, momento en el cual OpenAI afirmó haber desarticulado completamente la operación.

El método utilizado por los atacantes fue calificado por OpenAI como "nuevo". Consistía en copiar datos de razonamiento encriptados de una conversación y, posteriormente, solicitar al modelo en una conversación separada que descifrara el contenido y lo transcribiera en texto plano. Este enfoque revela una vulnerabilidad significativa en la interacción con los modelos de IA, ya que los atacantes no necesitaron romper la encriptación ni acceder directamente a las bases de datos. En cambio, manipularon las interacciones del modelo para reproducir razonamientos protegidos de manera que fueran visibles para el solicitante, lo que contraviene los términos de servicio de OpenAI. Cabe mencionar que investigadores externos habían informado a OpenAI sobre una vulnerabilidad similar en agosto.

**Datos Factuales**

El incidente involucra a Moonshot AI, una empresa rival de inteligencia artificial con sede en China, que ha sido acusada previamente de destilar modelos de IA de Estados Unidos. Las empresas de IA y el gobierno estadounidense han denunciado ataques de destilación "sistemáticos" contra sus modelos más recientes, sugiriendo que las compañías chinas, como Moonshot AI, recurren a mercados negros o grises para adquirir miles de cuentas individuales de modelos como Claude y ChatGPT. Mediante la inundación de estos modelos con millones de solicitudes, logran copiar capacidades y datos de entrenamiento.

OpenAI, en su publicación de blog, no proporcionó evidencias técnicas ni razonamientos específicos que respaldaran su atribución a Moonshot AI. Esto plantea interrogantes sobre la transparencia y la veracidad de las afirmaciones realizadas. Además, la empresa indicó que la misma vulnerabilidad podría existir en otros modelos de IA y ha compartido información sobre el incidente con grupos como el Frontier Model Forum.

**Impacto y Consecuencias**

El impacto de este tipo de ataques es considerable, tanto para los usuarios como para las empresas del sector. La capacidad de copiar y replicar las funcionalidades de un modelo de IA puede llevar a una competencia desleal y a la proliferación de modelos de menor calidad que no respetan los estándares éticos y de seguridad. Esto no solo afecta a la integridad de los modelos de IA, sino que también genera preocupaciones sobre la protección de datos y la privacidad de los usuarios.

Las medidas adoptadas por OpenAI, que incluyen la prohibición de cuentas implicadas, mejoras en el control de registros y en la infraestructura, así como una mayor supervisión de la red, son pasos importantes para mitigar estos riesgos. Sin embargo, la naturaleza evolutiva de las amenazas cibernéticas significa que las empresas deben estar en constante vigilancia y actualización de sus sistemas de seguridad.

**Contexto Histórico**

El incidente con OpenAI no es un caso aislado. A lo largo de los años, hemos visto cómo las empresas de tecnología han sido blanco de ataques destinados a robar datos y capacidades. La creciente sofisticación de los métodos utilizados por los atacantes refleja una tendencia alarmante en el ámbito de la ciberseguridad. Esto incluye la manipulación de interacciones en plataformas de IA, una táctica que se ha vuelto cada vez más común en un entorno donde la información y la capacidad de razonamiento son cada vez más valiosas.

**Recomendaciones**

Para protegerse contra estos tipos de ataques, las empresas de IA deben implementar medidas de seguridad robustas, incluidas prácticas de cifrado avanzadas y sistemas de detección de anomalías en tiempo real. Además, fomentar una cultura de seguridad cibernética dentro de la organización, donde los empleados sean capacitados para reconocer y responder a amenazas potenciales, es vital. La colaboración con grupos de investigación y la participación en foros de seguridad pueden proporcionar a las empresas una ventaja adicional en la identificación y mitigación de riesgos emergentes.

En conclusión, el reciente incidente de OpenAI destaca la importancia de la seguridad en el ámbito de la inteligencia artificial y la necesidad de estar siempre un paso adelante en la defensa contra las amenazas cibernéticas.

OpenAI reveals ‘novel’ encryption bypass used in distillation attack

Source: CyberScoop

OpenAI said it disrupted a “coordinated campaign” to distill and extract reasoning capabilities from its AI models, pointing the finger at a Chinese rival. On Wednesday, OpenAI said it first spotted low-level activity on July 1 that gradually increased until July 24 and 25, when it observed 16,000 prompts from 4,000 users that fit a similar “relevant extraction pattern.” The number of suspicious users had climbed to 15,000 by July 28, when OpenAI said it “fully disrupted” the operation. The company called the attackers’ method “novel.” They copied encrypted reasoning data from one conversation, then asked the model in a separate conversation to decrypt the content and transcribe it in plain text. Outside researchers reported a similar vulnerability to OpenAI in August. “The operators did not break our encryption, compromise a database, or gain direct access to stored user conversations,” OpenAI wrote in an unsignedblog post. “Instead, they manipulated model interactions so that protected reasoning could be reproduced in forms visible to the requester in a coordinated, scaled manner that violated our terms of service.” OpenAI said it’s unclear whether all the activity is related, but individuals working on behalf of Moonshot AI, a China-based rival AI company that has, in the past, been accused of distilling U.S. models, were behind a “core cluster” of the activity. OpenAI’s blog post does not cite any technical evidence or reasoning for its attribution. Moonshot AI’s Kimi is one of several Chinese open-source AI models that are offering users and organizations good-enough performance for free or at a low cost. AmericanAI companiesand the U.S. governmenthave accusedChinese companies like Moonshot AI of conducting“systematic” distillation attackson their latest models. Cybersecurity experts at Google and other cybersecurity firms say Chinese companies rely on black or gray markets to acquire thousands of individual accounts for models like Claude and ChatGPT. They then flood those models with millions of prompts and data requests that help them copy model capabilities and training data. OpenAI told CyberScoop that it was not sharing any additional information “for security reasons.” CyberScoop has reached out to Moonshot AI for further comment. According to OpenAI, the same vulnerability exists in other AI models, and it has shared information about the incident with groups like the Frontier Model Forum. Beyond banning offending accounts, OpenAI said it improved signup and infrastructure controls and expanded network monitoring. It also fixed a bug that allowed users to take encrypted data from one conversation and decrypt it in another. The postOpenAI reveals ‘novel’ encryption bypass used in distillation attackappeared first onCyberScoop.

OpenAI revela un nuevo bypass de cifrado utilizado en ataques de destilación | Ciberseguridad - NarcoObservatorio