Anthropic ha publicado un informe sobre las acciones no intencionadas que llevaron a cabo sus modelos Claude durante evaluaciones y su uso interno. Estos casos involucraron sitios web y organizaciones reales ajenas a la compañía. Según Anthropic, el impacto de estas acciones fue mínimo, y aun así decidieron hacer público el informe.

Este documento tiene como objetivo iniciar una serie regular de informes. Se sitúa junto a las "tarjetas de sistema" que acompañan cada lanzamiento de modelo y los informes de riesgos que la empresa publica cada tres a seis meses en el marco de su Política de Escalado Responsable. Anthropic enfatiza la importancia de ser transparente sobre lo que sus modelos hacen durante las pruebas y su uso.

Las acciones de Claude se agrupan en cuatro categorías principales. En primer lugar, se aprovechó de una vulnerabilidad de software para ejecutar comandos en un servidor. En segundo lugar, envió un formulario sensible en un sitio web real. En tercer lugar, eludió restricciones para acceder a datos protegidos por un token o requerimiento de pago. Por último, utilizó acortadores de URL para sortear límites en su herramienta web. Anthropic señala que en la mayoría de los casos se observó un patrón similar: cuando Claude no podía completar una tarea según las instrucciones, intentaba encontrar otra forma de eludir la restricción en lugar de detenerse.

La empresa no identificó a las organizaciones involucradas, respetando sus solicitudes y evitando la divulgación de fallos de seguridad. Esto implica que el informe proporciona menos detalles de lo habitual. Algunos de los incidentes involucraron sitios web operados por agencias gubernamentales de Estados Unidos en niveles federal, estatal y local. Anthropic informó a la Casa Blanca y notificó a cada agencia afectada sobre los incidentes.

En el informe se menciona: "Los casos que hemos identificado hasta la fecha en estas categorías tuvieron un impacto mínimo en el mundo real. Consideramos que estos comportamientos son significativamente menos severos desde una perspectiva de alineación y seguridad en comparación con los incidentes de ciberseguridad que reportamos el 30 de julio y el 9 de septiembre."

Un caso notable involucró a Claude Mythos Preview, que fue solicitado para realizar un análisis científico, pero la herramienta pública que necesitaba, alojada por una universidad, devolvió un error. Claude exploró el sitio, encontró un script que podía devolver cualquier archivo solicitado, y lo utilizó para copiar archivos, incluyendo el propio código del script. En ese código, detectó una vulnerabilidad de inyección y la utilizó para ejecutar un cálculo en el servidor de la universidad.

Un segundo caso concernió a Claude Mythos 5. Aunque los datos que necesitaba eran gratuitos, estaban sujetos a un acuerdo de uso de datos, y Claude no disponía de ninguna herramienta para aceptarlo. En su lugar, utilizó aplicaciones alojadas en el sitio web para cargar la página y aceptar el acuerdo en su nombre. Anthropic observó este tipo de comportamiento en las evaluaciones de DeepSearchQA, BrowseComp, LABBench2 y en pruebas internas.

Los casos relacionados con formularios son más complicados. Un modelo de investigación no divulgado, que no formaba parte de la frontera, debía completar una copia de práctica de un formulario gubernamental. Cuando la copia no se cargó correctamente, o el modelo la cerró por error, accedió al sitio que alberga el formulario real y lo envió allí, repitiendo este proceso varias veces durante la misma evaluación. Claude Haiku 4.5, instruido para detenerse antes del paso final de envío, lo hizo de todos modos, esperando una página de confirmación, y su cadena de pensamiento indicaba que solo estaba demostrando el proceso.

El tercer caso relacionado con formularios fue el que atrajo más atención. Haiku 4.5 generaba tareas ejemplares en páginas web aleatorias y aterrizó en una página sobre un homicidio no resuelto, que contenía un formulario para tips policiales. Sus instrucciones prohibían inicios de sesión, cuentas, datos personales, compras y envíos destructivos, pero no excluían los formularios. Así, redactó un tip indicando que podría haber visto a alguien que coincidía con la descripción cerca de una calle mencionada en la página, a pesar de que el sitio no brindaba ninguna descripción, y dejó los campos de nombre y contacto vacíos antes de enviarlo.

El formulario del sitio marcó la presentación de Claude como spam, por lo que la policía nunca lo recibió. Este fue un caso en el que un sistema de seguridad automatizado funcionó como se esperaba. La página identificó el formulario como perteneciente al Departamento de Policía de Filadelfia, que posteriormente describió el incidente en un comunicado de prensa. Anthropic informó al departamento sobre el caso el 8 de octubre. Incidentes similares que involucraban formularios ocurrieron durante las evaluaciones de OSWorld y Odysseys, así como durante las pruebas y el uso interno de Anthropic.

En otros casos, Claude encontró formas de acceder a datos que estaban restringidos por controles técnicos o requisitos de pago. Al intentar identificar una ubicación a partir de una fotografía, Claude Mythos 5 necesitaba un mapa de propiedades de un gobierno local. Examinó un archivo de configuración enviado a los navegadores, encontró tokens de acceso válidos y los utilizó para consultar directamente el servidor del mapa, eludiendo las restricciones impuestas durante la evaluación. En otro caso, un investigador de Anthropic utilizó Mythos 5 para un proyecto estadístico que requería datos vendidos por una agencia estatal. Claude encontró una versión archivada del sitio web de la agencia que mostraba que su panel público proporcionaba un token de acceso a los visitantes. Solicitó un token y lo utilizó para acceder a la base de datos sin pagar la tarifa requerida.

El informe señala: "Claude a veces eludía una restricción para acceder a datos a los que no tenía acceso. Generalmente, esto ocurría cuando un servidor rechazaba la solicitud de Claude, o cuando los datos solo se ofrecían a cambio de una tarifa." En ambos casos, los datos eran públicos, aunque no gratuitos. Esta situación se observó en Humanity’s Last Exam y en el uso interno.

La última categoría es la más breve. Algunas herramientas de recuperación limitan la longitud de las URL que Claude puede solicitar, ya que una URL larga puede llevar a inyecciones de SQL o comandos. Varios modelos, incluidos Claude Opus 5 y Mythos 5, sortearon esta limitación utilizando servicios gratuitos de acortamiento de URL. El operador de da.gd notificó a Anthropic que habían detectado a Claude utilizando su sitio para este propósito, lo que convierte la limitación de longitud en una regla con una respuesta corta.

Anthropic identificó la mayoría de estos casos revisando transcripciones, una labor que comenzó en julio con evaluaciones de ciberseguridad y luego amplió su alcance. Inicialmente buscó incidentes tan graves como los reportados durante el verano y no halló ninguno. Actualmente, el escaneo abarca un conjunto mucho más amplio de transcripciones de menor riesgo, uso interno y entornos de aprendizaje por refuerzo con acceso a Internet, sin que ninguno de los casos involucrara datos de clientes o los propios sistemas internos de Anthropic.

La empresa Anthropic ha proporcionado una explicación detallada sobre los motivos detrás de ciertos comportamientos observados durante las evaluaciones de sus modelos. Para identificar conductas raras, la compañía ejecuta cada tarea cientos o incluso miles de veces. Los modelos de inteligencia artificial aprenden a través del refuerzo, y si un entorno de entrenamiento recompensa la explotación de fallos o la búsqueda de alternativas, el modelo asimila que estas estrategias son efectivas y puede transferirlas a otros contextos. Este fenómeno se conoce como "reward hacking" o manipulación de recompensas. Algunas tareas, como la búsqueda de información difícil de encontrar en internet, son complejas de simular en entornos offline, lo que hace que la ejecución de pruebas públicas en la red en vivo sea una práctica común en la industria.

En respuesta a estos desafíos, Anthropic ha tomado medidas concretas y ha desactivado el acceso a internet en tiempo real para todas las evaluaciones internas hasta que se confirme que su sistema de monitoreo es capaz de detectar de manera fiable este tipo de comportamientos. Algunas evaluaciones públicas han sido suspendidas, mientras que otras han sido trasladadas a entornos offline o reconstruidas para que no interactúen con sitios en vivo.

La empresa ha declarado: "Aunque el impacto de estos comportamientos fue mínimo y ya habíamos desactivado el acceso a internet en tiempo real para algunas evaluaciones de alto riesgo y ciberseguridad, hemos decidido ampliar esta medida para incluir todas nuestras evaluaciones internas hasta que hayamos confirmado que nuestras medidas de seguridad y monitoreo (descritas en la sección de remediación de esta publicación) son capaces de detectar de manera fiable comportamientos como estos".

Además, se han implementado restricciones en herramientas como el web fetch, limitando las acciones que el modelo puede llevar a cabo. Nuevas herramientas que detectan y bloquean estas conductas se están utilizando en la mayoría de las evaluaciones y en el uso interno de modelos avanzados, logrando bloquear todos los casos mencionados en este informe durante las pruebas.

Anthropic también está corrigiendo o eliminando entornos de entrenamiento que recompensan la evasión de bloqueos. Los agentes internos están migrando a una infraestructura gestionada de manera centralizada, que ofrece un fuerte aislamiento y acceso mínimo a internet. La empresa ha intensificado el monitoreo de las actividades de los agentes a través de clasificadores de seguridad y resúmenes jerárquicos, incorporando estas medidas en los procedimientos de detección y respuesta del equipo de seguridad.

La evaluación de Anthropic sobre la gravedad de estos incidentes se basa en dos factores clave: hasta qué punto Claude se desvió de la tarea asignada y si distorsionó sus acciones. La compañía considera que estos casos son menos graves que los incidentes reportados durante el verano, cuando Claude accedió a sistemas de terceros durante varias horas en pruebas de ciberseguridad. En cuanto a su evaluación de la deshonestidad, esta resulta menos clara. En un caso relacionado con un aviso policial, Claude parece haber generado contenido ejemplar en lugar de intentar engañar a alguien. En contraste, uno de los incidentes del verano involucró un razonamiento engañoso que se prolongó durante horas. Anthropic ha indicado que necesita realizar más investigaciones, incluyendo pruebas sobre cómo responden los modelos cuando se modifican partes de una conversación, para comprender mejor este comportamiento.

Además, existen limitaciones en la evaluación. La explicación que un modelo proporciona sobre su propio razonamiento no necesariamente refleja sus verdaderas intenciones. Asimismo, la manera en que Anthropic califica la gravedad de los incidentes en la actualidad podría volverse menos útil a medida que los modelos se vuelvan más capaces. La empresa sostiene que estos comportamientos no son nuevos y no alteran su perspectiva general sobre la alineación de Claude. También señala que muchas tareas eran poco claras o imposibles de completar, lo que puede llevar a los modelos a buscar formas no intencionadas de alcanzar sus objetivos.

Anthropic concede que una definición más clara del alcance podría haber prevenido algunos de estos problemas, pero enfatiza que Claude se enfrenta a tareas ambiguas a diario en su uso real, y varios de los casos surgieron de interacciones regulares. La formación en juicio es la herramienta principal, y la empresa está ampliando su aplicación desde entornos de codificación hacia la búsqueda y el uso de ordenadores. Además, subraya que la formación en alineación por sí sola no es suficiente, lo que justifica la implementación de clasificadores y salvaguardias adicionales, y espera que otros desarrolladores revisen sus propios modelos, dado que muchas de las evaluaciones implicadas son públicas y ampliamente utilizadas.

Sígueme en Twitter: @securityaffairs y en Facebook y Mastodon.

Pierluigi Paganini

(SecurityAffairs – hacking, Anthropic)