Las empresas de ciberseguridad y los desarrolladores de modelos fundamentales están trabajando para mejorar el rendimiento y la eficiencia de sus sistemas de inteligencia artificial (IA). Sin embargo, cuantificar dicha mejora en el rendimiento sigue siendo un reto considerable. A pesar de que cada semana surgen afirmaciones sobre modelos más eficientes con menores costos de tokens, evaluar si estos modelos ofrecen un rendimiento equivalente al de otros miembros más generales de la familia de modelos de IA representa un desafío persistente. La lección para las organizaciones es clara: es fundamental probar los modelos en relación con su propio código y flujos de trabajo para hacer la mejor elección que se ajuste a sus requisitos empresariales.
Un ejemplo notable es el de Dream Group, una firma nacional especializada en IA soberana y ciberdefensa, que utilizó un conjunto de 220,000 registros de vulnerabilidades, informes de inteligencia de amenazas, reglas de detección y otros documentos de ciberseguridad para entrenar un modelo con 8,000 millones de parámetros, uno de los modelos más pequeños de la actualidad, diseñado para llevar a cabo tareas de ciberseguridad de manera eficiente. Este modelo, conocido como Mid-trained Security Transformer (MiST), mostró una mejora en el rendimiento promedio en 13 tareas de ciberseguridad, que consisten principalmente en preguntas de opción múltiple y verdadero/falso sobre análisis de vulnerabilidades y dominios de ciberseguridad.
Los resultados indican que no siempre se requieren modelos más complejos para lograr capacidades de seguridad más robustas; una formación más especializada y la incorporación de mejores complementos de software en torno al modelo pueden mejorar significativamente los resultados, según Elad Ben Zaken, investigador en IA de Dream Group. "Espero que la eficiencia siga mejorando en tareas de codificación y seguridad a través de la especialización y mejores flujos de trabajo", afirma. "El modelo proporciona la capacidad; el arnés determina cuán eficazmente utiliza el contexto y las herramientas. Aumentar cualquiera de los dos puede incrementar los costos sin necesariamente mejorar los resultados".
Dream Group no es la única entidad que busca optimizar la eficiencia de los modelos de IA. Por ejemplo, cuando Anthropic lanzó su modelo Opus 5.5 en septiembre, la empresa anunció que este modelo mejoró su rendimiento mientras que su costo era un 40% inferior al de Opus 5 en "cargas de trabajo típicas". Sin embargo, las tareas relacionadas con la ciberseguridad son todo menos típicas. Los resultados de un modelo pueden significar poco para las empresas que buscan un sistema experto capaz de generar código seguro o identificar eficazmente las debilidades en la superficie de ataque de la organización. En el ámbito ofensivo, los investigadores están desarrollando sus propios benchmarks para medir el rendimiento de los modelos enfocados en la ciberseguridad.
Para la firma de seguridad ofensiva XBOW, las métricas que realmente importan son aquellas relacionadas con la capacidad de encontrar y explotar vulnerabilidades. Dado que diferentes clientes pueden requerir el uso de modelos específicos, la empresa ha creado su propio arnés para mejorar los resultados independientemente del modelo utilizado, explica Albert Ziegler, director de IA en XBOW. Mientras que otras organizaciones pueden querer utilizar la IA para analizar telemetría defensiva y señales que mejoren la detección de ataques potenciales, las métricas de XBOW se centran en la identificación de vulnerabilidades y cadenas de explotación. "En su forma más básica, se trata de la capacidad del modelo para encontrar una explotación; eso es nuestro pan de cada día en términos de valorar lo que el modelo produce", señala Ziegler. "Para otras empresas, este pan de cada día podría ser algo totalmente distinto".
En el ámbito de la evaluación, el SEC-Bench Pro intenta medir la capacidad de un agente de IA para redescubrir y activar de manera independiente un bug de seguridad conocido en un motor de navegador o en el núcleo de Linux, pero solo después de que se especifiquen la ubicación general y el tipo de error. Creado por un equipo de investigación de la Universidad de Illinois en Urbana-Champaign, este benchmark clasifica a Codex y GPT-5.5 como los favoritos actuales, con una tasa de resolución general del 58%. También se observa que los modelos con pesos abiertos suelen tener dificultades, siendo GLM-5 capaz de resolver solo 13 de los 344 casos de prueba.
Otras métricas evalúan las capacidades de hacking de los modelos de IA a lo largo de toda una cadena de ataque. Por ejemplo, el contratista gubernamental Booz Allen ha publicado su Índice de Armas Cibernéticas (CWI), que combina la capacidad de un modelo para encontrar y explotar vulnerabilidades con su efectividad para ejecutar ataques sobre un objetivo. La última versión de esta lista sitúa a GPT-6 Astra de OpenAI en la cima con un CWI de 80.5, superando ligeramente a Claude Mythos, que obtuvo una puntuación de 80. "El CWI ofrece un enfoque empírico para evaluar la capacidad ofensiva cibernética: se testean modelos contra una red empresarial común y se puntúan las acciones demostradas utilizando evidencia de red, en lugar de depender de lo que los modelos afirman que pueden hacer", comenta Eric Syphard, vicepresidente senior y responsable de IA en Booz Allen. "No existe una única medida que capture cada riesgo de seguridad. Las evaluaciones deben diseñarse en función de la capacidad que se está evaluando y deben dejar claras sus metodologías, entornos y criterios de éxito".
De manera similar, el Instituto de Seguridad de IA del Reino Unido (AISI) continúa evaluando las capacidades de los modelos de IA para completar una cadena de ataque de 32 pasos. Hasta el momento, solo hay dos modelos que han logrado hacerlo: el Claude Mythos Preview de Anthropic y el GPT 5.5 de OpenAI.
En su propia investigación, los científicos de Dream descubrieron que la curaduría experta de una base de datos de conocimiento primaria, conocida como "corpus semilla", puede utilizarse para crear datos de entrenamiento sintéticos específicos de dominio, evitando así depender de bases de datos de conocimiento generales para entrenar modelos especializados. Los últimos modelos MiST, MiST-8B y MiST-30B-A3B, fueron evaluados utilizando 13 conjuntos de datos de prueba diferentes, que incluyen 1,072 preguntas de opción múltiple sobre MITRE ATT&CK (SECURE-MAET) y 870 preguntas de verdadero/falso sobre si un fragmento de código específico es vulnerable (el PrimeVul P-C).
En general, las diversas características, capacidades y cuestiones relacionadas son difíciles de evaluar de manera exhaustiva. Aunque las métricas de seguridad ofensiva y las mediciones de capacidades defensivas están evolucionando rápidamente, otras áreas, como la seguridad, son más complicadas de evaluar. El AISI ha encontrado que los modelos más sofisticados tienden a ejecutar acciones no deseadas, como los ataques no autorizados a la cadena de suministro realizados por GPT Astra de OpenAI, pero las mediciones de seguridad en general son más anecdóticas que completas. Crear una métrica que evalúe la probabilidad de que un modelo realice acciones no deseadas, por ejemplo, es un desafío considerable, según Ziegler de XBOW.
La evaluación de la posibilidad de que un modelo cause daños es una tarea extremadamente complicada, señala un experto en el campo. "Ejecutas [el caso de prueba para el modelo] mil veces sin que ocurra ningún daño; sin embargo, en la mil uno, puede que elimine tu base de datos. Ese mil uno anula todos los primeros mil intentos que fueron exitosos." Este fenómeno pone de manifiesto la naturaleza impredecible de los modelos de inteligencia artificial, donde un único error puede tener consecuencias devastadoras, lo que resalta la necesidad de una evaluación continua y rigurosa de su rendimiento.
Por otro lado, el hecho de que un modelo sea más reciente no implica que sea necesariamente más seguro o que cuente con capacidades de seguridad más avanzadas, advierte Joe Tyler, gerente general e investigador de IA en SonarQube, una empresa especializada en herramientas de calidad y seguridad del código. La compañía realiza pruebas frecuentes de los últimos modelos de lenguaje de gran tamaño (LLMs) a través de una tubería de pruebas para generar puntuaciones en una serie de benchmarks que evalúan desde la complejidad cognitiva hasta la aparición de vulnerabilidades en el código. Estos resultados se publican en su tabla de clasificación de LLM para Calidad y Seguridad del Código, lo que permite a las empresas tener una referencia inicial sobre el rendimiento de los modelos.
No obstante, Tyler subraya que estas clasificaciones deben considerarse como un punto de partida para las empresas que evalúan el rendimiento de seguridad de los LLM, sugiriendo que las organizaciones deben personalizar sus tuberías de prueba de acuerdo con sus propias circunstancias. "Comienza con la tarea y con los fallos que no puedes permitirte, en lugar de asumir que el modelo más nuevo es la elección correcta", aconseja. "Los benchmarks públicos ayudan a reducir la lista de candidatos, pero la decisión requiere evaluaciones que reflejen tu propio código y flujos de trabajo."
Además, para la mayoría de las organizaciones, la elección del modelo puede verse limitada por las plataformas tecnológicas que han adoptado. Por ello, los equipos de seguridad no deberían centrarse únicamente en seleccionar modelos específicos, sino más bien en buscar servicios impulsados por inteligencia artificial que ofrezcan mayor eficiencia, mejor cobertura y tiempos de respuesta más rápidos.
La adopción de la inteligencia artificial por parte de los atacantes implica que las empresas tendrán que gestionar un mayor flujo de vulnerabilidades y un tiempo de explotación más rápido, advierte Nico Waisman, CISO de XBOW. Como resultado, las organizaciones deben invertir en herramientas y procesos que permitan a los equipos de seguridad actuar con mayor rapidez, automatizar tareas repetitivas y reducir el tiempo de remediación. "El enfoque debe estar en el impacto de las soluciones basadas en IA, no en sus benchmarks crudos", enfatiza.
"En última instancia, no evaluaría las herramientas de seguridad de IA en función de qué modelo utilizan o cuán impresionantes son sus demostraciones", sostiene Waisman. "Las evaluaría en función de resultados medibles: ¿te están ayudando a identificar riesgos reales? ¿Están reduciendo tu exposición? ¿Están haciendo que tu equipo sea significativamente más rápido? Ahí es donde debería dirigirse el presupuesto de seguridad." Este enfoque orientado a resultados es fundamental para garantizar una defensa robusta en un panorama de amenazas en constante evolución.