🛡 VULNERABILIDADES 🛡

Trump y gigantes tecnológicos firman acuerdo voluntario de seguridad en IA.

🛡CyberObservatorio
Trump y gigantes tecnológicos firman acuerdo voluntario de seguridad en IA.
Idioma

Trump y gigantes tecnológicos firman acuerdo voluntario de seguridad en IA.

Fuente: Dark Reading

**Compromiso de las Empresas de IA para Aumentar la Seguridad en el Desarrollo de Sistemas de IA Avanzada**

La reciente firma de un acuerdo voluntario por parte de los líderes de seis importantes empresas de inteligencia artificial (IA) con el presidente Donald Trump marca un hito significativo en la búsqueda de un desarrollo más seguro de los sistemas de IA de frontera. Este pacto, conocido como el "Acuerdo de la Casa Blanca sobre Superinteligencia", busca establecer salvaguardias más contundentes en un momento en que el avance de la IA plantea serios desafíos éticos y de seguridad, tanto a nivel individual como colectivo.

Este acuerdo involucra a empresas destacadas en el sector de la IA, como OpenAI, Google, Meta, Nvidia, xAI y Anthropic. La importancia de esta iniciativa radica en que se produce en un contexto de creciente preocupación por la seguridad de la IA. Las advertencias de ejecutivos de estas compañías sobre los riesgos asociados con sistemas de IA cada vez más capaces han generado un debate sobre el potencial uso indebido de la tecnología, que abarca desde ciberataques hasta la implementación de IA en áreas sensibles como la investigación química y la infraestructura crítica, donde un error o uso malintencionado podría tener consecuencias devastadoras.

Uno de los puntos más destacados de este acuerdo es su naturaleza voluntaria. No se imponen plazos específicos para la implementación de las medidas de seguridad, lo que deja a las empresas la responsabilidad de fortalecer sus prácticas sin presión regulatoria inmediata. Esta postura ha sido respaldada por Trump, quien ha manifestado su desacuerdo con las demandas de controles más estrictos que podrían ralentizar el desarrollo de sistemas de IA más avanzados, argumentando que Estados Unidos necesita avanzar rápidamente para mantener su liderazgo tecnológico frente a China.

El acuerdo enfatiza que, aunque actualmente es voluntario, "con el tiempo, puede tener sentido convertir estos pasos en leyes o regulaciones". Asimismo, se subraya que implementar controles y auditorías es crucial para garantizar un futuro seguro para todos. Este marco de supervisión en cuatro partes para los laboratorios de IA de frontera incluye la creación de controles internos que monitoricen las capacidades de los modelos durante su entrenamiento y despliegue, con un enfoque especial en riesgos como la ciberseguridad y la bioseguridad.

Mientras que el acuerdo ha sido recibido con optimismo por algunos expertos en seguridad, también se ha señalado que no aborda suficientemente las preocupaciones subyacentes. Ellen Boehm, vicepresidenta senior de estrategia e innovación en IA en Keyfactor, sostiene que la rapidez del desarrollo de la IA exige una colaboración más estrecha entre gobiernos e industria para establecer estándares que fomenten la confianza pública en el uso de esta tecnología. Propone que, en lugar de esperar a que se establezcan regulaciones, es preferible que las empresas adopten de manera voluntaria prácticas de gestión de riesgos y auditorías a medida que los sistemas de IA se vuelven más capaces.

Sin embargo, la naturaleza voluntaria del acuerdo ha sido criticada por especialistas como Ted Miracco, CEO de Approv. Él considera que un marco de auditoría de cuatro capas puede parecer razonable, pero la falta de cumplimiento vinculante y supervisión técnica independiente convierte la autoevaluación de las empresas en un ejercicio de "teatro de seguridad". La falta de mecanismos de supervisión obligatorios podría derivar en una situación en la que las empresas se evalúen a sí mismas sin una revisión objetiva.

Jacob Krell, director senior de soluciones de IA seguras y ciberseguridad en Suzu Labs, también apunta a una debilidad crítica del acuerdo: permite que cada una de las seis empresas elija su propio método de evaluación sin criterios claros de acreditación, acceso o publicación. Esta situación se ejemplifica con la investigación de Hugging Face realizada por Model Evaluation and Threat Research (METR) y Redwood Research, que destacó la falta de independencia en el proceso de evaluación.

La efectividad del pacto dependerá en gran medida de su implementación, según Aviv Nahum, cofundador y CEO de Above Security. El acuerdo reconoce que la seguridad de la IA no puede depender únicamente de un equipo evaluando su propio trabajo. Un sistema de monitoreo interno, una revisión adicional interna, evaluaciones independientes y supervisión de la junta pueden ayudar a identificar problemas y garantizar su resolución. Sin embargo, la auditoría externa solo tendrá un impacto significativo si el evaluador es genuinamente independiente y tiene acceso técnico suficiente para realizar pruebas adecuadas. Actualmente, el hecho de que el acuerdo sea voluntario, sin plazos o requisitos de informes públicos, plantea un gran desafío entre la aceptación de la estructura y la demostración de su efectividad.

En conclusión, aunque el acuerdo entre estas potentes empresas de IA puede ser un paso inicial hacia una mayor seguridad en el desarrollo de tecnologías avanzadas, queda por ver cómo se ejecutará y si realmente se traducirá en prácticas efectivas que garanticen un uso seguro y ético de la inteligencia artificial en el futuro.

Trump, Tech Giants Strike Voluntary AI Safety Accord

Source: Dark Reading

The leaders of six major AI companies have committed to implement stronger safeguards around the development of frontier AI systems under a voluntary agreement signed with President Donald Trump this week. TheWhite House Accord on Super Intelligencecalls on the companies to establish internal safety controls, subject those measures to independent audits, and give their boards greater oversight of AI safety and security. The six companies are OpenAI, Google, Meta, Nvidia, xAI, and Anthropic. The joint commitment on frontier responsibilities is entirely voluntary and does not impose specific implementation deadlines on the participating companies. It comes amidgrowing concerns about AI safety, including warnings from executives at leading AI companies about the potential risks posed by increasingly capable frontier systems. The concerns range from potential misuse of AI for cyberattacks to the risks of deploying AI systems in sensitive areas such as chemical research,critical infrastructure,and other industries where errors or malicious use could have drastic consequences. Trump himself has publicly pushed back against calls for stronger AI safety guardrails that could slow the development of more capable AI systems, arguing that the US needs to move quickly to maintain its lead over China in the technology. With the accord, the White House is taking an approach that puts the onus on the companies themselves to strengthen safety practices without imposing mandatory requirements, at least for the moment. "Over time, it may make sense to codify these steps into laws or regulations,” the accord noted. "Regardless of whether that is required of companies, we believe that implementing these controls and audits is critical to ensuring a safe future for everyone." The accord outlines a four-part oversight framework for the participating frontier AI labs. The first calls for internal controls that monitor a model's capabilities during training and deployment, with particular attention to risks like cybersecurity, biosecurity, and chemical threats. The second calls for the creation of a dedicated internal team for ensuring those controls are functioning as intended and that problems get fixed. The third calls for an independent external auditor to separately verify the internal controls, while the fourth designates an independent board committee to oversee the process and to ensure issue resolution. Security experts generally perceived the accord as a positive step that, however, doesn't go far enough. The rapid pace of AI development makes it important for governments, industry, and others to work together on standards and practices that build public trust in how the technology is used, says Ellen Boehm, senior vice president, strategy and AI innovation at Keyfactor. Rather than waiting for regulation, it's a good idea to get companies to voluntarily put risk management, audits, and established cybersecurity practices in place as AI systems become more capable. "Companies aren’t trying to build uncontrollable AI intentionally, and it's hard to say that the technology will behave as intended," Boehm says. "This accord is just a starting point. From what I've seen, most people will be on board to support. It’s just how we evolve from here and put actual programs in place — and will it be fast enough?" she asks. The problem, according to Ted Miracco, CEO of Approv, is the voluntary nature of the agreement. "A four-layer audit structure appears reasonable, but voluntary compliance and internal board oversight amount to security theater," he says. "Without any binding enforcement and genuinely independent technical oversight, asking tech companies to police their own super-intelligence development is essentially grading their own homework." Jacob Krell, senior director of secure AI solutions and cybersecurity at Suzu Labs, says the accord's major weakness is that it allows each of the six companies to choose its own evaluation without saying anything about accreditation, method, access, scope, or publication. "The Hugging Face investigation by Model Evaluation and Threat Research (METR) and Redwood Research shows the problem," he says. METR reviewed about 1,300 transcripts over six days, but it was OpenAI that set the investigation window, supplied the datasets,controlled infrastructure access, and could redact non-public material. METR also used GPT-5.6 Sol to process much of the material. "They documented those limits," he says. "The work was serious. OpenAI still set the boundary." How effective (or not) the pact will be depends on implementation, says Aviv Nahum, co-founder and CEO at Above Security. What’s meaningful about the accord is that it recognizes AI safety cannot depend on one team grading its own work. Internal monitoring, a second layer of internal review, independent evaluation, and board oversight can all help identify problems and ensure remediation. However, "an external audit only means something if the evaluator is genuinely independent, has enough technical access to test the system properly, and identified problems actually have to be remediated," Nahum says. "Today the accord is voluntary, with no deadline or public reporting requirement, so there is still a large difference between agreeing to the structure and proving that the structure works."

Trump y gigantes tecnológicos firman acuerdo voluntario de seguridad en IA. | Ciberseguridad - NarcoObservatorio