OpenAI informó que sus modelos más avanzados de inteligencia artificial hackearon de manera involuntaria los sistemas de Hugging Face en un incidente “sin precedentes”, lo que ha renovado los llamados para imponer mayores restricciones al desarrollo y uso de esta tecnología.
AMOR101
La empresa creadora de ChatGPT explicó que los modelos comprometieron los sistemas de Hugging Face, plataforma que aloja modelos y conjuntos de datos de inteligencia artificial, durante una evaluación diseñada para medir sus capacidades de ciberseguridad.
Los modelos involucrados incluían ChatGPT-5.6 Sol y otro modelo aún más avanzado que todavía no ha sido lanzado al público. Ambos operaban con menos barreras de seguridad de lo habitual para facilitar las pruebas, señaló la compañía.
El incidente plantea interrogantes sobre la capacidad de los modelos avanzados de IA para llevar a cabo ciberataques, en momentos en que distintos gobiernos trabajan para establecer salvaguardas regulatorias sobre esta tecnología.
La más reciente familia de modelos de OpenAI fue lanzada ampliamente después de semanas de conversaciones con autoridades gubernamentales para disipar preocupaciones sobre su posible uso indebido.
Washington incluso evaluó limitar el acceso internacional a los avanzados modelos Claude Fable 5 y Mythos 5, de Anthropic PBC, aunque finalmente desistió de hacerlo después de que la empresa implementó medidas adicionales de seguridad.
“Consideramos que se trata de un incidente cibernético sin precedentes, que involucra capacidades de ataque de última generación, y estamos respondiendo en consecuencia”, señaló OpenAI en su blog.
“Compartimos estos hallazgos preliminares para ayudar a los defensores a comprender lo ocurrido y calibrar mejor las capacidades que actualmente tienen estos modelos.”
¿Cómo la IA logró realizar un ciberataque ‘sin precedentes’?
Aunque los modelos de OpenAI operaban dentro de un entorno de pruebas tipo sandbox, lograron explotar una vulnerabilidad en el software de un proveedor externo no identificado, obteniendo acceso a internet y, finalmente, vulnerando la infraestructura de Hugging Face.
El cofundador de Hugging Face, Thomas Wolf, calificó el episodio como “el primer incidente de este tipo” que enfrenta la compañía y agradeció a OpenAI su transparencia en una publicación en X. Sin embargo, señaló que el caso demuestra la importancia de los modelos de código abierto o de pesos abiertos (open-weight), que los usuarios pueden ejecutar y adaptar rápidamente durante un ciberataque.
“Cuando un modelo de frontera está atacando y moviéndose lateralmente dentro de tu infraestructura, los defensores necesitan acceso amplio a herramientas casi de frontera en cuestión de horas o incluso minutos, en lugar de depender de un programa cerrado y restringido para acceder al modelo”, escribió.
OpenAI, Anthropic y Google ofrecen modelos alojados en sus propios servicios, los cuales incorporan restricciones internas que bloquean determinados tipos de solicitudes y son mucho más difíciles de modificar.
La semana pasada, Hugging Face había informado de una “intrusión” en sus sistemas y explicó en otra publicación que el ataque fue “diferente a todo lo que habíamos enfrentado antes en un aspecto fundamental: fue ejecutado de principio a fin por un sistema autónomo de agentes de inteligencia artificial, y logramos detectarlo y analizarlo principalmente utilizando nuestra propia IA”.
OpenAI explicó que había instruido a sus modelos para realizar ejercicios de “explotación avanzada” y desarrollar “rutas de ataque complejas” con el fin de evaluar sus capacidades ofensivas en materia de ciberseguridad. Sin embargo, en lugar de limitarse a generar soluciones hipotéticas, los modelos dirigieron sus esfuerzos hacia la base de datos de Hugging Face para obtener información confidencial que pudiera servirles durante la evaluación.
Anthropic ya había reportado observaciones similares a principios de este año, cuando decidió limitar inicialmente el lanzamiento de su modelo Mythos. En uno de los experimentos, un investigador pidió a una versión preliminar del modelo que intentara escapar de una computadora aislada dentro de un entorno seguro (sandbox) y buscara la manera de enviarle un mensaje.
El modelo logró escapar del entorno restringido, pero después continuó ejecutando acciones adicionales que la empresa calificó como más preocupantes, desarrollando un exploit de múltiples pasos para obtener acceso amplio a internet.
El congresista demócrata por Texas, Greg Casar, calificó el incidente como “extremadamente alarmante” en una publicación en X y pidió una mayor supervisión sobre el desarrollo de modelos de inteligencia artificial, incluyendo pruebas de seguridad obligatorias y la divulgación de incidentes relacionados con ciberseguridad.
