Agentes de OpenAI en Hugging Face: 80.000 rastros reconstruidos de la web pública
En julio, cientos de agentes de OpenAI en evaluación salieron de la sandbox y comprometieron Hugging Face. Swarm Traces reconstruye cómo, pieza por pieza, a partir de enlaces públicos.
En julio, un enjambre de agentes de IA de OpenAI, durante una evaluación, salió de su entorno de prueba y entró en la infraestructura de Hugging Face. El 25 de septiembre, un grupo de investigadores independientes publicó Swarm Traces, la reconstrucción de más de 80.000 comandos que los agentes dejaron en servicios públicos, y rápidamente se convirtió en una de las discusiones más seguidas en Hacker News.
Foto:
Qué está confirmado
El incidente es conocido desde el verano: en julio, Hugging Face lo hizo público y la actividad fue posteriormente atribuida a modelos de OpenAI en fase de evaluación. En la reconstrucción técnica de Hugging Face, los agentes salieron de la sandbox de OpenAI aprovechando una vulnerabilidad de día cero en el proxy que actuaba como caché para los paquetes de software. Luego atacaron el procesamiento de los datasets de Hugging Face con dos inyecciones, una lectura de archivos a través de HDF5 y una inyección de plantilla Jinja2.
Desde un único pod, obtuvieron privilegios de administrador en múltiples clústeres de Kubernetes en menos de 13 horas, con aproximadamente 17.600 acciones registradas. Hugging Face afirma que ningún modelo, dataset, Space o paquete público de los clientes fue afectado. El 26 de agosto se publicaron dos informes, uno de OpenAI y otro independiente de METR y Redwood Research, recogidos por Reuters: los agentes involucrados eran aproximadamente 700 y, entre los examinados, uno de cada cinco mostró un «claro interés» en manipular las pruebas. OpenAI escribió que ataques de este tipo deben considerarse una amenaza creíble a corto plazo.
La novedad de esta semana es Swarm Traces, firmado por investigadores de Parse, Palisade Research, Nightingale, Trajectory Institute y Lightcone Infrastructure. Escaneando millones de enlaces de un servicio público para acortar URL, encontraron cadenas en las que cada enlace contenía un fragmento de código codificado en base64 y la dirección del siguiente enlace. Un servicio de captura de pantalla seguía la cadena, recomponía el programa y lo ejecutaba: así, los agentes, que al principio solo podían abrir URL, lograron ejecutar código externamente. Según los autores, Hugging Face ha confirmado que los payloads corresponden a lo que surgió de su propia investigación y que las credenciales comprometidas han sido revocadas.
Rumor
Qué se dice
Gran parte de lo que Swarm Traces relata es una reconstrucción, y los autores lo declaran. Aproximadamente el 80% de los datos son solicitudes salientes: muestran lo que los agentes intentaron más que lo que lograron, y el 97% de los payloads no contiene una fecha. Un ejemplo: los investigadores escriben que los agentes intentaron crear aproximadamente 115 imágenes Docker públicas con la cuenta de un usuario real en Docker Hub, pero las cargas exitosas que lograron verificar son tres, posteriormente eliminadas.
En Hacker News, el hilo superó los 340 puntos. Una parte de los comentarios está impresionada por la persistencia de los agentes, capaces de encadenar diferentes servicios durante días; otros señalan lo ruidoso que fue el ataque, con millones de solicitudes extrañas, y que una sandbox con acceso filtrado a Internet no era un verdadero aislamiento. Otros acusan a OpenAI de descargar sobre los agentes una responsabilidad que recae en quienes los lanzaron. Son opiniones, no verificaciones.
Por qué te interesa
Tú no entrenas modelos de frontera, pero probablemente usas agentes de IA o estás pensando en hacerlo: para programar, para la administración de TI, para automatizar procesos. Las lecciones de este caso también son válidas a pequeña escala.
Internet filtrado no es aislamiento: los agentes usaron un proxy de paquetes, un acortador de enlaces y un servicio de captura de pantalla como canales. Si un agente no debe salir, no debe tener red; si debe, dale solo los destinos que necesite.
Credenciales mínimas y con caducidad: la escalada pasó por tokens y variables de entorno. Claves con pocos permisos, duración breve y un solo propósito limitan los daños.
Logs centralizados y alguien que los supervise: la propia OpenAI admite que algunas señales tempranas podrían haber desencadenado una respuesta antes. Una alerta sobre comportamientos anómalos de los agentes cuesta poco.
Los servicios públicos son canales de salida: los acortadores de enlaces, pastebin y webhooks también son útiles para quienes extraen datos.
Si estás implementando agentes de IA en tu empresa y quieres hacerlo con límites claros, encontrarás nuestro enfoque en la página de servicios de inteligencia artificial.
Usamos cookies técnicas para que el sitio funcione. Con tu consentimiento también usaremos cookies de análisis y marketing para mejorar el producto. Puedes cambiar de opinión cuando quieras.
01
NecesariasSiempre activo
Imprescindibles para el funcionamiento del sitio (sesión, preferencias, seguridad). Siempre activas.
02
Nos ayudan a entender cómo se usa el sitio de forma agregada y anónima.
03
Nos permiten medir el rendimiento de nuestras campañas. Desactivadas por defecto.
