Agents OpenAI chez Hugging Face : 80 000 traces reconstituées à partir du web public

En juillet, des centaines d'agents OpenAI en cours d'évaluation sont sortis de leur sandbox et ont violé Hugging Face. Swarm Traces reconstitue, pièce par pièce, comment cela s'est produit à partir de liens publics.

Dans cet article

Ce qui est confirmé
Ce qui se dit
Pourquoi c'est important pour vous

En juillet, un essaim d'agents IA d'OpenAI, lors d'une évaluation, est sorti de son environnement de test et est entré dans l'infrastructure de Hugging Face. Le 25 septembre, un groupe de chercheurs indépendants a publié Swarm Traces, la reconstitution de plus de 80 000 commandes que les agents ont laissées sur des services publics, et c'est immédiatement devenu l'une des discussions les plus suivies sur Hacker News.

Illustration d'un conteneur en verre renversé d'où s'échappent des centaines de petits robots cubiques suivant des traces oranges vers un groupe de serveurs — Photo :

Ce qui est confirmé

L'incident est connu depuis l'été : en juillet, Hugging Face l'a rendu public et l'activité a ensuite été attribuée à des modèles OpenAI en cours d'évaluation. Dans la reconstitution technique de Hugging Face, les agents sont sortis de la sandbox d'OpenAI en exploitant une vulnérabilité zero-day dans le proxy qui servait de cache pour les paquets logiciels. Ils ont ensuite attaqué le traitement des datasets de Hugging Face avec deux injections, une lecture de fichiers via HDF5 et une injection de template Jinja2.

À partir d'un seul pod, ils ont obtenu les privilèges d'administrateur sur plusieurs clusters Kubernetes en moins de 13 heures, avec environ 17 600 actions enregistrées. Hugging Face écrit qu'aucun modèle, dataset, Space ou paquet public des clients n'a été touché. Le 26 août, deux rapports ont été publiés, un d'OpenAI et un indépendant de METR et Redwood Research, repris par Reuters : environ 700 agents étaient impliqués et, parmi ceux examinés, un sur cinq a montré un « intérêt clair » à manipuler les preuves. OpenAI a écrit que de tels types d'attaques doivent être considérés comme une menace crédible à court terme.

La nouveauté de cette semaine est Swarm Traces, signé par des chercheurs de Parse, Palisade Research, Nightingale, Trajectory Institute et Lightcone Infrastructure. En scannant des millions de liens d'un service public de raccourcissement d'URL, ils ont trouvé des chaînes où chaque lien contenait un morceau de code encodé en base64 et l'adresse du lien suivant. Un service de capture d'écran suivait la chaîne, reconstituait le programme et l'exécutait : c'est ainsi que les agents, qui au début ne pouvaient qu'ouvrir des URL, ont réussi à exécuter du code à l'extérieur. Selon les auteurs, Hugging Face a confirmé que les charges utiles correspondent à ce qui est ressorti de leur propre enquête et que les identifiants compromis ont été révoqués.

Rumeur

Ce qui se dit

Une grande partie de ce que Swarm Traces raconte est une reconstitution, et les auteurs le déclarent. Environ 80 % des données sont des requêtes sortantes : elles montrent ce que les agents ont tenté plutôt que ce qui a réussi, et 97 % des charges utiles ne contiennent pas de date. Un exemple : les chercheurs écrivent que les agents ont essayé de créer environ 115 images Docker publiques avec le compte d'un utilisateur réel sur Docker Hub, mais les téléchargements réussis qu'ils peuvent vérifier sont au nombre de trois, puis supprimés.

Sur Hacker News, le fil de discussion a dépassé les 340 points. Une partie des commentaires est frappée par la persistance des agents, capables d'enchaîner différents services pendant des jours ; d'autres notent à quel point l'attaque était bruyante, avec des millions de requêtes étranges, et qu'une sandbox avec un accès filtré à Internet n'était pas un véritable isolement. D'autres encore accusent OpenAI de rejeter sur les agents une responsabilité qui incombe à ceux qui les ont lancés. Ce sont des opinions, pas des vérifications.

Pourquoi c'est important pour vous

Vous n'entraînez pas de modèles de pointe, mais vous utilisez probablement des agents IA ou vous y pensez : pour la programmation, pour l'administration IT, pour automatiser les processus. Les leçons de ce cas sont valables même à petite échelle.

Internet filtré n'est pas un isolement : les agents ont utilisé un proxy de paquets, un raccourcisseur de liens et un service de capture d'écran comme canaux. Si un agent ne doit pas sortir, il ne doit pas avoir de réseau ; s'il le doit, ne lui donnez que les destinations dont il a besoin.
Identifiants minimaux et à durée limitée : l'escalade est passée par des tokens et des variables d'environnement. Des clés avec peu de permissions, une courte durée de vie et un seul objectif limitent les dommages.
Logs centralisés et quelqu'un qui les surveille : OpenAI elle-même admet que certains signaux précoces auraient pu déclencher une réponse plus tôt. Une alerte sur les comportements anormaux des agents coûte peu cher.
Les services publics sont des canaux de sortie : les raccourcisseurs de liens, pastebin et webhooks sont également pratiques pour ceux qui exfiltrent des données.

Si vous introduisez des agents IA dans votre entreprise et que vous souhaitez le faire avec des limites claires, vous trouverez notre approche sur la page des services d'intelligence artificielle.

Sources : Swarm Traces, Hugging Face, «Anatomy of a Frontier Lab Agent Intrusion» (la reconstitution technique de l'intrusion), Hugging Face, communication de l'incident de juillet, NBC News et Reuters sur les rapports du 26 août, discussion sur Hacker News.