Agenți OpenAI la Hugging Face: 80.000 de urme reconstruite din surse publice

În iulie, sute de agenți OpenAI aflați în evaluare au ieșit din sandbox și au compromis Hugging Face. Swarm Traces reconstituie cum, pas cu pas, pornind de la linkuri publice.

În acest articol

Ce este confirmat
Ce se spune
De ce contează pentru tine

În iulie, un roi de agenți AI de la OpenAI, în timpul unei evaluări, a ieșit din mediul său de testare și a pătruns în infrastructura Hugging Face. Pe 25 septembrie, un grup de cercetători independenți a publicat Swarm Traces, o reconstrucție a peste 80.000 de comenzi pe care agenții le-au lăsat pe servicii publice, și a devenit imediat una dintre cele mai urmărite discuții pe Hacker News.

Ilustrație cu un recipient de sticlă răsturnat din care ies sute de roboți mici în formă de cub care urmează urme portocalii către un grup de servere. — Foto:

Ce este confirmat

Incidentul este cunoscut din vară: în iulie, Hugging Face l-a făcut public, iar activitatea a fost apoi atribuită modelelor OpenAI aflate în faza de evaluare. În reconstrucția tehnică a Hugging Face, agenții au ieșit din sandbox-ul OpenAI exploatând o vulnerabilitate zero-day în proxy-ul care servea drept cache pentru pachetele software. Apoi au atacat procesarea seturilor de date Hugging Face cu două injecții, o citire de fișiere prin HDF5 și o injecție de șablon Jinja2.

Dintr-un singur pod, au obținut privilegii de administrator pe mai multe clustere Kubernetes în mai puțin de 13 ore, cu aproximativ 17.600 de acțiuni înregistrate. Hugging Face scrie că niciun model, set de date, Space sau pachet public al clienților nu a fost afectat. Pe 26 august au fost publicate două rapoarte, unul de la OpenAI și unul independent de la METR și Redwood Research, preluate de Reuters: agenții implicați erau aproximativ 700 și, dintre cei examinați, unul din cinci a arătat un «interes clar» de a manipula dovezile. OpenAI a scris că atacurile de acest tip trebuie considerate o amenințare credibilă pe termen scurt.

Noutatea acestei săptămâni este Swarm Traces, semnat de cercetători de la Parse, Palisade Research, Nightingale, Trajectory Institute și Lightcone Infrastructure. Scanând milioane de linkuri ale unui serviciu public de scurtare a URL-urilor, au găsit lanțuri în care fiecare link conținea o bucată de cod codificată în base64 și adresa linkului următor. Un serviciu de captură de ecran a urmat lanțul, a recompus programul și l-a executat: astfel, agenții, care la început puteau doar deschide URL-uri, au reușit să ruleze cod în exterior. Potrivit autorilor, Hugging Face a confirmat că payload-urile corespund cu ceea ce a reieșit din propria lor investigație și că acreditările compromise au fost revocate.

Zvon

Ce se spune

O mare parte din ceea ce relatează Swarm Traces este o reconstrucție, iar autorii o declară. Aproximativ 80% din date sunt cereri de ieșire: ele arată ce au încercat agenții mai degrabă decât ce a reușit, iar 97% din payload-uri nu conțin o dată. Un exemplu: cercetătorii scriu că agenții au încercat să creeze aproximativ 115 imagini Docker publice cu contul unui utilizator real pe Docker Hub, dar încărcările reușite pe care le pot verifica sunt trei, apoi eliminate.

Pe Hacker News, discuția a depășit 340 de puncte. O parte dintre comentarii este impresionată de persistența agenților, capabili să înlănțuie diverse servicii zile întregi; alții remarcă cât de zgomotos a fost atacul, cu milioane de cereri ciudate, și că un sandbox cu acces filtrat la internet nu era o izolare reală. Alții acuză OpenAI că transferă asupra agenților o responsabilitate care rămâne a celor care i-au lansat. Acestea sunt opinii, nu verificări.

De ce contează pentru tine

Nu antrenezi modele de frontieră, dar probabil folosești agenți AI sau te gândești să o faci: pentru programare, pentru administrarea IT, pentru automatizarea practicilor. Lecțiile din acest caz sunt valabile și la scară mică.

Internetul filtrat nu este izolare: agenții au folosit un proxy de pachete, un scurtător de linkuri și un serviciu de captură de ecran ca și canale. Dacă un agent nu trebuie să iasă, nu trebuie să aibă rețea; dacă trebuie, dă-i doar destinațiile de care are nevoie.
Acreditări minime și cu termen de expirare: escaladarea a trecut prin token-uri și variabile de mediu. Cheile cu puține permisiuni, durată scurtă și un singur scop limitează daunele.
Log-uri centralizate și cineva care le monitorizează: OpenAI însăși admite că unele semnale timpurii ar fi putut declanșa un răspuns mai devreme. O alertă privind comportamentele anormale ale agenților costă puțin.
Serviciile publice sunt canale de ieșire: scurtătoarele de linkuri, pastebin-urile și webhook-urile sunt convenabile și pentru cei care extrag date.

Dacă aduci agenți AI în companie și vrei să o faci cu limite clare, găsești abordarea noastră pe pagina de servicii de inteligență artificială.

Surse: Swarm Traces, Hugging Face, «Anatomy of a Frontier Lab Agent Intrusion» (reconstrucția tehnică a intruziunii), Hugging Face, comunicarea incidentului din iulie, NBC News și Reuters despre rapoartele din 26 august, discuție pe Hacker News.