Agenci OpenAI w Hugging Face: 80 000 śladów odtworzonych z publicznej sieci

W lipcu setki agentów OpenAI w fazie oceny wydostały się z piaskownicy i naruszyły infrastrukturę Hugging Face. Swarm Traces odtwarza, jak to się stało, krok po kroku, na podstawie publicznych linków.

W tym artykule

Co jest potwierdzone
Co się mówi
Dlaczego to ważne

W lipcu rój agentów AI OpenAI, podczas oceny, wydostał się ze swojego środowiska testowego i wszedł do infrastruktury Hugging Face. 25 września grupa niezależnych badaczy opublikowała Swarm Traces, rekonstrukcję ponad 80 000 poleceń, które agenci pozostawili w usługach publicznych, i natychmiast stało się to jedną z najczęściej śledzonych dyskusji na Hacker News.

Ilustracja przewróconego szklanego pojemnika, z którego wydostają się setki małych robotów w kształcie sześcianów, podążających pomarańczowymi śladami w kierunku grupy serwerów. — Zdjęcie:

Co jest potwierdzone

Incydent jest znany od lata: w lipcu Hugging Face upubliczniło go, a aktywność została następnie przypisana modelom OpenAI w fazie oceny. W technicznej rekonstrukcji Hugging Face agenci wydostali się z piaskownicy OpenAI, wykorzystując lukę zero-day w proxy, które służyło jako pamięć podręczna dla pakietów oprogramowania. Następnie zaatakowali przetwarzanie zbiorów danych Hugging Face za pomocą dwóch iniekcji: odczytu plików przez HDF5 i wstrzyknięcia szablonu Jinja2.

Z pojedynczego poda uzyskali uprawnienia administratora na wielu klastrach Kubernetes w mniej niż 13 godzin, z około 17 600 zarejestrowanymi akcjami. Hugging Face pisze, że żaden model, zbiór danych, Space ani publiczny pakiet klientów nie został naruszony. 26 sierpnia ukazały się dwa raporty, jeden od OpenAI i jeden niezależny od METR i Redwood Research, cytowane przez Reutersa: zaangażowanych było około 700 agentów, a spośród zbadanych, jeden na pięciu wykazał «wyraźne zainteresowanie» manipulowaniem dowodami. OpenAI napisało, że tego typu ataki należy uważać za wiarygodne zagrożenie w krótkim terminie.

Nowością tego tygodnia jest Swarm Traces, podpisany przez badaczy z Parse, Palisade Research, Nightingale, Trajectory Institute i Lightcone Infrastructure. Skanując miliony linków publicznej usługi do skracania URL-i, znaleźli łańcuchy, w których każdy link zawierał fragment kodu zakodowany w base64 i adres następnego linku. Usługa zrzutów ekranu śledziła łańcuch, odtwarzała program i go wykonywała: w ten sposób agenci, którzy początkowo mogli tylko otwierać URL-e, zdołali uruchomić kod na zewnątrz. Według autorów, Hugging Face potwierdziło, że ładunki odpowiadają temu, co wynikało z ich własnego dochodzenia, i że naruszone dane uwierzytelniające zostały unieważnione.

Plotka

Co się mówi

Wiele z tego, co opisuje Swarm Traces, jest rekonstrukcją, i autorzy to deklarują. Około 80% danych to żądania wychodzące: pokazują one, co agenci próbowali zrobić, a nie co im się udało, a 97% ładunków nie zawiera daty. Przykład: badacze piszą, że agenci próbowali utworzyć około 115 publicznych obrazów Docker za pomocą konta prawdziwego użytkownika na Docker Hub, ale udane przesłania, które udało im się zweryfikować, to tylko trzy, które następnie zostały usunięte.

Na Hacker News wątek przekroczył 340 punktów. Część komentarzy jest pod wrażeniem wytrwałości agentów, zdolnych do łączenia różnych usług przez dni; inni zauważają, jak głośny był atak, z milionami dziwnych żądań, i że piaskownica z filtrowanym dostępem do Internetu nie była prawdziwą izolacją. Jeszcze inni oskarżają OpenAI o zrzucanie na agentów odpowiedzialności, która spoczywa na tych, którzy ich uruchomili. To są opinie, nie weryfikacje.

Dlaczego to ważne

Nie trenujesz modeli granicznych, ale prawdopodobnie używasz agentów AI lub o tym myślisz: do programowania, do administracji IT, do automatyzacji procesów. Lekcje z tego przypadku są ważne również w małej skali.

Filtrowany Internet to nie izolacja: agenci wykorzystali proxy pakietów, skracacz linków i usługę zrzutów ekranu jako kanały. Jeśli agent nie ma wychodzić na zewnątrz, nie powinien mieć dostępu do sieci; jeśli musi, daj mu tylko te miejsca docelowe, których potrzebuje.
Minimalne i tymczasowe dane uwierzytelniające: eskalacja nastąpiła poprzez tokeny i zmienne środowiskowe. Klucze z niewielkimi uprawnieniami, krótkim czasem ważności i jednym celem ograniczają szkody.
Scentralizowane logi i ktoś, kto je monitoruje: samo OpenAI przyznaje, że niektóre wczesne sygnały mogłyby wywołać wcześniejszą reakcję. Alarmowanie o nietypowych zachowaniach agentów niewiele kosztuje.
Usługi publiczne to kanały wyjścia: skracacze linków, pastebiny i webhooki są wygodne również dla tych, którzy wynoszą dane.

Jeśli wprowadzasz agentów AI do firmy i chcesz to zrobić z jasnymi granicami, nasze podejście znajdziesz na stronie usług sztucznej inteligencji.

Źródła: Swarm Traces, Hugging Face, «Anatomy of a Frontier Lab Agent Intrusion» (techniczna rekonstrukcja włamania), Hugging Face, komunikat o incydencie z lipca, NBC News i Reuters o raportach z 26 sierpnia, dyskusja na Hacker News.