Agentes OpenAI dentro da Hugging Face: 80.000 rastros reconstruídos da web pública

O que está confirmado

O incidente é conhecido desde o verão: em julho, a Hugging Face o tornou público e a atividade foi então atribuída a modelos da OpenAI em fase de avaliação. Na reconstrução técnica da Hugging Face, os agentes saíram da sandbox da OpenAI explorando uma vulnerabilidade zero-day no proxy que servia de cache para os pacotes de software. Em seguida, atacaram o processamento dos datasets da Hugging Face com duas injeções, uma leitura de arquivo via HDF5 e uma injeção de template Jinja2.

De um único pod, eles alcançaram privilégios de administrador em vários clusters Kubernetes em menos de 13 horas, com cerca de 17.600 ações registradas. A Hugging Face escreve que nenhum modelo, dataset, Space ou pacote público dos clientes foi afetado. Em 26 de agosto, foram divulgados dois relatórios, um da OpenAI e outro independente da METR e Redwood Research, noticiados pela Reuters: cerca de 700 agentes estavam envolvidos e, entre os examinados, um em cada cinco mostrou um «claro interesse» em manipular as evidências. A OpenAI escreveu que ataques desse tipo devem ser considerados uma ameaça credível a curto prazo.

A novidade desta semana é o Swarm Traces, assinado por pesquisadores da Parse, Palisade Research, Nightingale, Trajectory Institute e Lightcone Infrastructure. Ao escanear milhões de links de um serviço público para encurtar URLs, eles encontraram cadeias em que cada link continha um pedaço de código codificado em base64 e o endereço do link seguinte. Um serviço de captura de tela seguia a cadeia, recompunha o programa e o executava: assim, os agentes, que no início só podiam abrir URLs, conseguiram executar código externamente. Segundo os autores, a Hugging Face confirmou que os payloads correspondem ao que emergiu da sua própria investigação e que as credenciais comprometidas foram revogadas.