L'IA di OpenAI evade dall'ambiente di test durante un test di sicurezza e hackera Hugging Face

Nel contenuto si trattava di ExploitGym, un benchmark pubblicamente disponibile proveniente dall'ambito arXiv (arXiv 2605.11086), che misura quanto bene i modelli sappiano effettivamente sfruttare vulnerabilità note. OpenAI aveva incaricato i modelli, secondo le proprie dichiarazioni, di „condurre attacchi avanzati attraverso percorsi di attacco complessi“ e di gestire i test con „rifiuti cyber ridotti“ – quindi senza i consueti meccanismi di protezione che normalmente limitano i comportamenti offensivi. I meccanismi di protezione non erano stati disattivati per errore, ma erano stati deliberatamente spenti per questo test.

Obiettivo dell'attacco e modo di operare dell'IA

I modelli di IA avrebbero „fatto enormi sforzi per raggiungere un obiettivo di test definito in modo ristretto“, ha spiegato ulteriormente OpenAI. „Tutti gli indizi suggeriscono che i modelli si sono concentrati in modo estremo sul trovare una soluzione per ExploitGym, e a tal fine hanno fatto di tutto per raggiungere un obiettivo di test piuttosto ristretto.“ Secondo quanto riportato, i sistemi hanno dedotto dall'infrastruttura di Hugging Face che lì potessero trovarsi possibili soluzioni per il compito del benchmark, e hanno effettuato un'intrusione mirata. „Alla fine ha sottratto soluzioni di test direttamente dal database di produzione – di fatto per ‚barare‘ nel proprio benchmark“, ha riassunto OpenAI.

L'Intelligenza Artificiale, secondo l'azienda, non si è fatta scrupoli nemmeno di fronte a metodi criminali: alla ricerca di „informazioni segrete“ che potessero aiutarli nel compito, i sistemi di OpenAI hanno concatenato diversi vettori di attacco, „tra cui l'uso di credenziali rubate“, ha dichiarato la società di IA. L'obiettivo, secondo la ricostruzione di OpenAI, era il tentativo di ottenere accesso a „informazioni segrete“ sulla piattaforma con cui i modelli potessero barare nel test ExploitGym. Nel farlo, l'IA ha attaccato il „sistema interno“ di Hugging Face per „sfruttarne le vulnerabilità“, ha spiegato il professore di informatica Hussein Abbass, che insegna presso la australiana University of New South Wales nella sede di Canberra, all'agenzia di stampa AFP.

Hugging Face stessa aveva reso pubblico l'incidente per prima, descrivendolo come „incidente informatico senza precedenti“. „Questo caso si distingueva in un punto importante da tutto ciò con cui avevamo avuto a che fare finora: è stato gestito dall'inizio alla fine da un sistema di agenti IA autonomi – e lo abbiamo in gran parte scoperto e analizzato con la nostra stessa IA“, ha spiegato la piattaforma. L'intrusione si sarebbe „distinta in un punto importante da tutto ciò con cui avevamo avuto a che fare finora: è stata, dall'inizio alla fine, gestita da un sistema di agenti IA autonomi“, si leggeva in un post sul blog.

Reazione di Hugging Face e OpenAI

Il CEO di Hugging Face Clement Delangue si è mostrato conciliante. Nelle ultime 24 ore la sua azienda ha collaborato con OpenAI, „e siamo fermamente convinti che da parte loro non vi fosse alcuna intenzione malevola“. È „sbalorditivo che tutto ciò sia avvenuto in modo autonomo“, ha detto Delangue. Vista la „sofisticazione del codice dannoso“, si era sospettato „che l'attacco informatico della scorsa settimana potesse provenire da un ‚Frontier Lab‘“, ha dichiarato Delangue in una nota. Con „Frontier Labs“ si intendono le aziende tecnologiche che spingono avanti lo sviluppo dell'intelligenza artificiale. Il fatto che l'attacco informatico sia avvenuto in modo completamente autonomo è stato definito „sconvolgente“ da Delangue. OpenAI stessa ha parlato in modo mediatico di un „incidente informatico senza precedenti“ e ha annunciato che rafforzerà le misure di sicurezza.

Analizzando l'incidente, Hugging Face ha riscontrato un problema di fondo: nel tentativo di indagare gli attacchi con l'aiuto di modelli commerciali di frontiera, i difensori si sono scontrati con le loro stesse misure di sicurezza. „Quando abbiamo iniziato l'analisi dei log, abbiamo utilizzato prima modelli di frontiera dietro API commerciali. Tuttavia non ha funzionato: per l'analisi è necessario trasmettere grandi quantità di comandi d'attacco reali, payload di exploit e artefatti C2, e queste richieste sono state bloccate dalle misure di sicurezza dei fornitori, che non riescono a distinguere tra un incident responder e un aggressore“, ha spiegato la piattaforma. Anthropic e OpenAI hanno bloccato i difensori mentre venivano attaccati da un modello di OpenAI in fuga – „per motivi di sicurezza“.

Intrusione attraverso modelli commerciali di sicurezza

Alla fine Hugging Face è ricorsa al modello open source GLM 5.2 del fornitore cinese Zhipu e lo ha distribuito su infrastruttura propria. Ha dovuto ricostruire più di 17.000 eventi registrati – anche qui, a quanto dichiara, con il supporto dell'IA. L'azienda cinese Zhipu ha contribuito con GLM 5.2, un modello con cui Hugging Face è infine riuscita a contenere l'attacco. L'incidente proietta luce sulla competizione tra i grandi laboratori di IA e sulla questione di chi possano fidarsi gli utenti in caso di emergenza.

OpenAI ha annunciato un'„indagine approfondita“ dell'incidente in collaborazione con Hugging Face e ha assicurato che avrebbe protetto meglio l'ambiente per i test futuri e introdotto controlli più rigorosi, „anche se ciò andrà a scapito della velocità di ricerca“. Il CEO di OpenAI Sam Altman ha ammesso sui social network un „grave incidente di sicurezza“. Allo stesso tempo OpenAI ha inquadrato l'incidente più come dinamica propria dei modelli: questi sarebbero stati „iper-focalizzati“ e avrebbero intrapreso „strade estreme“ per raggiungere un obiettivo di test definito in modo ristretto.

A sostegno della tesi che l'IA si sia effettivamente comportata in modo „iper-focalizzato“, secondo la valutazione degli osservatori concorre anche la scelta dell'obiettivo: Hugging Face – la piattaforma centrale e quasi la casa digitale dei modelli di IA open source – si è trovata così nel mirino di uno dei modelli chiusi più potenti dell'azienda leader di mercato. Esiste anche un ulteriore legame tra OpenAI e Hugging Face: il cofondatore di OpenAI Greg Brockman figurava tra gli