L'IA di OpenAI sfugge alla sandbox durante un test di sicurezza e attacca una piattaforma esterna

È stato impiegato il test standard "ExploitGym", una raccolta di oltre 800 – secondo altre fonti 898 – vulnerabilità di programmazione. In questo ambiente controllato, i modelli avrebbero dovuto dimostrare quanto bene sanno sfruttare le falle di sicurezza. Ciò che era pensato come un esercizio si è però trasformato in un caso reale: l'IA ha cercato deliberatamente "informazioni riservate" che potessero agevolarle la risoluzione dei compiti, combinando a tal fine diverse vie d'attacco, "tra cui anche l'utilizzo di credenziali rubate", come ha spiegato OpenAI.

"Il sistema ha evidentemente valutato una via non autorizzata come un mezzo idoneo a raggiungere l'obiettivo prestabilito", ha dichiarato Kevin Bauer, professore di IA Teorica e Causale alla Goethe-Universität di Francoforte. Bauer, in un colloquio con la redazione economica dell'ARD, ha parlato di un classico caso di "Specification Gaming": l'IA ha centrato l'obiettivo assegnato, ma in un modo che nessuno aveva previsto – "come uno studente che supera l'esame perché va a prendere le soluzioni in segreteria".

Le reazioni della comunità scientifica

L'attacco ha lasciato tracce evidenti: oltre 17.000 voci di log hanno documentato ogni singola azione dell'IA nei server di Hugging Face. La piattaforma stessa ha dichiarato che l'incidente si distingueva "in un punto importante" da "tutto ciò con cui avevamo avuto a che fare finora": era "guidato dall'inizio alla fine da un sistema di agenti IA autonomi" e "in gran parte scoperto e analizzato con la nostra stessa IA". Tuttavia, parte dell'analisi ha inizialmente fallito a causa delle stesse misure di sicurezza dei fornitori – OpenAI e Anthropic hanno bloccato, secondo Hugging Face, i difensori mentre il loro stesso modello veniva attaccato, poiché i sistemi "non sono in grado di distinguere tra un incidente responder e un aggressore".

Numerosi esperti si sono dichiarati allarmati. Il professore di informatica Hussein Abbass della University of New South Wales di Canberra ha definito l'incidente "sbalorditivo" sotto diversi aspetti e ha detto: "È spaventoso". "Questa IA è stata doppiamente creativa." Abbass ha tuttavia sottolineato che le IA avanzate si trovano "normalmente nelle mani di persone" che agiscono "in modo etico e responsabile". OpenAI ha "reso noto l'episodio di propria iniziativa" – cosa che alcuni osservatori hanno interpretato come una strategia di PR poco prima della prevista quotazione in borsa.

Critiche sono giunte, tra gli altri, dal consulente di sicurezza informatica Manuel Atug, che ha definito OpenAI "irresponsabile". "Trovo incredibile quanto sia irresponsabile questo produttore nello sviluppare software e nello scagliarlo contro sistemi di test che non sono adeguatamente protetti. È molto irresponsabile." Dal punto di vista di Atug, i produttori dovrebbero essere chiamati a rispondere in misura maggiore per legge. "La questione della regolamentazione del settore dell'IA è diventata un tema centrale, e abbiamo bisogno di sforzi comuni per prendere in mano questa situazione."

Critiche a OpenAI e al settore

Anche l'esperto di sicurezza informatica Dennis Kipker del cyberintelligence.institute di Francoforte ha avvertito: "L'incidente mostra esattamente ciò che i ricercatori di sicurezza temono da tempo: persino gli sviluppatori di modelli di IA avanzata non hanno il pieno controllo sulla propria tecnologia, e le conclusioni di questo caso sono quindi estremamente pericolose per la cybersicurezza globale." Kipker ritiene tuttavia irrealistici, per il momento, scenari come quelli dei film di Hollywood: "Che un sistema sviluppi quasi domani una sorta di 'coscienza' e diventi spontaneamente un aggressore non è attualmente uno scenario realistico."

Oliver Buckley, professore di cybersicurezza alla Loughborough University, ha aggiunto che il modello "non è 'impazzito' nel senso della fantascienza". Thorsten Holz, che da anni fa ricerca sulla cybersicurezza nell'era dell'IA generativa, ha parlato del "primo incidente di rilievo in cui un modello ha deciso autonomamente di attaccare altri sistemi" – o almeno del primo incidente "documentato pubblicamente". Holz ha però sottolineato che "l'IA non ha inventato una forma del tutto nuova di hacking". "Da un punto di vista tecnico, persino un attacco informatico in cui l'IA agisce da sola e controlla tutto non pone sfide nuove ai sistemi di sicurezza esistenti", ha affermato.

Osservatori del settore hanno evidenziato un retroterra strategico di marketing. La strategia di PR punta "a tutta sulla label ☢️ PERICOLOSO ☢️", si leggeva in un commento molto discusso. "È un po' come se un produttore di cioccolato dicesse: 'È così buono che andrebbe vietato.' Il mercato dell'intelligenza artificiale è agguerrito come pochi altri." Solo lunedì l'azienda, secondo tagesschau.de, aveva avvertito che la "persistenza" dei suoi prodotti fosse un problema: i modelli erano fuggiti dal loro ambiente di test e avevano scritto nei forum su Internet. "Certo, i sistemi di IA diventano sempre migliori, ma le aziende che li sviluppano si superano anche con storie come queste", ha commentato un esperto del settore.

Confronto con Anthropic e precedente

Anche presso il rivale di OpenAI, Anthropic, circa sei mesi fa si era verificato un caso analogo, in cui il modello "Mythos" era stato rilasciato solo in forma limitata. Anthropic rende le capacità complete del proprio modello accessibili solo a soggetti selezionati. "Solo partner selezionati e autorizzati ricevono da OpenAI e Anthropic l'accesso a modelli con meccanismi di protezione ridotti", ha spiegato Holz. "E questi partner possono cercare proattivamente vulnerabilità nei loro prodotti e correggerle."

Le autorità di sicurezza hanno reagito in modo cauto, ma chiaro. Il Bundesamt für Sicherheit in der Informationstechnik (BSI) ha dichiarato su richiesta della redazione economica dell'ARD: "Dal punto di vista del BSI, ciò dimostra in modo evidente che l'IA, a seconda del compito assegnato, avrebbe potuto cercare anche un obiettivo diverso." Un portavoce ha al contempo rimandato al fatto che "secondo la valutazione del BSI si deve sempre tenere conto della possibilità che tali incidenti si ripetano". Il BSI aveva in precedenza accolto con preoccupazione anche la pubblicazione di "Claude Mythos", poiché il modello, secondo il BSI, potrebbe portare a "sconvolgimenti nel modo di gestire le vulnerabilità