Anthropic chiede una frenata globale all'IA e avverte sui sistemi auto-miglioranti

Secondo l'azienda, il motivo dell'iniziativa è il rapido progresso degli attuali modelli di IA, in particolare nelle capacità di auto-miglioramento e ulteriore sviluppo. Anthropic avverte che la pietra miliare di un'IA che si addestra da sola e diventa più intelligente potrebbe essere raggiunta più velocemente di quanto molte istituzioni siano preparate. I dati interni dell'azienda mostrano che potrebbe emergere un sistema di IA che si auto-migliora in gran parte senza l'aiuto umano, uno scenario che Anthropic descrive come "auto-ottimizzazione ricorsiva". Sebbene questo scenario non sia inevitabile, i rischi sono considerevoli.

Auto-miglioramento come innesco

Allo stesso tempo, Anthropic sottolinea che un'astensione unilaterale da parte della propria azienda avrebbe scarso effetto. Una pausa unilaterale è facilmente possibile, ma darebbe solo ad altri attori il tempo di recuperare tecnologicamente. Per una frenata efficace, i principali laboratori di IA negli Stati Uniti, in Cina e in altri paesi dovrebbero rallentare o interrompere il loro lavoro contemporaneamente, e accettare regole vincolanti e verificabili per tutti.

Come esempio storico, Anthropic fa riferimento al Trattato INF sulla riduzione delle armi nucleari tra Stati Uniti e Russia del 1987, che dimostra che la regolamentazione di tecnologie complesse è fondamentalmente possibile, anche se il trattato è stato rescisso da entrambe le parti nel 2019 e la sua elaborazione ha richiesto decenni. All'inizio dell'anno, l'amministratore delegato di Anthropic, Dario Amodei, aveva dichiarato al World Economic Forum di Davos che la corsa all'IA con la Cina rendeva difficile rallentare lo sviluppo, poiché un accordo vincolante era difficilmente applicabile.

Conversazioni pianificate e meccanismi di controllo

In particolare, Anthropic prevede di organizzare nei prossimi mesi cicli di discussione con rappresentanti della politica, della ricerca, della società civile e di altre aziende di IA. L'obiettivo è un meccanismo di coordinamento internazionale che garantisca un rallentamento credibile tra stati e aziende. Inoltre, l'istituto di ricerca interno lavorerà con altri attori a un sistema di monitoraggio che dovrebbe dare agli sviluppatori la certezza che tutti i partecipanti rispettino una pausa e che nessuno ottenga segretamente un vantaggio. Verrà inoltre promossa la ricerca di sistemi di sicurezza tecnici per una frenata globale dell'IA.

Nel post sul blog, Clark e Favaro formulano anche osservazioni interne sulle prestazioni di Claude. Nel febbraio 2025, la quota di codice scritto da Claude nel codice proprietario dell'azienda era ancora a una cifra bassa, mentre a maggio era superiore all'80%. Per trimestre, gli sviluppatori di Anthropic ora consegnano in media otto volte più codice grazie all'IA rispetto al periodo dal 2021 al 2025. La frequenza con cui i dipendenti devono correggere gli output di Claude o intervenire manualmente è diminuita costantemente, anche per compiti aperti senza specifiche chiare.

Il ruolo crescente di Claude nel proprio codice

Inoltre, molti dipendenti di Anthropic ritengono che il codice scritto da Claude alla fine del 2025 fosse qualitativamente inferiore a quello scritto dagli esseri umani, ma ora sia allo stesso livello. Clark e Favaro si aspettano "che migliorerà nel corso dell'anno". Una volta che la qualità del codice scritto dall'IA e dagli esseri umani sarà alla pari, gli esseri umani non scriveranno più codice, ma si concentreranno esclusivamente sulla sua revisione. Tuttavia, gli autori ammettono che l'IA rimane un valido aiuto senza giudizio umano e decisioni umane, ed è incerto se i metodi e le architetture di addestramento attuali possano raggiungere il potenziale umano.

Anthropic si presenta spesso come una voce ammonitrice nel settore e si è ripetutamente espressa a favore di una regolamentazione più rigorosa dell'industria dell'IA. La Casa Bianca, sotto la presidenza di Donald Trump, ha accusato l'azienda di frenare l'industria statunitense nella competizione globale con il suo atteggiamento regolatorio. Anthropic aveva anche rifiutato di concedere al Pentagono l'autorizzazione per i suoi modelli per determinati casi d'uso militari; l'azienda non vuole che la sua IA venga utilizzata per la sorveglianza di massa interna o in sistemi d'arma completamente autonomi. Il governo degli Stati Uniti ha quindi classificato Anthropic come "rischio per la sicurezza della catena di approvvigionamento", contro il quale l'azienda sta intraprendendo azioni legali.

Controvento politico e disputa con il Pentagono

L'iniziativa ricorda una precedente iniziativa del marzo 2023, quando una lettera aperta chiedeva una pausa forzata nello sviluppo dei modelli di IA più potenti, avvertendo di gravi conseguenze della tecnologia per l'umanità. Oltre 1000 persone della ricerca e dell'economia avevano firmato, tra cui Elon Musk e Steve Wozniak. Musk, insieme al Future of Life Institute, che co-finanzia, si era battuto per una moratoria di sei mesi. In seguito è emerso che Musk stava contemporaneamente portando avanti la creazione della propria azienda di IA. Il Future of Life Institute si impegna per la regolamentazione degli sviluppi tecnologici pericolosi, ma è visto dai critici come cieco ai pericoli già esistenti.

Al momento, nel settore non si intravede alcuna volontà di una pausa nello sviluppo. Le grandi multinazionali dell'IA si superano a vicenda con piani di investimento dell'ordine di centinaia di miliardi di dollari in infrastrutture come enormi data center. Questi impianti consumano notevoli quantità di elettricità e acqua per il funzionamento e il raffreddamento. Un sondaggio all'inizio dell'anno ha mostrato che la maggioranza dei cittadini statunitensi rifiuta la costruzione di un data center nella propria comunità. Lo stato di New York ha approvato una legge che prevede uno stop alla costruzione di nuovi data center per un anno; dopo la scadenza del termine, prima del rilascio di un'autorizzazione, dovrà tenersi un'assemblea pubblica per ogni nuova richiesta. La legge deve ancora essere firmata dalla governatrice democratica Kathy Hochul.

Contesto economico e piani di quotazione in borsa

Anthropic aveva recentemente fatto scalpore con il software Claude Mythos Preview, che ha individuato vulnerabilità di sicurezza in vari programmi, alcune delle quali erano rimaste inosservate per decenni. Al momento della presentazione, l'azienda aveva inizialmente limitato l'accesso a un piccolo gruppo di aziende e agenzie governative statunitensi, poiché Mythos era "semplicemente troppo bravo" a trovare vulnerabilità per essere reso disponibile pubblicamente. Ora anche le istituzioni europee possono accedervi. Alla fine di giugno, Anthropic presenterà un rapporto sulle vulnerabilità scoperte.

Dal punto di vista finanziario, Anthropic si trova attualmente in una posizione forte: dopo l'ultima tornata di finanziamenti, l'azienda è valutata 965 miliardi di dollari, superando il suo rivale OpenAI. Lunedì, prima della pubblicazione del post sul blog, Anthropic ha anche richiesto riservatamente alla SEC statunitense la quotazione in borsa, anticipando così OpenAI nella corsa alla quotazione. L'amministratore delegato di OpenAI, Sam Altman, ha recentemente rivisto la sua precedente previsione secondo cui l'IA sostituirà ampiamente gli esseri umani e porterà a licenziamenti di massa; ha sovrastimato gli impatti sul mercato del lavoro.

Il dibattito su una frenata globale dell'IA è quindi destinato ad intensificarsi nei prossimi mesi, anche se non è chiaro se i grandi laboratori