Anthropic chiede una pausa coordinata nello sviluppo di sistemi di IA estremamente potenti

L'azienda giustifica questa iniziativa con i rapidi progressi nei modelli di IA, in particolare nelle capacità di auto-miglioramento e auto-sviluppo. Anthropic avverte che la soglia per i sistemi auto-ottimizzanti potrebbe essere raggiunta più rapidamente di quanto le istituzioni siano preparate. Se i modelli di IA potessero migliorarsi autonomamente, il rischio che l'umanità perda il controllo aumenterebbe.

Perché una pausa può funzionare solo collettivamente

Secondo Anthropic, una pausa deve avvenire collettivamente: "Dovrebbero essere stabilite e rispettate regole che sarebbero verificabili da tutti". Le principali aziende di IA in diversi paesi, in particolare negli Stati Uniti e in Cina, dovrebbero accettare contemporaneamente un rallentamento o una pausa affinché il passo sia efficace. Anthropic rifiuta le pause unilaterali perché cambierebbero solo chi è in testa.

Concorrenza, investimenti e valutazione

L'attuale iniziativa avviene sullo sfondo di una concorrenza intensificata nel settore. Le aziende del settore dell'IA si stanno attualmente superando con piani per investire centinaia di miliardi di dollari in infrastrutture IA come enormi centri dati. Solo il mese scorso, Anthropic ha concluso un round di finanziamento con una valutazione di 965 miliardi di dollari, rendendola, secondo l'azienda, valutata più del rivale OpenAI. Lunedì, Anthropic ha anche presentato in via confidenziale documenti per un'offerta pubblica iniziale negli Stati Uniti.

L'amministratore delegato Dario Amodei aveva già sottolineato nel gennaio scorso al World Economic Forum di Davos che "la corsa all'IA con la Cina rende molto difficile un rallentamento dello sviluppo, poiché difficilmente ci sarà un accordo applicabile". Questo scetticismo nei confronti di passi unilaterali permea l'argomentazione dell'azienda. Anthropic cita il Trattato INF come esempio storico, la cui attuazione ha richiesto decenni, e sottolinea che una pausa efficace deve rispondere a domande chiaramente definite: quando entra in vigore un rallentamento, chi lo supervisiona e a quali condizioni viene revocato.

Anthropic ha annunciato che nei prossimi mesi condurrà colloqui con decisori politici, ricercatori, gruppi della società civile e altre aziende di IA per affrontare rischi come i sistemi auto-ottimizzanti e un migliore coordinamento internazionale. L'istituto interno dell'azienda lavorerà su approcci tecnici che consentano un rallentamento controllato. Ciò include anche un sistema di monitoraggio pianificato per garantire che tutti i partecipanti rispettino una pausa e che nessuno ottenga segretamente un vantaggio.

Controversia con il Pentagono e contesto geopolitico

L'iniziativa cade in una fase di maggiore attenzione per l'azienda. Recentemente, il software Claude Mythos Preview ha suscitato scalpore, individuando vulnerabilità di sicurezza, alcune vecchie di decenni, in vari programmi. Allo stesso tempo, Anthropic è coinvolta in una disputa legale con il Dipartimento della Difesa degli Stati Uniti, dopo che il Pentagono ha classificato l'azienda come "rischio per la sicurezza della catena di approvvigionamento" dopo il suo rifiuto di rilasciare i suoi modelli per determinate applicazioni militari. Anthropic sta facendo causa contro questa classificazione e aveva precedentemente dichiarato di non voler vedere la sua IA utilizzata per la "sorveglianza di massa interna" o in sistemi d'arma completamente autonomi.

La Casa Bianca sotto il presidente Donald Trump aveva accusato Anthropic che una regolamentazione più severa stesse frenando l'industria statunitense nella competizione globale. L'Unione Europea, nel frattempo, spera di ottenere accesso di prova alla tecnologia di Anthropic per valutare potenziali rischi. Gli osservatori del settore sottolineano inoltre che Elon Musk aveva già chiesto anni fa una pausa di sei mesi nello sviluppo dell'IA per mitigare i rischi, promuovendo contemporaneamente la fondazione della sua stessa azienda di IA.

Il sostegno all'iniziativa proviene dalla ricerca. L'istituto interno di Anthropic sta lavorando a meccanismi tecnici che dovrebbero rendere possibile un rallentamento controllato. Secondo l'azienda, anche dalla società civile c'è interesse per i colloqui annunciati. Nel post sul blog, Anthropic sottolinea che è necessario uno "sforzo coordinato delle principali aziende di IA a livello mondiale per prevenire uno sviluppo incontrollato di IA auto-migliorabili".

La reazione del settore e dei governi sarà probabilmente decisiva per il successo della proposta. Anthropic stessa ammette che i precedenti appelli a pause hanno avuto scarso effetto finora, ma mantiene la richiesta di "stabilire e rispettare regole che sarebbero verificabili da tutti". Il post sul blog formula l'obiettivo come un meccanismo di emergenza: una procedura coordinata per rallentare o sospendere temporaneamente lo sviluppo di IA estremamente avanzate in caso di crisi.

Ricerca, società civile e coordinamento internazionale

Parallelamente, la pressione economica sta crescendo: secondo Anthropic, a maggio più dell'80% del codice nel proprio repository di codice è stato generato dalla propria IA Claude. Dario Amodei e Anthropic avevano ripetutamente avvertito in precedenza che l'umanità potrebbe non essere in grado di gestire un'IA superintelligente. I prossimi colloqui con la politica, la scienza e la società civile dovrebbero fornire, secondo l'azienda, le prime risposte su come organizzare il divario tra dinamica innovativa e controllo.

Un punto centrale di controversia rimane la questione dell'applicabilità. Anthropic fa riferimento al Trattato INF, che dimostra che i meccanismi di controllo globali sono possibili, ma richiedono tempo. L'azienda sottolinea al contempo che non si tratta di un divieto dell'IA, ma della "possibilità" di una pausa, come strumento coordinato che può essere attivato una volta raggiunte determinate soglie tecniche.

Se la proposta diventerà realtà politica dipenderà anche dalla capacità della Cina, degli Stati Uniti e di altri importanti centri di IA di concordare standard comuni. Anthropic stessa è cauta riguardo alla velocità di un tale processo, sottolineando che già i negoziati sul Trattato INF sono durati decenni.

Prospettive: dal principio all'attuazione

Una cosa è certa: con il post sul blog, Anthropic sposta il dibattito sulla sicurezza dell'IA da un livello puramente tecnico a uno istituzionale. La richiesta di uno "sforzo coordinato delle principali aziende di IA a livello mondiale" mira a prevenire azioni unilaterali e a creare un quadro in cui una pausa non appaia come uno svantaggio competitivo, ma come una responsabilità comune.

Amodei ha ripetutamente avvertito in passato di una superintelligenza e ha sollevato la questione se l'umanità possa controllare un'IA del genere. Il post sul blog riprende questa preoccupazione e la traduce in uno strumento politico concreto: un meccanismo che dovrebbe permettere al mondo di "rallentare o sospendere temporaneamente lo sviluppo di sistemi di IA all'avanguardia".