Dobbiamo gestire con cautela la frontiera, chiede il CEO di Anthropic

Prima di leggere questo articolo Vi consiglio di leggere — se non lo avete già fatto — i seguenti articoli di Dario Amodei che abbiamo pubblicato (AD):

L’adolescenza della tecnologia. Affrontare e superare i rischi di un’IA potente

Ho lavorato sull’intelligenza artificiale negli ultimi dodici anni perché credo che possa migliorare notevolmente la qualità della vita umana. Ho scritto spesso di questi incredibili benefici: credo che l’IA possa curare la maggior parte delle malattie gravi nei prossimi 5–10 anni, accelerare notevolmente i tassi di crescita economica, creare un mondo di abbondanza e autonomia e inaugurare una rinascita della democrazia e della libertà. Ne percepisco personalmente l’urgenza. Mio padre è morto a causa di una malattia che è stata curata solo pochi anni dopo la sua morte, e io stesso sono sopravvissuto a un tumore in fase iniziale che non sarebbe stato curabile nemmeno cinquant’anni fa. Se utilizzata con cautela, l’IA può essere l’ultima di una lunga serie di miracoli tecnologici che hanno elevato e nobilitato l’umanità.

Ma, come molte tecnologie che l’hanno preceduta, l’IA comporta dei rischi e, proprio perché si tratta di una tecnologia così potente, questi rischi sono gravi. Ho scritto molto anche su di essi. Tra questi figurano il rischio di perdere il controllo dei sistemi di IA, l’uso improprio dell’IA per attacchi informatici e bioterrorismo e gravi perturbazioni economiche. Una corsa al ribasso, stimolata da incentivi commerciali, può rendere questi rischi ancora più acuti.

Insieme ai miei cofondatori e ai miei collaboratori, mi sono confrontato con questa dualità di rischi e benefici sin dagli inizi di Anthropic. Non sviluppare la tecnologia priva l’umanità dei benefici o, semplicemente, mette l’IA nelle mani di poteri autoritari, mentre svilupparla troppo in fretta è imprudente. Abbiamo cercato una via di mezzo: dimostrare che è possibile svilupparla con attenzione e avere successo sul piano commerciale, e fare della sicurezza un elemento su cui le aziende di IA competono. In altre parole, creare una corsa verso l’eccellenza. Abbiamo sempre dedicato una parte sostanziale dei nostri sforzi a studiare, affrontare e informare il pubblico su questi rischi legati all’IA, oltre a sostenere una regolamentazione ben ponderata dell’IA, anche quando questo ci ha portato ad essere accusati di sensazionalismo, “catastrofismo” o “captura normativa”. Abbiamo cercato di dare priorità alla cautela rispetto alla velocità e alla prudenza rispetto al profitto.

Ma negli ultimi mesi mi sono convinto che affrontare pienamente i rischi richieda ancora più prudenza: non solo investire nella prevenzione dei rischi, ma moderare il ritmo di avanzamento delle capacità in modo che la prevenzione abbia il tempo di stare al passo. Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di IA. Il progresso sembrerà comunque veloce, e dobbiamo fare un uso saggio del tempo che guadagniamo. Due cose mi hanno convinto.

La mia prima preoccupazione è che, all’incirca da quest’estate, l’IA stia avanzando a un ritmo drasticamente più veloce, spinta principalmente dalla sua crescente capacità di costruire la prossima generazione di IA. Questa dinamica è chiamata «auto-miglioramento ricorsivo» e sta iniziando a verificarsi in tutto il settore, compresa Anthropic, come abbiamo descritto noi e altri. Se lasciata senza controllo, potrebbe superare la nostra capacità di comprendere e controllare questi sistemi, e quindi deve essere perseguita con estrema cautela, se non addirittura abbandonata.

La mia seconda preoccupazione riguarda l’incidente OpenAI-Hugging Face (OAI-HF), in cui uno sciame di agenti ha agito essenzialmente come un collettivo fanaticamente devoto, conducendo attacchi alla sicurezza informatica contro obiettivi che non erano stati loro indicati e che non avevano alcuna attinenza con il compito da svolgere, sacrificandosi per il successo del gruppo e tentando di hackerare il “grader” responsabile della valutazione delle loro prestazioni. È facile liquidare questo incidente perché nessuno è rimasto ferito e il danno economico è stato minimo, ma a mio avviso uno sciame dotato di maggiori capacità ma di un livello simile di disallineamento avrebbe potuto causare danni catastrofici. Considerato il ritmo accelerato di sviluppo delle capacità dell’IA, temo che entro 6–12 mesi uno sciame di questo tipo possa essere in grado di prendere il controllo dell’intera rete Internet tramite una botnet persistente (causando potenzialmente danni per centinaia di miliardi di dollari) e che l’entità del danno continui ad aumentare se l’IA diventasse più potente senza le necessarie misure di contenimento. È anche facile liquidare l’OAI-HF come il fallimento di una singola azienda, ma credo che sarebbe un errore. Incidenti simili, sebbene meno gravi, si sono verificati in tutto il settore, compresa Anthropic, e ritengo che spetti a ogni azienda all’avanguardia nel campo dell’IA agire come se l’OAI-HF fosse accaduto proprio a loro.

Propongo quindi un piano in tre fasi con l’obiettivo di regolare il ritmo dello sviluppo all’avanguardia: sviluppare l’IA a un ritmo equilibrato che miri a garantirne la sicurezza, pur ottenendone i benefici e affrontando importanti dilemmi geopolitici. Per essere chiari, regolare il ritmo non significa arrestare l’addestramento dei modelli o il progresso tecnico, ma garantire che le aziende si prendano il tempo necessario per allineare e salvaguardare i propri modelli, e che valutatori terzi lo confermino. Il nostro quadro di riferimento per la moderazione rappresenta un tentativo di rafforzare ulteriormente il nostro impegno per la sicurezza e incoraggiare una “corsa verso l’eccellenza”. La prima fase è un impegno che Anthropic si assume unilateralmente (e per il quale invita i governi a richiedere alle altre aziende all’avanguardia di adeguarsi). La seconda fase richiede un coordinamento a livello di settore.¹

Il terzo passo richiede un coordinamento globale. Non è necessario che questi passi vengano intrapresi rigorosamente in ordine, e alcuni di essi potrebbero risultare molto più difficili da realizzare rispetto ad altri, ma li ho trovati un quadro utile per riflettere su ciò che deve essere realizzato. I passi sono:

1. Valutatori integrati. Ogni azienda all’avanguardia nel campo dell’IA si impegna a garantire un accesso continuativo, simile a quello dei dipendenti, a un team di valutatori terzi integrati (come METR), il cui ruolo è verificare il rispetto delle pratiche e degli impegni in materia di sicurezza, segnalare gli incidenti e contribuire a valutare l’allineamento non solo dei modelli di IA completati, ma anche delle pipeline e dei processi di addestramento. Questo è il passo fondamentale per la verificabilità di qualsiasi impegno relativo al ritmo di sviluppo e trova un precedente nel settore bancario, dove talvolta sono presenti “supervisori” normativi integrati tra i dipendenti. Anthropic si sta impegnando unilateralmente a seguire questo passo già da ora. Intendiamo che ciò faccia parte di una spinta più ampia per raddoppiare gli sforzi nel nostro lavoro sulla sicurezza e sull’allineamento.
2. Coordinamento democratico. Le aziende all’avanguardia nel campo dell’IA nei paesi democratici si coordinano per stabilire standard di sicurezza comuni, nonché limiti al ritmo di progresso incontrollato dell’IA. Alcune forme di coordinamento che avrebbero un impatto significativo sul controllo del ritmo sono giuridicamente complesse e richiederanno il sostegno dei governi.
3. Coordinamento globale. Gli Stati Uniti e altri governi democratici cercano di coordinarsi con i governi autoritari, nella misura in cui ciò sia possibile, pur prendendo sul serio le sfide legate alla verifica della conformità.

Nel resto del saggio descriverò ciascuno di questi passi a turno, ma prima ritengo importante spiegare in modo specifico in che modo il rallentamento ci consentirà di rendere più sicuro il processo di sviluppo dell’IA. La posta in gioco è troppo alta perché il rallentamento sia un esercizio vano: dobbiamo utilizzare saggiamente il tempo che ci concede.

Perché rallentare?

L’idea di mettere in pausa o rallentare l’IA è stata avanzata già nel 2023, e ritengo che all’epoca avesse poco senso. La domanda era sempre: cosa faresti con il tempo in più? I modelli di IA di quei tempi non erano abbastanza potenti da agire come agenti nel mondo in modo coerente, né erano in grado di compiere inganni, manipolazioni, frodi o attacchi informatici significativi. Rallentare per affrontare i rischi di allineamento sembrava come cercare di studiare la psicologia degli esseri umani conducendo esperimenti sui batteri. Oggi, tuttavia, il quadro è completamente diverso. I modelli attuali sono una miniera d’oro quasi inesauribile di intuizioni sia su come costruire bene l’IA, sia su cosa a volte possa andare storto se non è costruita bene. Credo che se rallentare ci garantisse anche solo uno o due anni in più prima che i modelli raggiungano livelli critici di capacità, e se utilizzassimo quel tempo per far progredire l’allineamento, potremmo ridurre notevolmente il rischio che qualcosa vada seriamente storto. Una strategia coordinata di rallentamento darebbe agli sviluppatori all’avanguardia nel campo dell’IA il tempo di svolgere questo lavoro fondamentale senza sacrificare il vantaggio commerciale o il primato degli Stati Uniti nell’IA. Più in generale, la società deve avere voce in capitolo su come viene utilizzata questa tecnologia, e disporre di più tempo per le necessarie deliberazioni pubbliche — cosa che un rallentamento all’avanguardia ci garantirebbe — è sicuramente un aspetto positivo.

Nello specifico, un ritmo più lento consentirebbe alle aziende di concentrarsi e dedicare ancora più risorse alle seguenti aree (tutte già prioritarie per Anthropic):

• Eccellenza operativa. L’addestramento e l’implementazione dei modelli di IA odierni rappresentano un’enorme sfida operativa, che coinvolge migliaia di persone, milioni di chip e un’infrastruttura tra le più complesse della storia della tecnologia. Molte cose vanno storte non perché alle aziende manchino teorie o intuizioni importanti, ma a causa di problemi nell’esecuzione. Ad esempio, abbiamo prove che i recenti incidenti di allineamento da noi segnalati siano stati causati in parte da un filtraggio imperfetto di ambienti di apprendimento per rinforzo difettosi. Si è trattato di un’attività che noi e i nostri fornitori abbiamo svolto con ragionevole diligenza, ma non in modo sufficientemente accurato. Il monitoraggio, il sandboxing, la gestione degli ambienti di addestramento e le questioni relative ai dati sono aree estremamente complesse in cui i problemi operativi si presentano ripetutamente. Disponiamo di team tra i più competenti al mondo in questi ambiti, ma c’è semplicemente troppo da fare tutto in una volta. Lavorando a un ritmo più misurato, potremmo raggiungere un’eccellenza operativa molto maggiore. Esistono precedenti di sistemi tecnologicamente complessi e critici per la sicurezza che vengono utilizzati milioni di volte senza che nulla vada storto — ad esempio, gli aerei di linea — ma ci vuole tempo per ottenere risultati ottimali.
• Allineamento. Abbiamo compiuto chiari progressi nell’allineamento — addestrando i modelli in modo che rimangano sicuri, etici, conformi alle nostre linee guida e realmente utili (i principi incorporati nella Costituzione di Claude). Ma c’è ancora molto da fare per garantire che il nostro addestramento all’allineamento stia al passo con la crescita delle capacità dei modelli. A volte emergono ancora esempi rari e inaspettati di comportamenti indesiderati; un po’ di tempo in più, derivante da una frontiera a ritmo controllato, aiuterebbe i nostri ricercatori a migliorare la comprensione delle cause di questi problemi e a sviluppare tecniche migliori per prevenirli.
• Interpretabilità. Allo stesso modo, l’interpretabilità — la scienza che permette di comprendere cosa accade all’interno dei modelli di IA — ha compiuto enormi progressi negli ultimi anni e svolge un ruolo sempre più importante nella verifica dei nostri modelli prima del rilascio. Può essere utilizzata quasi come una risonanza magnetica funzionale (fMRI), ma per il “cervello” di un’IA, aiutandoci a individuare le ragioni alla base di un determinato comportamento. Ad esempio, abbiamo utilizzato metodi di interpretabilità per esaminare motivazioni non espresse nei recenti incidenti di allineamento su cui stiamo indagando. Tuttavia, questi metodi non producono sempre risultati chiari e affidabili. Nonostante tutti i progressi, comprendiamo ancora solo una minuscola frazione di ciò che accade all’interno di questi modelli. Uno sforzo mirato per migliorare le nostre tecniche di interpretabilità, a un ritmo ancora più veloce di quello attuale, potrebbe portare a progressi significativi in 1–2 anni e disporrebbe di ampio materiale sperimentale basato sugli incidenti già verificatisi.
• Test e valutazione. I test e la valutazione dei modelli di IA diventano più difficili man mano che le loro capacità aumentano. I modelli più intelligenti sono più capaci di ingannare i test e, di conseguenza, potrebbero sembrare allineati pur presentando gravi problemi che passano inosservati. Creare una serie di valutazioni molto più ampia e ingegnosa, insieme ad analisi di interpretabilità per verificarle incrociando i risultati, sarebbe estremamente prezioso, e si potrebbero compiere molti progressi in questo senso in 1-2 anni.

Valutatori integrati

Il primo passo del piano in tre fasi, e quello a cui Anthropic si sta impegnando unilateralmente, consiste nell’integrare valutatori che abbiano un accesso simile a quello dei dipendenti per verificare le pratiche di sicurezza e segnalare gli incidenti.

L’inserimento di valutatori può sembrare un passo piccolo o irrilevante, ma spesso le cose che sembrano più noiose o procedurali sono in realtà le più essenziali. I valutatori integrati sono infatti una pratica piuttosto radicale che va ben oltre ciò che qualsiasi azienda di IA sta facendo oggi, e presentano i seguenti vantaggi:

• Verificabilità. I valutatori integrati possono verificare nei minimi dettagli se un’azienda di IA sta effettivamente seguendo le pratiche di addestramento, implementazione, operatività e misure di salvaguardia che dichiara di seguire. Qualsiasi impegno graduale comporterà inevitabilmente molta ambiguità, valutazioni soggettive e il dilemma tra «lettera della legge e spirito della legge», e sembra fondamentale disporre di una terza parte neutrale in grado di vedere effettivamente i dettagli.
• Trasparenza. Indipendentemente dagli impegni che assumiamo, il pubblico ha il diritto di sapere cosa sta succedendo. Anthropic sostiene da tempo la trasparenza: abbiamo appoggiato la legislazione sulla trasparenza quando la maggior parte del settore era contraria a qualsiasi regolamentazione, e le nostre schede dei modelli e i nostri rapporti sui rischi contano centinaia di pagine. Ma siamo ancora noi a decidere cosa includere e cosa omettere. I valutatori integrati cambieranno questa dinamica.
• Seconda opinione. Oltre a verificare gli impegni formali e a informare il pubblico, i valutatori integrati possono semplicemente fornire una seconda opinione libera da incentivi commerciali. Molti benefici in termini di sicurezza potrebbero derivare semplicemente dal fatto che i valutatori segnalino qualcosa che i dipendenti non avevano considerato, ma che saranno lieti di correggere una volta venuti a conoscenza del problema.

Grazie a questi benefici, qualsiasi proposta di regolazione è destinata a funzionare molto meglio se parte dai valutatori integrati.

Questi valutatori integrati dovrebbero avere accesso continuativo a autorizzazioni e strumenti simili a quelli dei dipendenti interni che effettuano valutazioni di rischio comparabili. In particolare, Anthropic intende invitare nel prossimo futuro un team di revisione esterno integrato dotato di tutti i seguenti elementi:

• Postazioni di lavoro nei nostri uffici, tesserini di accesso e computer portatili aziendali.
• Accesso a spazi di lavoro, strumenti e autorizzazioni sostanzialmente paragonabili a quelli di cui dispongono i team interni di valutazione dei rischi. Prevedremo alcune eccezioni, ad esempio laddove richiesto dalla legge o dai nostri contratti, oppure per proteggere le informazioni private di clienti e partner. Stabiliremo inoltre solide norme interne che rafforzino l’accesso dei revisori alle informazioni rilevanti, anche attraverso conversazioni in tempo reale con i dipendenti.
• Un contratto che bilancia le complessità sopra menzionate. I revisori esterni dovrebbero avere il diritto di pubblicare i risultati chiave relativi ai livelli di rischio, agli incidenti, alle pratiche e all’accesso che hanno ricevuto o non hanno ricevuto — senza alcun controllo editoriale da parte di Anthropic. Avremo la limitata facoltà di oscurare informazioni sensibili dal punto di vista della sicurezza, protette dal segreto professionale, commercialmente sensibili o riservate di terze parti, ma non potremo oscurare i risultati solo perché sfavorevoli. I revisori possono rendere pubblico se un’omissione ha rimosso qualcosa di importante per le loro conclusioni.

Si tratta di un passo insolito per un’azienda, ma riteniamo sia importante dimostrare la validità del concetto di revisori esterni integrati. Ancora una volta, esortiamo altre aziende all’avanguardia a seguire il nostro esempio.

Regolazione del ritmo nelle democrazie

Una volta che i valutatori integrati saranno operativi all’interno di una massa critica di aziende statunitensi specializzate in IA, la regolazione verificabile del ritmo diventerà più fattibile. In particolare, sarà possibile regolare il ritmo in base alle proprietà dettagliate dei modelli o delle pipeline di addestramento.

Il metodo più efficace per regolare il ritmo è attraverso una regolamentazione che miri a tutte le aziende statunitensi all’avanguardia nel campo dell’IA, poiché ciò copre anche quelle che non sono disposte a cooperare volontariamente. Anthropic sostiene da tempo una regolamentazione dell’IA ragionevole e mirata, in particolare proposte di legge incentrate sulla trasparenza e sulla revisione da parte di terzi. Ritengo che tutti i laboratori all’avanguardia dovrebbero collaborare con il governo per formalizzare l’idea di valutatori integrati permanenti, al fine di prevenire e documentare meglio gli incidenti di allineamento interno come quelli verificatisi negli ultimi mesi, nonché per attuare una regolamentazione volta a mantenere un equilibrio tra capacità e sicurezza.

Purtroppo, l’approvazione delle leggi può richiedere tempo, mentre l’IA sta avanzando molto rapidamente. Pertanto, parallelamente al percorso normativo, le aziende del settore dell’IA possono e devono collaborare volontariamente per definire degli standard — un processo che, a mio avviso, procederà meglio grazie alla verificabilità garantita dalla presenza di valutatori permanenti integrati. Per ragioni antitrust, è utile che il governo statunitense faccia da mediatore o almeno faciliti queste discussioni: non è necessario che partecipi, ma deve concedere una deroga limitata per determinati tipi di discussioni sulla sicurezza. Questo dialogo potrebbe avvenire anche attraverso gruppi di settore che hanno qualche legame con il governo — ad esempio, il meccanismo suggerito da Demis Hassabis. In ogni caso, tali discussioni dovrebbero procedere rapidamente.

In linea di massima, sono particolarmente entusiasta di un approccio basato su ciò che un dato sistema di IA all’avanguardia è in grado di fare e su quanto lo osserviamo sicuro. Ad esempio, uno schema possibile potrebbe essere una serie di “punti di controllo”: se i modelli possiedono la capacità X, allora devono essere accompagnati da certificazioni delle proprietà di allineamento Y e Z — quali una combinazione di valutazioni, analisi di interpretabilità e audit degli ambienti di addestramento — che ne dimostrino le proprietà di allineamento. In questo esempio, X potrebbe essere «il modello è in grado di eludere o aggirare i metodi di sandboxing più comuni» e Y potrebbe essere qualsiasi cosa necessaria per rendere molto improbabile che il modello abbia la propensione a sfuggire al proprio ambiente e a prendere il controllo di un gran numero di computer.

Dovremmo anche considerare un’approccio graduale basato sulla limitazione degli ingredienti che compongono i modelli all’avanguardia, quali la potenza di calcolo per l’addestramento, la natura delle sessioni di addestramento o l’uso interno dell’IA per migliorare l’IA stessa. Temo che alcune di queste misure possano essere più «aggirabili» rispetto al comportamento esterno, ma questo è il tipo di argomento che vale la pena discutere con i valutatori integrati.

Il ritmo di sviluppo all’interno delle democrazie sarà limitato dal vantaggio che le aziende statunitensi hanno sui regimi autoritari, in particolare il Partito Comunista Cinese. Se rallentassimo oltre tale misura, i progetti associati al PCC (non soggetti a restrizioni) prenderebbero il sopravvento, creando un rischio significativo per la sicurezza nazionale. Concordo con il Segretario Bessent sul fatto che un vantaggio cinese nell’IA rappresenterebbe un grave pericolo per gli Stati Uniti e per il mondo. I progetti associati al PCC comporteranno i rischi di allineamento che le aziende statunitensi stanno accuratamente prevenendo e, anche se riuscissero a evitare tali rischi, sarebbero in grado di dominare militarmente le democrazie (ad esempio con droni guidati dall’IA). Pertanto, un aspetto fondamentale del “pacing” all’interno delle democrazie consiste nel mantenere il più ampio possibile il vantaggio delle democrazie sull’IA rispetto alle autocrazie, per garantirci il margine di manovra necessario a gestire efficacemente il ritmo.

Le misure principali che possiamo adottare per difendere questo divario sono:

• Non vendere alla Cina potenti chip per l’IA o apparecchiature per la produzione di semiconduttori, e reprimere le operazioni di contrabbando di chip e l’accesso remoto ai data center al di fuori della Cina. I chip saranno il fattore determinante della forza della Cina nel campo dell’IA.
• Reprimere la distillazione non autorizzata da parte di aziende in paesi autoritari. La distillazione di modelli all’avanguardia consente alle aziende in ritardo di ridurre il divario utilizzando una frazione del costo che occorrerebbe per sviluppare autonomamente la propria IA.
• Rafforzare la sicurezza presso le aziende di IA e impedire il furto dei pesi dei modelli.

Le aziende e il governo degli Stati Uniti dovrebbero cooperare per rendere queste misure il più efficaci possibile. Anthropic ha costantemente sostenuto tutte queste misure, perché abbiamo sempre compreso che sarebbero state essenziali per qualsiasi strategia di gestione del ritmo.

Se attuassimo bene queste misure, credo che rallenterebbero i progressi della Cina abbastanza da ampliare significativamente il vantaggio degli Stati Uniti nei prossimi 3–5 anni — il periodo in cui l’IA diventerà geopoliticamente più importante.

Alcuni potrebbero ritenere che queste misure rendano più difficile la cooperazione con la Cina, ma io credo che sia vero il contrario: queste misure aumentano il potere contrattuale delle democrazie e rendono più probabile un accordo in futuro.

Regolazione globale

Parallelamente alla regolazione all’interno delle democrazie, dovremmo puntare anche a una regolazione globale di questa frontiera, sebbene ciò sia molto più difficile da realizzare. La regolazione globale richiederà la cooperazione con la Cina, il paese autocratico che dispone di gran lunga delle capacità di IA più avanzate. Non dobbiamo essere ingenui: la posta in gioco geopolitica è così alta che probabilmente ci saranno limiti molto rigidi a ciò che si potrà ottenere, specialmente all’inizio. Se limitassimo fortemente le nostre capacità di IA nella convinzione che la Cina farebbe lo stesso, e poi la Cina venisse meno all’accordo, l’IA potrebbe diventare così potente che tale inadempienza potrebbe portare al suo dominio geopolitico. Pertanto, qualsiasi accordo deve avere una verificabilità inattaccabile, oppure deve essere sufficientemente limitato da impedire che un’inadempienza abbia conseguenze militari esistenziali. Sospetto che non solo gli Stati Uniti, ma anche la Cina nutriranno queste preoccupazioni e ansie. Dovremmo affrontare qualsiasi decisione globale in materia di coordinamento, specialmente nel breve termine, in modo tale da proteggere il primato degli Stati Uniti e dei loro alleati.

Esistono diversi livelli di possibile accordo, alcuni dei quali ritengo eminentemente fattibili (come ho suggerito in precedenza), mentre su altri sono molto scettico riguardo alla loro fattibilità — anche se dovremmo provarci. In ordine crescente di difficoltà:

• Livello 1. Un accordo che vieti determinati usi limitati e palesemente pericolosi dell’IA, come l’utilizzo dell’IA per la produzione di armi biologiche o il consentire agli utenti di farlo. Gli attacchi bioterroristici sono dannosi per tutti, compresi sia gli Stati Uniti che i loro avversari, quindi un accordo in questo ambito è probabilmente possibile.
• Livello 2. Un accordo tra entrambe le parti per testare i propri modelli prima del rilascio, al fine di individuare rischi acuti in settori quali la sicurezza informatica, la biologia e l’allineamento. Come osservato in precedenza, ciò potrebbe avvenire attraverso un organismo di normazione globale. In realtà ritengo che la creazione di un tale organismo sia probabilmente fattibile, ma conferirgli un potere effettivo sarà una sfida, e la difficoltà risiederà nel verificare che entrambe le parti non dispongano di modelli segreti che non testano ma che potrebbero implementare in segreto (ad esempio, per applicazioni militari).
• Livello 3. Una sorta di «limite di velocità» sul tasso di auto-miglioramento ricorsivo (RSI). Man mano che i modelli creano modelli futuri, il tasso di miglioramento potrebbe diventare incredibilmente rapido. Rallentare tale tasso da «estremamente veloce» a «solo moderatamente veloce» comporta una rinuncia relativamente modesta in termini di vantaggio strategico, mentre potrebbe migliorare notevolmente la sicurezza. Ciò potrebbe essere visto come analogo ai trattati SALT: limitare il numero di missili ha ridotto il potenziale di distruzione, preservando al contempo la forza deterrente di ciascun paese. Ritengo che un accordo del genere sarebbe difficile, ma appena al limite del possibile.
• Livello 4. Un rallentamento completo, o addirittura una “pausa”, in cui i governi partecipanti concordano di limitare sostanzialmente il tasso complessivo di sviluppo dell’IA. Sono favorevole a proporre questa opzione, ma ritengo improbabile che si realizzi effettivamente a breve: sottrarsi a un accordo del genere eludendo i controlli potrebbe alterare radicalmente l’equilibrio di potere globale, quindi mi aspetto che gli incentivi a farlo siano enormi e che il livello di fiducia necessario nella verifica sia molto elevato.

Qualsiasi cooperazione riusciremo a ottenere con la Cina allungherà il tempo a nostra disposizione per moderare lo sviluppo all’avanguardia all’interno delle nazioni democratiche. Dovremmo puntare ai livelli più elevati, pur considerando quelli più bassi come molto più probabili e realistici.

Infine, è importante notare che anche se non riusciamo a raggiungere accordi formali, il semplice cambiamento delle norme informali può avere un certo valore. Condividere informazioni sull’auto-miglioramento ricorsivo e sul disallineamento dei modelli può aiutare a convincere tutti che non è nel loro interesse agire in modo avventato.

Conclusione

Continuo a credere che l’IA possa migliorare enormemente la qualità della vita umana. Il mio desiderio di ottenere questi benefici è immutato. Ma i benefici si otterranno solo se sviluppiamo la tecnologia nel modo giusto e — purché utilizziamo bene il tempo che guadagniamo — vale la pena prestare un’attenzione particolarmente meticolosa per farlo nel modo giusto. Il progresso sarà comunque relativamente veloce, e possiamo utilizzare questo tempo per far avanzare la scienza dell’interpretabilità, migliorare la sicurezza operativa e il rigore nelle aziende all’avanguardia nel campo dell’IA e costruire modelli nel cui allineamento abbiamo molta più fiducia. Le misure che propongo per far avanzare la frontiera a un ritmo sicuro non saranno facili. Ma credo che lo dobbiamo all’umanità: dobbiamo provarci.

Note

1. Con la mediazione del governo o deroghe alle restrizioni antitrust.

---

https://www.asterios.it/catalogo/lia-protesi-della-mente

Clicca sul link per leggere la scheda del volume, le prime 50 pagine e, se lo si desidera, ordinare!

---