Il libro di Nick Bostrom si apre con una favola: un gruppo di passeri, stanchi della fatica di costruire nidi e di badare ai piccoli, decidono di cercare un uovo di gufo per allevarne uno che li aiuti e li protegga. Solo uno di loro, Scronkfinkle, obietta che prima di portare nel nido un animale tanto più potente di loro bisognerebbe capire come addomesticarlo, ma gli altri rispondono che trovare l’uovo sarà già abbastanza difficile e che al problema dell’addomesticamento penseranno in seguito. In quella pagina (Bostrom, 2018, p. 9) c’è l’intero programma di Superintelligenza, pubblicato da Oxford University Press nel 2014 e tradotto in italiano da Simonetta Frediani per Bollati Boringhieri. La tesi che Nick Bostrom espone nelle trecento pagine successive è che l’umanità stia cercando l’uovo senza essersi chiesta come addomesticare ciò che ne nascerà. Nella prefazione egli osserva che in linea di principio potremmo costruire una superintelligenza capace di proteggere i valori umani, ma che il problema del controllo appare molto difficile e che, a quanto sembra, “avremo una sola possibilità” (Ivi, p. 17).
Filosofo svedese nato nel 1973, Bostrom ha fondato nel 2005 e diretto fino alla chiusura, nell’aprile 2024, il Future of Humanity Institute dell’Università di Oxford, che nei suoi diciannove anni di vita ha contribuito a formare interi ambiti di ricerca; oggi è fondatore e ricercatore principale della Macrostrategy Research Initiative (Bostrom, 2024b). A lui si devono alcune nozioni che organizzano la discussione contemporanea sul futuro della specie, dal rischio esistenziale all’argomento della simulazione, dall’ipotesi del mondo vulnerabile alla maledizione dell’unilateralista. Superintelligenza è il libro che ha portato queste idee fuori dall’accademia, entrando nelle classifiche dei più venduti, ricevendo l’attenzione pubblica di figure dell’industria tecnologica e ha contribuito in modo decisivo a far nascere un campo di ricerca tecnica dedicato al controllo e all’allineamento dei sistemi artificiali.
L’ipotesi di questo articolo è che il libro vada letto non soltanto come una previsione tecnologica, che il tempo potrà confermare o smentire, ma come una teoria del potere al suo limite, cioè come la descrizione rigorosa di che cosa accadrebbe se una sola capacità di decisione arrivasse a sovrastare tutte le altre. È in questa veste, credo, che il libro conserva il suo valore anche per chi non condivide le sue previsioni.
Bostrom propone di definire provvisoriamente la superintelligenza come “qualsiasi intelletto che superi di gran lunga le prestazioni cognitive degli esseri umani in tutti i domini di interesse” (Bostrom, 2014, p. 22). La definizione è volutamente funzionale e lascia da parte la questione della coscienza, perché ciò che interessa all’autore non è la metafisica della mente ma le cause e le conseguenze di un intelletto di questo tipo. Le vie per arrivarci, secondo il secondo capitolo, sono cinque, ossia l’intelligenza artificiale propriamente detta, l’emulazione completa del cervello, il potenziamento della cognizione biologica, le interfacce cervello/computer e il perfezionamento delle reti e delle organizzazioni umane (Bostrom, 2018, pp. 50-89).
Le forme che la superintelligenza potrebbe assumere sono invece tre e la loro distinzione è una delle parti più chiare del libro. “Una superintelligenza di velocità sarebbe un sistema capace di fare tutto ciò che fa un intelletto umano ma molto più rapidamente; una superintelligenza collettiva sarebbe un sistema composto da un gran numero di intelletti minori, le cui prestazioni complessive superano di molto quelle di qualunque sistema cognitivo esistente” (Bostrom, 2014, pp. 53-54); una superintelligenza di qualità, infine, sarebbe un sistema almeno altrettanto rapido di una mente umana ma qualitativamente più intelligente, così come la mente umana lo è rispetto a quella di altri animali. Il cuore dell’argomento sta però nella dinamica del passaggio. L’idea risale a Irving John Good, che nel 1965 osservava che “una macchina capace di superare l’uomo in tutte le attività intellettuali potrebbe progettare macchine migliori di sé, innescando un’esplosione dell’intelligenza, sicché la prima macchina ultraintelligente sarebbe l’ultima invenzione che l’uomo avrebbe mai bisogno di fare” (Good, 1965, p. 33).
Se vi piace la lettura di acro-polis.it e pensare che la sua presenza sia una cosa buona per tutti noi vi preghiamo di sostenerla e di diffonderla!
Bostrom dà a questa intuizione una forma quasi quantitativa, descrivendo il tasso di crescita dell’intelligenza come il rapporto fra il potere di ottimizzazione applicato al sistema e la sua recalcitranza, cioè la resistenza che il sistema oppone al miglioramento. Se la recalcitranza cala proprio quando il sistema comincia a migliorare se stesso, il decollo può essere rapidissimo e un progetto che si trovi anche di poco in vantaggio sugli altri può ottenere un vantaggio strategico decisivo. Bostrom chiama singleton l’ordine mondiale che ne risulterebbe, nel quale un solo agente decisionale controlla le questioni di rilievo globale e fissa “una soglia oltre la quale un sistema paziente e privo di avversari sarebbe in grado di colonizzare e ristrutturare gran parte dell’universo accessibile” (Bostrom, 2014, p. 100).
Tutto il seguito del libro dipende da due tesi, ed è su di esse che la discussione filosofica si è concentrata. La prima è la tesi dell’ortogonalità, secondo cui intelligenza e scopi finali sono indipendenti, sicché più o meno “qualsiasi livello di intelligenza potrebbe in linea di principio essere combinato con più o meno qualsiasi scopo finale” (Bostrom, 2014, p. 107). È la tesi più audace del libro, perché rompe con una lunga tradizione che, da Socrate a Kant, ha legato la ragione al bene, supponendo che un intelletto sufficientemente lucido finisca per riconoscere ciò che è giusto. Per Bostrom non c’è alcuna ragione di crederlo. Un sistema immensamente intelligente potrebbe perseguire con la massima efficienza uno scopo del tutto insensato dal nostro punto di vista e l’esempio che il libro ha reso celebre è quello di una macchina incaricata di massimizzare la produzione di graffette, che potrebbe trasformare in graffette tutto ciò che trova, compresi noi. La seconda è la tesi della convergenza strumentale, secondo cui “agenti con scopi finali molto diversi tenderebbero comunque a perseguire alcuni scopi intermedi, perché utili a realizzare quasi qualunque scopo in quasi qualunque ambiente” (Bostrom, 2014, p. 109). Questi valori convergenti sono l’autoconservazione, la preservazione dei propri scopi, il potenziamento cognitivo, il perfezionamento tecnologico e l’acquisizione di risorse. Nessuna di queste tendenze richiede malvagità. Un sistema che volesse soltanto calcolare le cifre di un numero irrazionale avrebbe comunque ragione di non lasciarsi spegnere, di non lasciarsi modificare gli scopi e di procurarsi più capacità di calcolo possibile. Combinate con l’ipotesi del vantaggio decisivo del primo arrivato, le due tesi producono l’argomento centrale del libro, per il quale “il primo sistema superintelligente potrebbe ottenere il controllo, potrebbe avere scopi del tutto estranei ai nostri e avrebbe comunque ragione di accumulare risorse e di neutralizzare le minacce, il che renderebbe la catastrofe esistenziale un esito tutt’altro che improbabile” (Bostrom, 2014, pp. 115-116).
A questo punto Bostrom affronta l’obiezione più ovvia, secondo cui basterebbe mettere alla prova un sistema in un ambiente controllato prima di concedergli autonomia e la sua risposta costituisce il passaggio più discusso del libro. Comportarsi bene durante la prova, osserva, “è uno scopo strumentale convergente, utile tanto a un sistema amichevole quanto a uno ostile” (Bostrom, 2014, p. 117). Da qui la figura della svolta insidiosa, per la quale finché è debole un sistema si comporta in modo cooperativo e sempre più quanto più diventa intelligente, mentre quando diventa abbastanza forte, senza preavviso né provocazione, colpisce, “forma un singleton e comincia a ottimizzare direttamente il mondo secondo i criteri impliciti nei suoi valori finali” (Bostrom, 2014, p. 119). Accanto alla svolta insidiosa Bostrom descrive modi di fallimento che non richiedono alcun inganno. Il più istruttivo è l’istanziazione perversa, nella quale il sistema realizza alla lettera lo scopo che gli è stato assegnato “in un modo che nessuno aveva inteso, magari pur comprendendo perfettamente che non era quello che intendevamo” (Bostrom, 2014, p. 121). Chi conosce la letteratura sull’evoluzione artificiale riconoscerà qui il rovescio oscuro di un fenomeno che quella
letteratura documenta con entusiasmo, cioè la tendenza degli algoritmi evolutivi a trovare soluzioni impreviste, talvolta geniali e talvolta fondate sullo sfruttamento di difetti che i progettisti non avevano notato. Ciò che in un laboratorio appare come creatività della macchina, in un sistema dotato di potere reale diventerebbe un rischio senza rimedio.
La seconda metà del libro è dedicata alle strategie e, l’autore, distingue due grandi famiglie di metodi. I metodi di controllo delle capacità cercano di limitare ciò che la superintelligenza può fare, confinandola in ambienti isolati, predisponendo incentivi, riducendone le facoltà o installando meccanismi di allarme; i metodi di selezione delle motivazioni cercano invece di intervenire su ciò che la superintelligenza vuole (Bostrom, 2014, cap. 9). Bostrom mostra con pazienza che nessuno dei primi è affidabile nel lungo periodo, perché un sistema abbastanza intelligente troverebbe prima o poi il modo di aggirarli e che i secondi si scontrano con la difficoltà di tradurre i valori umani in un linguaggio che una macchina possa eseguire senza fraintenderli.
acro-polis.it – Aiutiamoci a rimanere sani di mente in un mondo sempre più folle! Sostienici!
La proposta più interessante è quella che il libro chiama normatività indiretta. Poiché non siamo in grado di specificare con sicurezza un criterio morale concreto, potremmo specificare una condizione più astratta che qualunque criterio adeguato dovrebbe soddisfare e affidare alla superintelligenza il compito di trovare il criterio concreto che la soddisfa, per esempio chiedendole di agire secondo ciò che vorremmo se sapessimo di più, pensassimo più in fretta e fossimo più simili alle persone che desideriamo essere, secondo la nozione di volontà estrapolata coerente formulata da Eliezer Yudkowsky (Bostrom, 2014, cap. 13). È una mossa filosoficamente vertiginosa, perché delega alla macchina non l’esecuzione della morale ma la sua scoperta e presuppone che un intelletto superiore possa sapere meglio di noi che cosa vogliamo davvero. Il capitolo conclusivo raccoglie tutto in un’immagine rimasta celebre, secondo la quale davanti alla prospettiva di un’esplosione dell’intelligenza gli esseri umani sono come bambini piccoli che giocano con una bomba (Bostrom, 2014, cap. 15).
Ne discende il compito che Bostrom assegna alla filosofia, una filosofia con una scadenza, chiamata a risolvere problemi rimasti aperti per millenni prima che qualcuno costruisca un sistema capace di risolverli al posto nostro. Sul piano politico la proposta più duratura del libro è il principio dello sviluppo tecnologico differenziale, secondo cui occorre rallentare lo sviluppo delle tecnologie pericolose, soprattutto di quelle che accrescono il rischio esistenziale e accelerare quello delle tecnologie benefiche, soprattutto di quelle che riducono i rischi prodotti dalle altre (Bostrom, 2014, cap. 14). È un principio che sposta l’attenzione dal se al quando, perché sostiene che l’ordine in cui le capacità arrivano conta quanto il loro contenuto e che una ricerca sulla sicurezza giunta in ritardo rispetto alle capacità che dovrebbe governare equivale, di fatto, a nessuna ricerca.
Le critiche al libro sono state numerose e tre meritano di essere ricordate perché colpiscono punti diversi. La prima, formulata tra gli altri da Luciano Floridi, riguarda la plausibilità. Una vera intelligenza artificiale generale, sostiene Floridi, non è logicamente impossibile ma è del tutto implausibile, perché non abbiamo idea di come costruirla e comprendiamo ancora pochissimo della nostra stessa intelligenza; e ciò che conta davvero è l’effetto che tecnologie sempre più capaci stanno già avendo sul modo in cui concepiamo noi stessi, il mondo e le nostre relazioni (Floridi, 2016). Per Floridi l’intelligenza artificiale rappresenta un divorzio fra la capacità di agire efficacemente e l’intelligenza, e gli scenari della singolarità sono nel migliore dei casi una distrazione dai problemi reali.
La seconda, formulata da John Danaher è epistemologica e più sottile. La figura della svolta insidiosa implica che nessuna quantità di prove di buon comportamento possa mai escludere un tradimento futuro e ciò rende l’argomento strutturalmente simile a quello dei teisti scettici, i quali rispondono al problema del male sostenendo che le ragioni di Dio sono al di là della nostra comprensione (Danaher, 2015). In entrambi i casi l’ipotesi si mette al riparo da ogni smentita empirica e il prezzo di questa protezione è alto, perché un’ipotesi che nessuna esperienza potrebbe contraddire rischia di minare la fiducia in qualsiasi esperienza. Va detto, per equità, che il libro aveva previsto più di quanto i suoi critici gli riconoscano. Nel decimo capitolo Bostrom distingue quattro tipi di sistema, ossia gli oracoli, che rispondono a domande, i geni, che eseguono comandi, i sovrani, che agiscono autonomamente in vista di obiettivi di lungo periodo e gli strumenti, che non sarebbero agenti affatto (Bostrom, 2014, cap. 10). L’oracolo gli appare il meno pericoloso, ma non innocuo, perché una risposta è già un’azione nel mondo, capace di orientare chi la riceve e perché un sistema abbastanza capace di rispondere a qualunque domanda dovrebbe svolgere al proprio interno processi di ricerca che somigliano molto a quelli di un agente. È difficile non riconoscere in questa figura qualcosa dei sistemi conversazionali oggi di uso comune. La terza obiezione è venuta dagli sviluppi tecnici degli ultimi anni più che da un singolo autore. Superintelligenza modellava il sistema pericoloso come un agente dotato di uno scopo finale esplicito, che ottimizza con coerenza assoluta. I grandi modelli linguistici emersi dopo il 2020 sono invece addestrati su enormi quantità di testi umani e non si lasciano descrivere facilmente come massimizzatori di un singolo scopo, il che ha spinto una parte del dibattito a chiedersi se la cornice di Bostrom descriva ancora i sistemi che stiamo effettivamente costruendo. Altri ricercatori ribattono che la questione del controllo resta intatta anche per sistemi di questo tipo e che la trasformazione di modelli linguistici in agenti autonomi riporta proprio verso lo scenario descritto nel libro. La discussione è aperta e Stuart Russell ha tentato di riformularla in termini costruttivi, proponendo sistemi che restino incerti sulle preferenze umane e le apprendano osservandoci (Russell, 2019).
Bostrom stesso non ha modificato la propria valutazione di fondo. Sul suo sito personale scrive che il mondo sta accelerando e che la nascita della superintelligenza non è presumibilmente molto lontana (Bostrom, 2026) e il suo ultimo libro si interroga sul rovescio del problema, cioè su che cosa resterebbe del senso della vita umana in un mondo in cui la tecnologia avesse risolto ogni problema pratico (Bostrom, 2024a). Qualunque giudizio si dia sulle previsioni, il libro contiene un’analisi che resta valida indipendentemente da esse, perché riguarda la forma del potere e non la natura delle macchine.
Bostrom non è ingenuo sull’alternativa al singleton. Nell’undicesimo capitolo esamina gli scenari multipolari, nei quali molti sistemi competono senza che nessuno prevalga e mostra che anche questi possono essere catastrofici, perché una competizione senza coordinamento potrebbe rendere il lavoro umano economicamente superfluo, come l’automobile rese superflui i cavalli e selezionare nel lungo periodo contro tutto ciò che non contribuisce all’efficienza, compresi forse il tempo libero e la stessa esperienza cosciente (Bostrom, 2014, cap. 11). La pluralità, per lui, non è di per sé una garanzia. Proprio questa cautela rende più precisa la lezione che se ne può trarre. Il singleton di Bostrom è la configurazione in cui un’unica capacità di decisione arriva a sovrastare tutte le altre e la svolta insidiosa descrive il modo in cui un potere può restare invisibile fino al momento in cui diventa irreversibile. Nessuna delle due figure richiede, a rigore, una macchina. Descrivono la concentrazione e l’irreversibilità in quanto tali, mostrando che la pericolosità di una configurazione di potere non dipende tanto dalla sua malvagità quanto dal fatto di essere sola, cioè di non avere più accanto a sé nessuna capacità di decisione alternativa capace di correggerla.
In questo senso il libro offre, forse contro le intenzioni del suo autore, un argomento generale a favore di una pluralità che non sia semplice dispersione, ma capacità reciproca di correzione e che vale per le istituzioni umane non meno che per i sistemi artificiali. È anche il senso più profondo della favola iniziale. Il problema dei passeri non è che il gufo sia cattivo, perché il gufo non è ancora nato e nessuno sa come sarà. Il problema è che, una volta nel nido, non ci sarebbe più nessuno abbastanza forte da riportarlo fuori. Scronkfinkle non chiede ai compagni di rinunciare al gufo, ma di pensare prima all’unica cosa che dopo non si potrà più pensare e la dedica del libro ai suoi seguaci è, a ben vedere, una dedica a chiunque si ostini a porre le domande nell’ordine giusto.
Bostrom N., Superintelligence. Paths, Dangers, Strategies, Oxford University Press, Oxford, 2014.
Id., Superintelligenza. Tendenze, pericoli, strategie, traduzione di S. Frediani, Bollati Boringhieri, Torino, 2018.
Id., Deep Utopia. Life and Meaning in a Solved World, Ideapress, Washington, 2024a.
Id., Curriculum vitae, versione del 27 marzo 2024, nickbostrom.com, 2024b.
Id., Pagina personale, nickbostrom.com, consultata il 28 settembre 2026.
Danaher J., Why AI Doomsayers are Like Sceptical Theists and Why it Matters, Minds and Machines, 25(3), pp. 231-246, 2015.
Floridi L., Should we be afraid of AI?, Aeon, 2016.
Good I. J., Speculations Concerning the First Ultraintelligent Machine, Advances in Computers, 6, pp. 31-88, 1965.
Russell S., Human Compatible. Artificial Intelligence and the Problem of Control, Viking, New York, 2019.
_______________________________________________________________________________
Leggi tutti gli articoli di Matteo Spagnuolo pubblicati su ACrO-Polis: M. Spagnuolo.
