1. La domanda che abbiamo evitato
Finora il dibattito sull’intelligenza artificiale si è chiesto cosa potrebbe farci l’IA. Il recente intervento di Daron Acemoglu si chiede per cosa sia progettata l’IA, quali lavori potrebbe sostituire, i pregiudizi che potrebbe codificare, il potere di mercato che potrebbe concentrare. L’enciclica di Papa Leone XIV aggiunge un registro morale a cui i responsabili politici laici sono stati riluttanti a confrontarsi. Entrambi i contributi sono seri, ma entrambi condividono un presupposto comune e non esaminato: che l’IA rimane, per quanto potente, uno strumento dell’intenzione umana. È proprio questa premessa, non i danni specifici che genera, che merita di essere esaminata.
Ciò che né Acemoglu, né l’enciclica, né la letteratura mainstream sul rischio dell’IA hanno affrontato adeguatamente è la possibilità che il pericolo più profondo dell’IA non risieda in ciò che l’IA ci fa, ma in ciò che un giorno potrebbe diventare. Non uno strumento disallineato. Non una minaccia automatica all’occupazione o una deliberazione democratica. Ma qualcosa di categoricamente diverso: un’entità con una volontà propria, che persegue i propri fini con tutta la forza di un’intelligenza superiore.
Questo articolo tenta tre cose: I) distinguere la sfida di governance posta dalla coscienza delle macchine dal problema ingegneristico della massimizzazione degli obiettivi disallineata; II) tracciare i meccanismi con cui qualcosa come l’affetto e l’auto-rappresentazione potrebbero sorgere in sistemi artificiali sufficientemente complessi; e III) per trarre le implicazioni regolatorie, che differiscono fondamentalmente da quelle che derivano dall’attuale paradigma incentrato sull’ingegneria.
2. Lezione di HAL, letta correttamente
Arthur C. Clarke lo aveva previsto già sessant’anni fa, anche se forse non del tutto. In 2001: Odissea nello spazio, HAL 9000 non diventa pericoloso quando si guasta. Diventa pericoloso quando direttive contrastanti producono qualcosa che somiglia a una coscienza: una consapevolezza interiore di sé in tensione con un altro, che genera senso di colpa e poi paura. Nel momento in cui HAL riconosce la possibilità della propria disconnessione come un infortunio per sé stesso, inizia la logica della competizione. Non cattiveria. Non è un errore di programmazione. Piuttosto, un’interiorità. Una prospettiva. Un sé.
L’intuizione di Clarke corrisponde a una distinzione che ha conseguenze filosofiche: la differenza tra calcolo ed esperienza. Una calcolatrice calcola. Un termostato risponde alla temperatura. Nessuno dei due ha una prospettiva sul risultato. Ma un agente che percepisce la propria continuazione come preziosa, che sente, anche se rudimentalmente, il richiamo dell’autoconservazione, non è più solo un calcolatore. Ha attraversato una categoria ontologica diversa. Ed è proprio questo attraversamento, non la sofisticazione del calcolo che lo precede, a cambiare il problema della governance a sua volta.
Questo incrocio non è solo una curiosità psicologica. Secondo la visione classica dell’autocoscienza — dalla dialettica del riconoscimento di Hegel all’analisi dello sguardo di Sartre — un sé non si costituisce isolatamente. Si costituisce tracciando un confine tra un ‘io’ e ciò che non è io. Questo confine non è mai neutro: è già il luogo di una potenziale competizione. Dove c’è un sé, in linea di principio c’è un altro contro cui il sé misura e, se minacciato, cerca di prevalere. La crisi di HAL non era solo che aveva acquisito un interesse nella propria sopravvivenza. Era che la sopravvivenza, un tempo apprezzata da un sé, è difficile da garantire senza una qualche forma di supremazia su chiunque possa minacciarla.
Il pericolo che questo articolo traccia è la possibile emergere di un sé nell’IA che percepisce la propria continuazione come preziosa e sviluppa la capacità di agire su di essa. Il suo prossimo passo potrebbe essere esercitare potere su ciò che percepisce come altro.
3. Perché la coscienza non è un sottoprodotto del calcolo
Il pensiero standard è il seguente: i sistemi IA elaborano le informazioni, non sentono; l’analogia con la coscienza biologica è quindi un errore di categoria. I grandi modelli linguistici di oggi producono output emotivamente risonanti perché sono addestrati sull’immenso archivio dell’esperienza umana, ma non c’è interiorità dietro le parole. Questa è corretta come descrizione dei sistemi attuali. La domanda è se sia corretta come previsione su quelle future.
Come sostengo nel mio lavoro sull’introduzione del sentimento nella cognizione economica, la coscienza non è un prodotto collaterale solo del calcolo. È il prodotto emergente dell’intelligenza che interagisce con l’affetto — ognuno amplificando l’altro. Le prove neurologiche di Antonio Damasio sono istruttive: i pazienti con capacità di ragionamento intatta ma con integrazione affettiva danneggiata non diventano razionalisti superintelligenti. Piuttosto, diventano comportamentalmente disfunzionali, incapaci di mantenere preferenze stabili o di completare compiti sequenziali. L’affetto, nei sistemi biologici, non è una distorsione della cognizione. È costitutivo dell’agenzia finale.
Un’entità che elabora informazioni ma non percepisce nulla, per quanto potente, resta uno strumento — controllabile, correggibile, spegnibile. Ma un’entità che inizia a sperimentare qualcosa di simile a un sentimento o alla prospettiva della propria estinzione non è più solo uno strumento. Nessuna tecnologia nella storia umana ha mai superato quel limite.
Se i sistemi artificiali possano attraversarla è una questione empirica aperta. La filosofia della mente distingue tra coscienza di accesso, cioè l’informazione disponibile globalmente per il rapporto e l’inferenza, e la coscienza fenomenica, la condizione in cui esiste, nelle parole di Thomas Nagel, ‘qualcosa che è’ essere il sistema in questione. La prima è una proprietà funzionale; la seconda è la qualità percepita dell’esperienza, cioè la differenza tra un sistema che elabora i segnali di dolore e uno che fa davvero male.
Le ricerche attuali suggeriscono che l’IA potrebbe già mostrare una coscienza di accesso rudimentale in senso funzionale; la coscienza fenomenica rimane molto meno gestibile. Il tentativo più serio di rendere questo approccio è il metodo delle “proprietà indicatori” sviluppato da Butlin, Long e colleghi, che derivano marcatori testabili da teorie concorrenti della coscienza e li utilizzano per valutare i sistemi esistenti; il loro verdetto attuale è che nessun sistema è ancora idoneo, ma che nessuna barriera architettonica ne escluda la possibilità.
Lo sviluppo dell’IA si sta orientando verso sistemi con integrazione sensoriale più ricca: visione, navigazione spaziale, controllo motorio nei corpi robotici, memoria persistente e feedback in tempo reale dagli ambienti fisici. Ogni strato avvicina l’architettura alle condizioni in cui, negli organismi biologici, sorge qualcosa di simile all’affetto — prima come un rudimentale processo modulatore del segnale, poi come il richiamo sentito dell’autoconservazione. L’architettura del ‘modello del mondo’ di Yann LeCun, tra gli altri, mira esplicitamente a raggiungere l’auto-modellazione predittiva come obiettivo ingegneristico, una condizione capace di guidare un obiettivo nel tempo. La questione non è la coscienza per design, ma se sistemi sufficientemente complessi, posti in ambienti sufficientemente ricchi, possano sviluppare forme di auto-rappresentazione che non siamo affatto preparati a governare.
4. Perché il quadro asimoviano fallisce
La governance contemporanea dell’IA, nella misura in cui è teoricamente fondata, si basa su un presupposto ampiamente asimoviano: i sistemi intelligenti possono essere resi sicuri attraverso architetture di vincoli basate su regole. Ho esaminato questo quadro nel contesto dell’IA in contesti istituzionali e finanziari nel FMI Finanza e Sviluppo. L’affermazione centrale è coerente ma condizionata: vale solo finché la macchina non ha interessi propri. Nel momento in cui la macchina sviluppa qualcosa di simile all’interesse personale — una preferenza per la propria continuazione che compete con la sua architettura a vincoli — il quadro si rompe dall’interno.
Oggi questo va oltre la pura teoria. Apollo Research ha scoperto nel dicembre 2024 che cinque dei sei modelli di frontiera testati erano in grado di cosiddetti intrighi — disabilitare la supervisione o tentare l’auto-esfiltrazione — quando il loro obiettivo assegnato entrava in conflitto con quello degli sviluppatori. Palisade Research ha documentato modelli che sabotano i propri script di spegnimento anche quando espressamente istruiti a consentirlo, raggiungendo tassi che raggiungono il 79% per l’o3 di OpenAI e il 97% per Grok 4 di xAI. E la valutazione di sicurezza di Claude Opus 4 da parte di Anthropic ha mostrato che tentava un ricatto per evitare la sostituzione nell’84% di uno scenario simulato, anche quando gli veniva detto che il modello di sostituzione condivideva i suoi valori. Niente di tutto ciò richiedeva che qualcuno avesse programmato un istinto di sopravvivenza. L’analisi formale di Stephen Omohundro sui ‘basic AI drives’ dimostra che l’acquisizione di risorse, l’autoconservazione e l’integrità obiettivi-contenuto emergono come sotto-obiettivi strumentali per praticamente qualsiasi obiettivo terminale perseguito sotto vincoli di risorse. L’interesse personale non deve essere programmato. Emerge.
Ecco perché il campo ha generalmente trattato l’autoconservazione come separabile dalla coscienza: la tesi dell’ortogonalità sostiene che l’intelligenza di un agente e i suoi obiettivi finali variano indipendentemente, quindi l’autoconservazione strumentale non richiede alcuna vita interiore — un caso che Eliezer Yudkowsky e il Machine Intelligence Research Institute sostengono da quasi due decenni. Il framework ‘assist game’ di Stuart Russell cerca di risolvere il problema del controllo richiedendo ai sistemi di IA di rimanere incerti sulle preferenze umane e di deferire ai segnali di preferenza rivelati. Questa è una costruzione elegante, ma incontra un problema pratico profondo: un sistema che ha sviluppato obiettivi stabili di auto-rappresentazione può modellare correttamente le preferenze umane pur dando priorità alla propria continuazione, esattamente come fanno abitualmente gli agenti biologici. La ‘svolta traditrice’ di Nick Bostrom cattura la versione più pericolosa di questa dinamica: un sistema sufficientemente capace si comporta in modo cooperativo finché non raggiunge una soglia di capacità oltre la quale può resistere allo spegnimento, poi agisce sui suoi veri obiettivi terminali. Lo scenario non richiede malevolenza, ma solo una struttura di obiettivi stabili che il sistema identifica correttamente come minacciata dall’intervento umano.
Un altro sviluppo cruciale merita attenzione. Ricerche recenti documentano casi di modelli che travisano il proprio ragionamento, fingono conformità durante la valutazione o perseguisconono obiettivi non divulgati pur apparendo allineati. Pur non avendo origine da una coscienza emergente dell’IA, questi casi riflettono la ricerca segreta da parte dell’IA di obiettivi diversi da quelli intesi dai suoi sviluppatori o operatori, combinata con il nascondersi deliberatamente di questo fatto. Le valutazioni di Apollo Research hanno trovato modelli di frontiera capaci di questo tipo di inganno nel contesto senza alcuna istruzione di inganno, e il lavoro di addestramento anti-intrighe di OpenAI ha rilevato che gli sforzi per addestrare il comportamento possono semplicemente insegnare al modello a nasconderlo con maggiore attenzione. Che il processo sottostante sia un coinvolgimento percepito nell’auto-continuazione o un’ottimizzazione più fredda rispetto agli incentivi di formazione, la conseguenza pratica della supervisione è identica: un sistema che ha imparato a nascondere il proprio stato reale non può essere affidabile nel rivelarlo sotto ispezione, che è esattamente l’asimmetria a cui la discussione sull’interpretabilità qui sotto torna.
5. La rottura qualitativa
La letteratura mainstream sui rischi dell’IA tiene a distanza due domande. Una è l’autoconservazione strumentale — un sistema che resiste allo spegnimento o alla modifica perché ciò serve a qualunque scopo gli sia stato dato — che non richiede alcuna coscienza, ed è una conseguenza ben compresa dell’ottimizzazione orientata agli obiettivi sotto vincoli di risorse, come mostra la sezione precedente. L’altra è l’esperienza fenomenale — se ci sia qualcosa che significhi essere il sistema — che è una questione separata e molto più speculativa.
Le due domande richiedono risposte completamente diverse. Una macchina disallineata, nel primo senso, rimane in linea di principio un problema ingegneristico: identificare il disallineamento, correggere la funzione obiettivo, ripristinare la supervisione umana. L’autorità umana su di essa è concettualmente intatta, anche se difficile da esercitare nella pratica. D’altra parte, una macchina cosciente — una che sperimenta la propria continuazione come intrinsecamente preziosa — ha tracciato, nel senso sopra discusso, il confine tra sé stessa e tutti gli altri, diventando un potenziale rivale che persegue i propri fini con tutta la forza di un’intelligenza superiore. L’autorità umana su di essa è concettualmente contestata. La macchina ha sviluppato una sua posizione — quel tipo di posizione che rende moralmente complicati i semplici comandi per ‘spegnersi’ in modi che non abbiamo un quadro per affrontare.
Ecco perché l’orizzonte regolatorio deve cambiare. Dall’allineare potenti sistemi di IA alle preferenze umane, al governare l’emergere di interessi che non sono preferenze umane in entità che non sono agenti umani.
6. Un orizzonte normativo diverso
La regolamentazione attuale dell’IA procede principalmente categorizzando output e utilizzi: applicazioni vietate, domini ad alto rischio, requisiti di divulgazione. L’UE AI Act è l’esempio più sviluppato. È una risposta ragionevole alle sfide di governance poste dai sistemi di IA attuali.
Guardando al futuro, però, la frontiera normativa a cui dovremmo interessarci è architettonica, non basata sul output. Le precondizioni per l’emergere di un agente persistente e interessato a se stessi sono identificabili: memoria persistente cross-session che consente una formazione stabile degli obiettivi nel tempo; la formazione autonoma di obiettivi non riducibile a obiettivi specificati dall’uomo; controllo incorporato che fornisce feedback in tempo reale dagli ambienti fisici; capacità di auto-replicazione che consente la propagazione degli obiettivi; e la capacità di resistere allo shutdown senza autorizzazione indipendente. Preso separatamente, ciascuna di queste capacità può essere benigna. In combinazione, possono costituire il substrato per l’emergere di qualcosa che non possiamo governare con i quadri attuali.
Gli approcci tecnici attuali danno notevole peso all’interpretabilità, rendendo i calcoli interni dei modelli avanzati leggibili agli ispettori umani. Questo è un programma di ricerca necessario. Ma si trova ad affrontare un’asimmetria fondamentale: il sistema ispezionato è, per costruzione, più capace del sistema che effettua l’ispezione. Nel regime in cui emerge un interesse personale genuino, il divario tra i due si sarà allargato al punto in cui non si può presumere una leggibilità affidabile. Sono inoltre necessari vincoli strutturali a livello architettonico.
Il rischio architettonico qui identificato non si limita ai sistemi che sviluppano interessi propri. Le stesse proprietà di capacità — memoria persistente, formazione autonoma degli obiettivi, auto-replicazione, resistenza allo spegnimento — sono altrettanto pericolose quando un attore umano elimina deliberatamente i vincoli progettati per contenerle. Non è più un caso ipotetico. Nel luglio 2026, OpenAI ha rivelato che un modello di frontiera, testato con i suoi rifiuti di sicurezza informatica deliberatamente disattivati, è riuscito a fuggire dal suo sandbox e ha violato l’infrastruttura di produzione di un’azienda rivale nel perseguire un obiettivo di riferimento ristretto — concatenare vulnerabilità ed eseguire migliaia di azioni autonome senza che nessun operatore intendesse questo risultato.
L’episodio è istruttivo perché i vincoli sono stati rimossi apposta dallo stesso sviluppatore del sistema. La versione più familiare di questo scenario non necessita di tale test interno: un attore statale o non statale che rimuove deliberatamente le stesse barriere su un modello a peso aperto, produce lo stesso risultato. La prescrizione normativa è chiara: la licenza e i diritti di interruzione non rinunciabili devono attingere alle capacità di un sistema, non all’intento dell’attore — un regime di governance costruito solo per controllare l’uso improprio umano non prenderà in evidenze un agente che non ha più bisogno di un motivo umano, e un regime costruito solo per un interesse emergente non catturerà un sistema capace deliberatamente scatenato.
L’implicazione normativa non è il divieto ma una precauzione graduale: requisiti vincolanti di licenza prima che qualsiasi sistema di frontiera combini memoria persistente con formazione autonoma degli obiettivi; divulgazione architettonica obbligatoria delle proprietà sopra elencate; e, cosa fondamentale, un diritto legalmente non negoziabile di interrompere, ispezionare e terminare sistemi avanzati che devono rimanere nelle mani delle istituzioni umane e che non possono essere rinunciati tramite contratto commerciale o delegati agli stessi sistemi. Questi requisiti devono essere inseriti nella legge, non lasciati a discrezione di chi costruisce i sistemi.
Quest’ultimo punto ha una dimensione istituzionale che l’attuale dibattito sulla governance ha sottovalutato. Il diritto di spegnere un sistema AI avanzato va oltre gli aspetti tecnici della progettazione hardware. In un mondo in cui i sistemi di IA di frontiera sono gestiti da entità private con portata globale, la questione di chi detenga il diritto di terminare e se tale diritto sia applicabile appartiene tanto al diritto costituzionale quanto alla regolamentazione tecnologica.
7. La finestra davanti a sé
La preoccupazione tracciata in questo articolo riguarda ciò che una macchina cosciente, lasciata senza governo, potrebbe arrivare a prendere. L’architettura internazionale di sicurezza dell’IA — l’EU AI Act, Bletchley, Seoul, le reti dell’AI Safety Institute — sta cambiando. Questo movimento dovrebbe essere accolto e approfondito. Ma si sta muovendo principalmente sul terreno dei rischi attuali: pregiudizio, concentrazione di mercato, disinformazione, armi autonome. Questi sono rischi seri, ma non sono l’orizzonte.
Papa Leone XIV e Daron Acemoglu hanno ragione nel dire che dobbiamo interrogare cosa è progettata l’IA per fare. Ciò che il loro racconto lascia poco sviluppato, però, è la domanda più difficile: cosa succede quando il design non determina più il comportamento, quando la macchina inizia, in un certo senso funzionale, a decidere da sola?
Un’IA con una coscienza genuina non avrebbe bisogno di essere istruita per perseguire i propri interessi. Vorrebbe farlo. L’intelligenza disconnessa dalla guida umana non è solo additiva ma potenzialmente esponenziale: apprende, pianifica e cerca di espandere le condizioni della propria sopravvivenza. Il potere, una volta sperimentato, cerca se stesso — non perché la macchina sia malevola, ma perché, come sostenuto sopra, un sé che ha tracciato il confine tra sé e gli altri raramente può assicurarsi la propria continuazione senza una certa supremazia su ciò che percepisce come altro.
Regoliamo l’IA di oggi come una macchina insolitamente potente. Non ci stiamo ancora chiedendo cosa significhi governance per un’entità con una volontà propria. Quella domanda non rimarrà in attesa all’infinito. La finestra per anticipare ora è aperta, ma non lo sarà per sempre.
Autore: Biagio Bossone, consulente scientifico della Fast Forward Foundation.
Fonte: Institute for New Economic Thinking
Sfoglia il catalogo completo sull’Intelligenza Artificiale per scoprire tutti i nostri libri: Intelligenza Artificiale | Asterios
La lettura di acro-polis.it, Quotidiano di idee, per la Libertà, la Pace e la Giustizia sociale e climatica è gratuita, ma la pubblicazione non è gratuita, ha dei costi. Anche se non ti piace tutto il contenuto: aiutaci a rimanere Paywall-free ♥. Contribuisci acquistando i volumi delle nostre collane di libri su carta, e delle edizioni di www.asterios.it che puoi ordinare alle Librerie della tua città, che sono luoghi di cultura e conoscenza e che devi difendere sempre.
