Il 5 marzo 2025, l’Association for Computing Machinery, assegna il Premio Turing per il 2024 ad Andrew Barto e Richard Sutton, per aver sviluppato le fondamenta concettuali e algoritmiche dell’apprendimento per rinforzo (ACM, 2025). Sedici mesi dopo, il 14 luglio 2026, Sutton lascia l’azienda per cui lavorava e fonda a Toronto un proprio laboratorio con un ex dottorando, dichiarando che l’apprendimento profondo va ripensato dalle fondamenta e pubblica, contestualmente, un nuovo algoritmo di apprendimento continuo (Oak Lab, 2026). Questa mossa non è, come potrebbe pensarsi, del personaggio dissidente. Sutton è tra le persone più ascoltate del settore, gli algoritmi che ha costruito sono all’interno dei sistemi conversazionali allineati con riscontro umano, all’interno dei programmi che batterono i campioni umani nei giochi e nei controlli robotici.
In questo articolo cerco di mostrare come il suo pensiero, molto probabilmente, sia oggi il più eterodosso del panorama. La tesi, per così dire, che vorrei far emergere è che le sue tre mosse (un risultato sperimentale, una rettifica concettuale e un’ipotesi ontologica) attacchino tutte lo stesso bersaglio, che non è un’architettura ma, al contrario, la struttura temporale su cui l’intero campo è costruito: l’assunto che l’apprendimento sia qualcosa che ad un certo punto finisce.
1. Il risultato che il campo non ha assorbito
Nell’agosto 2024 esce su “Nature” un articolo firmato da Sutton con cinque colleghi dell’Università dell’Alberta. L’osservazione di partenza è tanto banale quanto spinosa: le reti profonde vengono quasi sempre usate in due fasi, una in cui i pesi si aggiornano e una in cui restano costanti mentre il sistema viene usato. Questo, oltre ad andare in contrasto con l’apprendimento biologico, non metteva in chiaro se i metodi di apprendimento profondo funzionassero nei regimi continui (Sutton, 2024). Oltre a scoprire che non funzionano, si è capito che i metodi standard perdono gradualmente plasticità fino a non imparare meglio di una rete superficiale e il fenomeno, inoltre, si presenta su un ventaglio ampio di architetture e di algoritmi.
Nella versione preliminare del lavoro il dato è quatificato, su ImageNet riformulato come sequenza di compiti di classificazione binaria, l’accuratezza scende dell’89 per cento dei primi compiti al 77 circa al duemillesimo e la perdita si osserva con ottimizzatori, funzioni di attivazione, normalizzazione dei lotti e dropout diversi (Sutton, 2023). Bisogna capire, spiega Sutton, cos’è successo perché tutto ciò è diverso dall’oblio di cui si parla da circa trent’anni. Il punto della questione non è che la rete dimentichi ciò che sapeva ma, invece, essa perde la facoltà di imparare pur mantenendo tutti i parametri, la capacità nominale e l’apparato di calcolo.
La conclusione a cui gli autori arrivano è la parte innovativa ed è una proposizione contro i metodi presenti nel campo, ovvero che l’apprendimento profondo sostenuto “richiede una componente casuale, non-gradiente, per mantenere la variabilità” (Sutton, 2024, p. 768). L’algoritmo che gli studiosi propongono è identico alla retropropagazione convenzionale, tranne che ad ogni passo una piccola frazione di unità poco utilizzate viene reinizializzata casualmente. La cosiddetta discesa del gradiente è la procedura su cui l’intera industria è costruita e questo risultato dice che, da sola, non basta a sostenere l’apprendimento nel tempo e che, cosa interessante, occorre aggiungervi qualcosa che apprendimento non è, ovvero una perturbazione cieca, non informata dal gradiente. Questo ragionamento non è una critica ai modelli linguistici, ma alla fase di addestramento come categoria e riguarda, quindi, qualunque sistema addestrato con retropropagazione e poi congelato.
2. L’asse frainteso
La seconda mossa è una rettifica e il suo interesse sta nel fatto che Sutton la applichi ad un suo testo. Nel marzo 2019 Sutton aveva pubblicato su un blog personale il saggio, di poco più di mille parole, The Bitter Lesson che ha, probabilmente, orientato più decisioni d’investimento di qualunque articolo sottoposto a revisione paritaria dell’ultimo decennio. Leggendo settant’anni di ricerca, spiega Sutton, si scopre che i metodi generali capaci di sfruttare il calcolo si rivelano alla fine i più efficaci e con largo margine. La conclusione a cui giunge è che l’obiettivo dovrebbe essere quello di realizzare agenti che “possano scoprire come possiamo noi, non che contengano ciò che noi abbiamo scoperto” (Sutton, 2019, p. 2). Queste parole furono lette dall’industria come la legittimazione teorica della corsa alla scalarità, ma avevano frainteso.
Nel 2025 e nel 2026 Sutton ha precisato pubblicamente che l’asse del proprio argomento è calcolo contro input umano e non, quindi, calcolo contro dati o scala contro progettazione. Applicando questo criterio, Sutton, arrivò alla conclusione più affilata della sua produzione recente, ovvero che i grandi modelli linguistici sono, simultaneamente, il migliore e il peggiore esempio della lezione amara mai prodotto. Il migliore, perché sono la dimostrazione più limpida che un metodo generale scala col calcolo e il peggiore, perché i loro pesi si congelano al rilascio e un sistema che non cambia più, mentre viene usato, è ricaduto esattamente nel soffitto dei dati umani che la lezione denunciava. L’argomento di fondo era già enunciato nel testo programmatico scritto con David Silver nel 2025: un agente che non sia radicato nei dati del mondo reale, per quanto sofisticato, diventerà “una camera d’eco della conoscenza umana esistente” (Sutton, 2025, p. 5). Invece, il Piano Alberta del 2022 ne conteneva la formulazione più asciutta, che è un principio empirista enunciato come un vincolo del progetto: “solo l’esperienza è disponibile all’agente” (Sutton, 2022, p. 2).
Ciò che rende innovativa questa mossa non è la posizione, molti dicono che gli LLM abbiano dei limiti, ma il criterio operativo che se ne ricava, in quanto essa implica che si scelgano i sistemi che diventano più intelligenti man mano che vengono usati. Questa è una prova che si può applicare, oggi, a qualunque prodotto in commercio e che quasi nessuno supera.
3. Il mondo che non si lascia raggiungere
L’ultimo passaggio è il più radicale e occupa cinque pagine di un contributo congressuale del 2024, scritto insieme a Khurram Javed. La tesi che sostengono gli autori è che per moltissimi problemi di apprendimento il mondo sia di diversi ordini di grandezza più grande dell’agente, quest’ultimo non percepisce pienamente lo stato del mondo, non può apprendere il valore corretto per ogni stato e deve, necessariamente, affidarsi a soluzioni approssimate (Sutton, 2024). L’obiezione ovvia è che si tratti di una limitazione transitoria ma, ovviamente, gli autori la respingono con due argomenti. Il primo è che anche i sensori sono vincolati dal calcolo, più calcolo significa anche più capacità di percepire con precisione maggiore e un sensore fotografico di uno smartphone del 2024 genera, in una settimana, più dati di quelli usati per addestrare GPT-3 (Ivi). Il secondo argomento usato da Sutton e Javed, invece, è che il mondo, dal punto di vista di un agente, include altri agenti altrettanto complessi: se l’avversario a Go sceglie casualmente lo si modella con poche righe, ma
se è un sistema come AlphaZero l’unico modo di modellarne la dinamica è rappresentarne accuratamente la politica, cioè contenerlo (Ivi). La conclusione viene formulata in modo quasi assiomatico: “il mondo sarà sempre molto più grande di qualunque singolo agente” (Ivi, p. 3).
Qui l’innovazione è metodologica e ci fa comprendere che se il rapporto fra agente e mondo non si chiude mai, allora non esiste un miglioramento verso cui convergere e chiedersi se un algoritmo converga alla soluzione migliore, diventa una domanda mal posta. L’approssimazione cessa di essere un deficit rispetto ad una condizione ideale e diventa, invece, la condizione, da ciò ne segue una diversa misura del valore del metodo: non se l’agente converge al miglioramento massimo, ma quanto in fretta evolve e se continua a migliorare indefinitivamente.
4. Che cosa tiene insieme i tre passaggi
I tre movimenti che abbiamo visto (un esperimento su “Nature”, una precisazione su un blog e un’ipotesi in un contributo congressuale) sembrano appartenere a generi diversi, ma colpiscono lo stesso bersaglio. L’intelligenza artificiale contemporanea è costruita sull’assunto che l’apprendimento sia un processo delimitato: comincia, procede, converge e finisce. Da lì discende tutto il resto, ovvero la separazione fra addestramento e dispiegamento, il rilascio di un modello come artefatto stabile, la valutazione tramite parametri di riferimento eseguiti a pesi congelati, le dimostrazioni di convergenza come criterio di performatività di un algoritmo. I tre passaggi di Sutton dicono che quell’assunto è errato su tre piani diversi. Sul piano empirico, in quanto un sistema al quale si consente di finire perde la facoltà di ricominciare e lo si misura; sul piano storico, in quando la lezione che ha giustificato la corsa alla scala vale contro i sistemi che si congelano e non a loro favore; sul piano concettuale, in quanto non c’è nulla a cui arrivare, perché il mondo cresce insieme a chi lo esplora.
Ciò che rende Sutton innovativo, in un panorama in cui quasi tutte le proposte alternative riguardano l’architettura — quali moduli, quali connessioni, quale forma di rappresentazione — è che la sua obiezione non è architetturale ma temporale. Non dice che stiamo costruendo gli agenti sbagliati, ma che quelli che abbiamo ad un certo punto terminano un processo e che ciò che finisce non è ancora una mente.
Bibliografia
R. Sutton, The Bitter Lesson, Incomplete Ideas (blog), 13 marzo, 2019.
R. Sutton, et. al., The Alberta Plan for AI Research, arXiv:2208, 11173, 2022.
Id., Maintaining Plasticity in Deep Continual Learning, arXiv:2210, 14361, 2023.
Id., Loss of Plasticity in Deep Continual Learning, «Nature», 632, pp. 768–774, 2024.
Id, The Big World Hypothesis and its Ramifications for Artificial Intelligence, Finding the Frame Workshop, Reinforcement Learning Conference, 2024.
D. Silver, R. Sutton, Welcome to the Era of Experience, MIT Press, 2025.
Leggere Matteo Spagnuolo su acro-polis.it⇓
Nello Cristianini, Sovrumano: oltre i limiti della nostra intelligenza
