Una fiducia obbligata: note ad un contributo di Yann LeCun
Una massima
In fondo a un capitolo tecnico del 2006, dopo trentotto pagine di formalismo, Yann LeCun lascia cadere una raccomandazione che ha l’aria di un consiglio per gli addetti ai lavori, ma che potrebbe interpretarsi anche come una tesi filosofica. “Ogni normalizzazione esplicita”, scrive, “è un’altra occasione per gestire male gli eventi imprevisti”, quindi “conviene minimizzare il numero di normalizzazioni esplicite in un modello” (Y. LeCun, et. al., 2006, p. 38). La frase passa quasi inosservata e chi legge quel paragrafo presta attenzione al “quadro dei modelli a base di energia”, che è l’oggetto di studio dichiarato; la massima sembra una postilla pratica, di nuovo, rivolta a chi progetta architetture.
Dal mio punto di vista, però, non è solo e semplicemente un appunto tecnico. In quelle righe LeCun, inconsapevolmente o meno, prende una posizione circa l’incompletezza della conoscenza e dalla quale discendono molte delle idee che, il vincitore del premio Turing, ha applicato sia ai suoi lavori (tecnici e non) che alla polemica contro gli LLM. Conviene prendere le mosse dal gesto tecnico contenuto in quelle pagine: “un modello probabilistico assegna alle risposte possibili una distribuzione” e quest’ultima deve sommare a uno. Questo vincolo ha un costo computazionale, perché “la normalizzazione richiede di valutare integrali intrattabili” sullo spazio di tutte le configurazioni possibili e i modelli a base di energia rinunciano a quel vincolo. Al posto di una distribuzione definiscono una “funzione scalare che misura la compatibilità tra le variabili” (ivi, pp. 1-2) osservate e quelle da predire e, poiché non hanno alcun requisito di normalizzazione, il problema viene naturalmente aggirato.
La questione tecnica, così esposta, sembra una scorciatoia: si rinuncia a sapere quanto sia probabile una risposta e si conserva soltanto l’informazione su quale sia migliore, perché “per i compiti di decisione basta che il sistema assegni l’energia più bassa alla risposta corretta”, mentre le energie delle altre risposte sono irrilevanti “purché siano più grandi” (ivi, p. 6). Un ordinamento, insomma, al posto di una misura precisa: chi deve agire ha bisogno di sapere che cosa fare, non quanto fosse plausibile ciò che non ha fatto.
Ma la massima iniziale ci dice qualcosa di più rilevante, essa non dice che la normalizzazione sia costosa, ma che è un’occasione per gestire male l’imprevisto e, quindi, il difetto, per così dire, non è di efficienza ma di adeguatezza.
Dove la somma mente
LeCun porta una prova dove mostra che, effettivamente, il danno che potrebbe causare il modello non è ipotetico. Nei modelli internamente normalizzati, come i modelli di Markov nascosti e le reti bayesiane, ciascuno stato distribuisce una massa unitaria tra le proprie transizioni uscenti. Ne segue che le transizioni uscenti da uno stato competono tra loro, ma non con le altre transizioni del modello e il risultato è che i percorsi “che attraversano stati con poche uscite risultano artificiosamente più probabili” (ivi, p. 37).
Vale la pena soffermarsi su questo elemento, perché la sua struttura potrebbe rivelarsi istruttiva. Uno stato con due sole uscite, quindi, deve ripartire tra quelle due tutta la probabilità disponibile e ciascuna di esse, dunque, riceve una quota alta. Uno stato con venti uscite, invece, deve ripartirle tra venti e ciascuna riceve, al contrario, una quota bassa. Il modello, com’è risaputo, finisce per preferire i percorsi poveri di alternative, non perché siano migliori ma perché la contabilità impone a ogni nodo di distribuirne esattamente uno. In questo caso la povertà di opzioni viene letta come forza dell’evidenza.
Qui emerge che cosa sia davvero una normalizzazione: essa è un impegno contabile che presuppone un perimetro agentivo. Perché la somma faccia uno occorre sapere su che cosa si sta sommando e, dunque, occorre aver già deciso quali siano le alternative che esistono. Normalizzare, quindi, significa dichiarare chiuso l’insieme delle possibilità e la dichiarazione è tanto più insidiosa quanto meno è esplicita, perché non compare come un’assunzione del modello ma come una proprietà aritmetica dell’output. C’è un ulteriore aspetto di questa anomalia che merita attenzione ed è la sua invisibilità. Un modello affetto da polarizzazione delle etichette non produce output malformati, né segnali di allarme, perché i suoi numeri sono perfettamente regolari e la loro somma è quella attesa. L’errore non si manifesta come tale, si manifesta come preferenza ed essa è precisamente ciò che chiediamo a un modello di esprimere. Chi osserva soltanto il risultato non ha modo di distinguere la fiducia che nasce dall’evidenza da quella che nasce dalla scarsità di alternative, perché entrambe si presentano con la stessa faccia. Il mondo, però, non si lascia perimetrare e l’imprevisto, come LeCun osserva nella sua massima, accade e quando avviene incontra un sistema che ha già distribuito tutta la propria fiducia tra le ipotesi che conosceva, perché la contabilità gli imponeva di distribuirla per intero.
La fiducia che non ha fondamento
A questo punto, la tesi può essere enunciata nella forma che mi interessa: un sistema che non normalizza è un sistema che non pretende di conoscere l’insieme di tutto ciò che potrebbe accadere. La rinuncia alla probabilità, in LeCun, non è scetticismo verso il calcolo delle probabilità, che egli padroneggia e usa, ma è il rifiuto di un presupposto che il calcolo si porta dietro quando viene inscritto nell’architettura di un sistema che deve agire, cioè il presupposto che lo spazio delle ipotesi sia completo. Una funzione di energia non normalizzata può assegnare energia alta a tutto e questo è esattamente ciò che una distribuzione non può fare in quanto, qualunque cosa accada, deve sempre indicare un vincitore, perché i suoi valori devono sommare a uno e il massimo di una somma positiva è sempre un valore specifico. Possiamo dire che un modello normalizzato non ha modo di esprimere lo smarrimento. Interrogato su un caso che nessuna delle sue ipotesi copre, non risponde che nessuna lo copre, perché nel suo formato quella risposta non è rappresentabile e risponderebbe con la meno inadeguata per presentarla con la stessa grammatica con cui presenterebbe una risposta giusta.
Una funzione di energia, al contrario, dispone di una risorsa che nessuna distribuzione possiede e consiste nella facoltà di alzare il proprio valore ovunque. Se nessuna configurazione è compatibile con ciò che il sistema osserva, il paesaggio energetico può restare alto dappertutto e quel paesaggio è esso stesso un’affermazione leggibile sullo stato della conoscenza. Non è una misura dell’incertezza, ma è qualcosa di più grezzo e per certi versi più onesto, cioè la constatazione che nulla di quanto il sistema sa trattare somiglia a ciò che gli è stato posto davanti.
acro-polis.it — Aiutiamoci a rimanere sani di mente in un mondo sempre più folle!
Questo tipo di distinzione ha una genealogia precisa in economia, Frank Knight separava nel 1921 il rischio, in cui le alternative e le loro probabilità sono note, dall’incertezza vera, in cui non lo sono, osservando che soltanto il primo è trattabile con gli strumenti del calcolo (F. Knight, 1921). In logica, invece, l’assunzione di mondo chiuso formalizzata da Raymond Reiter nel 1978 dichiara falso “tutto ciò che non risulta derivabile dalla base di conoscenza” (R. Reiter, 1978, p. 55), ed è un’assunzione utilissima e localmente legittima proprio perché il perimetro è dichiarato. La normalizzazione è una forma di assunzione di mondo chiuso che non si dichiara. Reiter chiude il mondo e lo dice, assumendosi il compito di ricordare al lettore che fuori dalla base di conoscenza c’è altro. Una distribuzione chiude il mondo in silenzio, perché lo chiude nel formato dell’output anziché nelle premesse senza mai dichiararlo.
Il prezzo della rinuncia
Sarebbe impreciso ed errato presentare questa modificazione come se non costasse nulla, perché ha un prezzo e LeCun lo sa meglio di chiunque. Un sistema che rinuncia alla normalizzazione rinuncia anche a ciò che la normalizzazione garantiva, cioè alla calibrazione. Una probabilità ben calibrata è un’affermazione verificabile sul mondo, nel senso che tra gli eventi a cui il modell oassegna una fiducia del settanta per cento quella frazione dovrebbe realizzarsi davvero e questa verificabilità è un elemento epistemico robusto. L’energia, invece, non offre nulla di simile, in quanto dice che una risposta è migliore di un’altra senza dire quanto si possa contare su di essa e un sistema del genere ha un ordinamento affidabile e nessuna misura della propria ignoranza. La perdita è reale e il luogo in cui si fa sentire è la decisione sotto rischio. Un medico che sappia soltanto quale diagnosi sia la più compatibile, senza sapere quanto la seconda le sia vicina è in una posizione peggiore di chi disponga di entrambe le informazioni. LeCun risponderebbe, credo, che il confronto è mal posto, perché la calibrazione è una virtù di chi crede e non di chi agisce e un agente deve soltanto ordinare le proprie opzioni. La risposta, però, mi pare insufficiente, dato che molte decisioni importanti consistono proprio nel decidere se decidere, ed è una scelta che richiede di sapere quanto si sia incerti.
Le due rinunce, inoltre, non sono simmetriche, in quanto chi normalizza perde la possibilità di dichiararsi fuori perimetro e lo perde in ogni caso, perché il formato glielo impedisce. Chi, invece, non normalizza perde la calibrazione e può recuperarla dall’esterno con stime separate, con il confronto tra modelli, con l’astensione. La prima perdita è strutturale, la seconda è rimediabile e tra le due rinunce conviene scegliere quella da cui si può tornare indietro.
La forma di un errore contemporaneo
Resta da dire perché una massima del 2006 valga oggi più di allora, ed è qui che il discorso mostra la propria portata. Lo strato finale di un modello linguistico è una funzione che trasforma i punteggi assegnati alle parole del vocabolario in una distribuzione e, quest’ultima, somma a uno. Il modello, per costruzione, ripartisce tutta la propria fiducia tra le continuazioni che conosce, a ogni singolo passo, e lo fa anche quando nessuna di esse è adeguata. Non esiste, quindi, nel suo formato la casella che corrisponde al riconoscimento di non sapere, perché quella casella sarebbe una massa di probabilità assegnata al nulla e, questo, romperebbe la somma. La fluidità con cui questi sistemi producono affermazioni infondate viene abitualmente descritta come un difetto dei dati o dell’addestramento e in parte lo è. Ma vale la pena considerare l’ipotesi che una parte del fenomeno sia più antica e più strutturale; essa risieda nel vincolo contabile che impone, a ogni passo, di distribuire per intero una fiducia che il modello non ha ragione di possedere.
In questa lettura l’invenzione non è un fallimento occasionale del sistema ma la sua condotta corretta in una situazione che il formato non prevede. La posta in gioco non è teorica e si vede meglio spostando lo sguardo dai modelli linguistici ai sistemi che decidono su persone. Un classificatore che debba stabilire se una richiesta rientri
in una delle categorie previste da un regolamento ha davanti, prima o poi, un caso che nessuna categoria descrive, ed è esattamente il caso in cui la decisione andrebbe sospesa e portata a un essere umano. Se il suo formato gli impone di assegnare comunque una categoria, la sospensione non è un’opzione disponibile e il caso difficile riceve un’etichetta con la stessa apparenza di legittimità dei casi facili. La sorveglianza umana, che molte normative richiedono, presuppone di poter individuare i casi che la meritano e un sistema incapace di dichiararsi fuori perimetro non collabora a quella individuazione. Trovo notevole che LeCun avesse messo per iscritto la diagnosi sedici anni prima di diventare il più noto avversario di quei modelli e che l’avesse messa per iscritto in forma di consiglio di progettazione.
La sua polemica pubblica insiste di solito su altro, sulla povertà del canale linguistico e sull’assenza di un modello del mondo, mentre questo argomento, molto persuasivo, gli è rimasto in un paragrafo del 2006. Qualunque cosa si pensi del seguito del suo programma, quella massima merita di essere letta come ciò che è, cioè una proposta di umiltà inscritta nell’architettura. Costruire sistemi che possano essere sorpresi non è un obiettivo, per così dire, sentimentale, ma è la condizione perché la loro fiducia significhi qualcosa, perché una fiducia che si distribuisce comunque, qualunque cosa accada, non è una misura dell’evidenza ma, al contrario, un’abitudine aritmetica. Non tutto fa uno e un Agente AI che lo riconosca ha già fatto un passo verso il sapere che gli manca.
Bibliografia
F. Knight, Risk. Uncertainty and Profit, Houghton Mifflin, Boston, 1921.
R. Reiter, On Closed World Data Bases, in H. Gallaire, J. Minker, Logic and Data Bases, Plenum Press, NewYork, 1978.
Y. LeCun, et. al., A tutorial on energy-based learning, in Predicting Structured Data, MIT Press, Cambridge, 2006.
_______________________________________________________________________________
Leggi tutti gli articoli di M. Spagnuolo pubblicati su ACrO-Polis.