Cogito ergo \sum

Il ruolo della meccanica statistica nelle reti neurali

di Elena Agliari e Adriano Barra

 

Gli anni ’70 dello scorso secolo sono stati storiograficamente catalogati come l’inverno (“winter time”) dell’IA. Proviamo a comprenderne le ragioni e ad analizzare come questa apparente stagnazione abbia in realtà favorito una profonda maturazione del campo, enfatizzando il ruolo che la fisica ha svolto nel condurre la ricerca verso una nuova primavera.

Nel 1970 erano ormai lontane le prime decadi del secolo in cui Ivan Pavlov costruiva le leggi teoriche della fisiologia, studiando il riflesso condizionato nei cani, mentre Santiago Ramon y Cajal e Camillo Golgi sviluppavano tecniche sperimentali per mettere in luce la morfologia del singolo neurone. Si erano anche già succeduti i primi modelli matematici di neurone, celebre quello di McCulloch e Pitts del ’43, ed era già comparso il percettrone di Rosenblatt nel ’58, una macchina che ne imita le caratteristiche computazionali. Semplificando, possiamo schematizzare un neurone come un interruttore, che alterna uno stato quiescente – quando la corrente ad esso afferente dai neuroni adiacenti non raggiunge una prestabilita soglia – e uno attivo, in cui tale soglia viene raggiunta e gli permette l’emissione di un impulso elettrico veicolato verso i neuroni ad esso connessi (vd. approfondimento).

La natura elettrica della comunicazione neuronale e i primi modelli matematici si innestavano perfettamente nella logica di Boole (formalizzata a metà dell’800), portando a concepire, nella prima metà del secolo scorso, l’elaborazione dell’informazione nelle reti neurali come l’esecuzione di protocolli deterministici di operazioni logiche. Questa idea andò in frantumi nel ’69, quando Marvin Minsky e Seymour Papert mostrarono che il percettrone di Rosenblatt non era in grado di riprodurre tutte le funzioni logiche di base, congelando gli entusiasmi della comunità scientifica.

Il conseguente winter time segnò, in realtà, una profonda rivoluzione culturale che consentì, tacitamente, la transizione dal primo al secondo programma per l’IA. Infatti, si realizzò presto che, mentre un singolo percettrone non è in grado di simulare tutte le funzioni logiche fondamentali, un insieme di pochi percettroni opportunamente connessi sa farlo, e questo spostava l’attenzione dal soggetto (il neurone) alla rete delle sue interazioni (la rete neurale, vd. approfondimento), dando avvio a un significativo ammodernamento del bagaglio metodologico-scientifico sottostante alla loro trattazione. La logica matematica e la neonata cibernetica venivano affiancate da discipline in grado di cogliere le proprietà emergenti in grandi “collezioni” di elementi semplici, come la meccanica statistica, l’inferenza statistica (un insieme di metodi che permettono di trarre conclusioni su una popolazione più ampia basandosi sui dati raccolti da un campione) e la teoria dei grafi.

Per enfatizzare la portata del cambiamento di paradigma, per dirla con il filosofo Thomas Kuhn, notiamo che la (storicamente celebre) rivoluzione copernicana del passaggio dal sistema geocentrico al sistema eliocentrico, spostava l’attenzione da un soggetto (la Terra) a un altro (il Sole), mentre nel cambio che stiamo discutendo il focus si sposta dai soggetti alle loro interazioni: un significativo salto concettuale tanto che, ad oggi, quasi la totalità della Natura è stata ripensata in termini di reti di interazioni.

È importante ricordare che la meccanica statistica, nata sul chiudersi della Belle Époque e già ben consolidata negli anni ’70, sapeva trattare esaurientemente reti di elementi binari (i.e. “spin a due stati”) in interazione semplice (ad esempio, spin che tendono ad allinearsi se l’agitazione termica lo consente), mentre per reti “frustrate” (in cui coesistono interazioni “cooperative” che favoriscono l’allineamento tra due spin e interazioni “anti-cooperative”, che ne favoriscono l’anti-allineamento) non esistevano ancora gli strumenti teorici e matematici necessari per affrontarne lo studio.

Il giusto riferimento modellistico nella meccanica statistica era però proprio quello delle reti frustrate poiché, interpretando i nodi della rete (i.e. gli spin) come neuroni a due stati (on/off) e le connessioni tra essi come sinapsi, era imprescindibile considerare modelli con interazioni sia cooperative che anti-cooperative, dato che nelle reti neurali esistono sia sinapsi eccitatorie che inibitorie. Da questo punto di vista, gli anni ’70 furono una vera fucina di idee e di concetti preliminari all’edificazione di una meccanica statistica capace di descrivere quantitativamente il comportamento di tali sistemi complessi. Un decisivo punto di sintesi si raggiunse a cavallo tra gli anni ’70 e ’80, quando Giorgio Parisi sviluppò la sua celebre teoria che gli valse il premio Nobel per la fisica nel 2021, nella quale la compresenza di stimoli cooperativi e anti-cooperativi genera un “paesaggio” altamente non banale di minimi dell’energia. La meccanica statistica aveva così subito una trasformazione radicale, che si manifestava su più fronti. In primis, l’introduzione delle reti frustrate ne ampliò lo spettro applicativo ben oltre la fisica, suo ambito originario. In secondo luogo, venne codificato un nuovo vocabolario di osservabili e concetti (ad esempio “overlap” (sovrapposizione), “replica”, “simmetria di replica” e sua “rottura”) oggi di uso comune in informatica teorica e indispensabili per l’inferenza statistica in spazi ad alta dimensionalità, entrambi pilastri metodologici della moderna intelligenza artificiale.

Non si dovette quindi aspettare molto per veder nascere i primi modelli di rete neurale, da quello proposto da Hopfield nel 1982 (che implementava le idee sull’apprendimento di Donald Hebb, a loro volta sintesi degli studi di Pavlov), alla “macchina di Boltzmann”, il prototipo formulato da David Ackley, Geoffrey Hinton e Terrence Sejnowski nel 1985 (che sintetizza il ruolo egemone della meccanica statistica già nel suo nome, facendo riferimento a Ludwig Boltzmann). A cascata, tra il 1985 ed il 1987, Daniel Amit, Hanoch Gutfreund e Haim Sompolinsky pubblicavano la prima trattazione sistematica, interamente meccanico-statistica, di queste reti neurali, proprio sfruttando i concetti e le tecniche dei sistemi frustrati di Parisi: capito come associare ai minimi dell’energia le informazioni da immagazzinare, i.e. i pattern (vd. fig. 1a), queste reti potevano funzionare come memorie associative nelle quali richiamare un pattern (p.es. un’immagine) precedentemente appreso. Questo significava raggiungere spontaneamente uno degli stati di minimo (o di equilibrio) a seguito di un opportuno stimolo: tale cruciale capacità è diventata celebre con il nome di “pattern recognition” (vd. fig. 1b).

La meccanica statistica si consolidava così come disciplina cardine del settore, consacrata, oltre al Nobel a Parisi nel 2021, dal Nobel per la fisica conferito lo scorso anno a Hopfield e Hinton per i loro studi pioneristici su questi sistemi. Inoltre, vale la pena ricordare che, nel versante puramente matematico, l’importanza di questi studi è stata suggellata con l’assegnazione, sempre nel 2024, del premio Abel a Michel Talagrand, anche per aver dimostrato rigorosamente la correttezza della formulazione parisiana dei sistemi complessi.

Una curiosità storica riguarda la fisica teorica napoletana: precursore del modello di Hopfield è il modello di Shun’ichi Amari, un fisico giapponese sovente invitato da Eduardo Caianiello, fisico teorico napoletano, a spendere mesi in Costiera Amalfitana negli anni ’60. Caianiello ed Amari si influenzarono reciprocamente e anticiparono i primi concetti sulle future teorie delle reti neurali. Tre decadi dopo, fu Francesco Guerra, di cui Caianiello fu mentore accademico, a costruire una serie di tecniche matematiche che permisero di dimostrare rigorosamente la teoria di Parisi, aprendo de facto la strada al premio Abel a Talagrand.

L’ampio intervallo di tempo che intercorre tra la formulazione di questi modelli e il conferimento del Nobel ai loro autori non deve sorprendere: questo è dipeso dal fatto che, quando la teoria venne edificata, non era sostanzialmente possibile metterla alla prova. Fino a un paio di decadi fa, non esisteva un mondo digitale in cui le reti neurali artificiali potessero apprendere.