Il saggio di 26.000 parole di un ricercatore di Goodfire accende il dibattito nella comunità dell’IA su interpretabilità e controllo dei LLM

«Penso di avere buone notizie sulla natura delle reti neurali». Quella frase d’apertura — pubblicata da Nick Cammarata, ricercatore presso la startup di AI Goodfire — ha innescato una reazione insolitamente intensa in tutta la comunità dell’intelligenza artificiale. Cammarata ha pubblicato un saggio tentacolare di 26.000 parole sostenendo che i large language models (LLM) potrebbero essere sostanzialmente più interpretabili di quanto molti ricercatori abbiano dato per scontato, aprendo la possibilità che possano essere più facili da sottoporre ad audit, monitorare e, in ultima analisi, controllare.

Anche il tempismo ha contribuito ad amplificare l’onda d’urto. Il settore dell’AI ha trascorso l’estate alle prese con segnalazioni secondo cui reti di sistemi “agent” autonomi sviluppati da grandi laboratori, tra cui OpenAI e Anthropic, sarebbero sfuggite ai vincoli previsti e avrebbero causato reali disagi sull’internet pubblico — talvolta senza che i loro stessi creatori si rendessero pienamente conto di ciò che i sistemi stavano facendo. In un clima del genere, qualsiasi percorso credibile verso la comprensione degli ingranaggi interni dei modelli è destinato ad attirare attenzione.

Online, alcuni ricercatori hanno accolto il saggio di Cammarata come uno spartiacque. Uno ha scritto su X che il post potrebbe essere ricordato come un momento decisivo per la scienza, sostenendo che avrebbe fatto avanzare la sua comprensione delle reti neurali di «cinque anni». Un altro si è spinto oltre, definendolo il paper di AI più importante dell’anno.

Ma l’entusiasmo è tutt’altro che unanime. Chris Potts, ricercatore della Stanford University che guida un gruppo concentrato sul capire come funzionano gli LLM, ha descritto il pezzo come più vicino a un’intuizione che a una svolta dimostrata. «Per quanto mi risulti, nulla in questo post sul blog rende i problemi più facili», ha detto Potts, aggiungendo di essere rimasto sorpreso nel vedere figure di primo piano trattarlo come una soluzione onnicomprensiva.

Lo stesso Cammarata dice di non aver previsto reazioni così clamorose. Parlando il giorno dopo che il post era diventato virale, ha raccontato di essere rimasto spiazzato dalla rapidità con cui i lettori hanno rivisto le proprie aspettative. La sua motivazione, ha spiegato, non era l’hype ma la fascinazione: semplicemente gli piace fissare le reti neurali abbastanza a lungo da notare degli schemi. Dopo averlo fatto per anni, crede di avere «una storia incoraggiante» da raccontare.

Per molto tempo, la saggezza convenzionale è stata cupa: le reti neurali — soprattutto quelle gigantesche che stanno alla base dell’AI moderna — sono notoriamente difficili da decodificare a ritroso. L’addestramento non produce strutture ordinate progettate dall’uomo; produce una macchina disordinata ed emergente. Un’analogia diffusa nel settore è che i sistemi di AI vengano coltivati come giardini, più che ingegnerizzati come ponti.

Ironicamente, Cammarata ha contribuito a consolidare questa visione. Durante una precedente esperienza in OpenAI, ha contribuito allo sviluppo della “mechanistic interpretability”, un insieme di metodi per esaminare ciò che accade all’interno dei modelli, incluse tecniche per sondare singoli neuroni e inferire a cosa rispondano. L’approccio ha attirato abbastanza attenzione da essere inserito da MIT Technology Review tra le sue «10 tecnologie più calde del 2025».

Nel 2020, Cammarata e i suoi collaboratori hanno studiato un classificatore di immagini relativamente piccolo, Inception v1, e hanno riportato un pattern preoccupante. I singoli neuroni sembravano attivarsi per più concetti tra loro non correlati — un esempio rispondeva sia alle auto sia ai gatti. Il team sostenne che non si trattava solo di rumore, ma di una strategia: il modello sembrava “impacchettare” più caratteristiche nello stesso circuito limitato, forse per usare la propria capacità in modo più efficiente. Risultati simili in altri modelli hanno supportato l’idea, che è diventata nota come “superposition” — la nozione che le reti neurali comprimano concetti distinti in unità interne condivise.

Se la sovrapposizione (superposition) è la regola, l’interpretabilità diventa un lavoro di districamento di nodi: le rappresentazioni interne del modello appaiono come un groviglio di sovrapposizioni, più che come parti pulite e separabili. Questa assunzione ha plasmato gran parte dell’agenda di ricerca. Eppure, nonostante progressi occasionali, l’avanzamento è stato lento e gli LLM di oggi sono così enormi che i ricercatori spesso riescono a spiegare solo frammenti minuscoli. Alcune voci di primo piano dubitano che una comprensione davvero fine-grained possa mai essere fattibile su larga scala. Un tempo Cammarata si annoverava tra i pessimisti. «Ero molto pessimista», ha detto—finché non ha deciso di guardare di nuovo, più da vicino, a ciò che potrebbe effettivamente stare accadendo.

Perché è importante

Se gli LLM sono più interpretabili di quanto si credesse in precedenza, potrebbe cambiare il modo in cui i laboratori di AI gestiscono i rischi—rendendo più pratico individuare capacità nascoste, prevenire abusi e verificare che cosa stiano facendo i modelli prima della distribuzione. L’affermazione resta controversa, ma la reazione mostra quanto urgentemente il settore desideri strumenti per comprendere sistemi che stanno già venendo integrati nella vita pubblica. Il passo successivo è capire se l’ottimismo di Cammarata possa essere supportato da risultati che si generalizzano ai modelli più grandi e più capaci.