Un nuovo framework utilizza domande di calibrazione per correggere l’“eterogeneità nell’uso della scala” (scale-use heterogeneity) nei sondaggi, mostrando che la mappatura delle scale da parte dei rispondenti è quasi lineare. Il metodo può modificare le dimensioni dell’effetto nelle analisi sulla soddisfazione di vita.
La ricerca basata su indagini in economia e nelle scienze sociali si affida spesso ai rispondenti perché traducano le proprie esperienze in numeri—per esempio scegliendo un punto su una scala di soddisfazione di vita da 0 a 10. Ma quei numeri possono risultare fuorvianti se persone diverse interpretano e usano la stessa scala in modi sistematicamente differenti. Un “7” può segnalare livelli di benessere molto diversi a seconda che un rispondente sia in generale generoso o prudente nell’attribuire valutazioni alte. Un nuovo articolo di Daniel J. Benjamin, Kristen B. Cooper, Ori Heffetz, Miles S. Kimball e Jiannan Zhou affronta questo annoso problema di misurazione delineando un quadro più generale per correggere ciò che i ricercatori chiamano “eterogeneità nell’uso della scala” (scale-use heterogeneity).
Gli autori formalizzano ed estendono la teoria alla base di una famiglia di correzioni che utilizzano “domande di calibrazione” (calibration questions), incluse le vignette d’indagine (survey vignettes). L’idea di fondo è porre domande aggiuntive pensate per rivelare come ciascuna persona usa la scala di risposta. Queste risposte di calibrazione possono poi essere impiegate per riportare le risposte di rispondenti diversi su un metro comune—con l’obiettivo di assicurare che i confronti tra individui riflettano differenze reali nel tratto sottostante, e non particolarità nell’interpretazione della scala.
Utilizzando un ampio dataset di circa 10.000 rispondenti, insieme a evidenze provenienti da studi precedenti, i ricercatori riportano una notevole regolarità empirica: la relazione tra il modo in cui una persona usa la scala soggettiva e quello in cui la usa un’altra è, con buona approssimazione, lineare. Questa quasi-linearità è importante perché consente un metodo di correzione pratico, invece di un modello complicato e fortemente parametrizzato. Sulla base di questo risultato, l’articolo sviluppa uno stimatore semplice che i ricercatori possono inserire nelle analisi di regressione per aggiustare i coefficienti tenendo conto delle differenze nell’uso della scala.
Il team sottopone poi l’approccio a un controllo di realtà utilizzando valutazioni soggettive di altezza e peso—grandezze per le quali esistono benchmark oggettivi ed esterni. Se l’uso della scala varia tra individui, due persone della stessa altezza potrebbero scegliere valutazioni diverse su una scala di “altezza soggettiva”. Applicando la loro correzione, gli autori valutano se i resoconti soggettivi aggiustati si allineino più strettamente con le misure oggettive sottostanti, offrendo così un esercizio di validazione del metodo.
Infine, l’articolo illustra cosa c’è in gioco con un’applicazione alle regressioni sulla soddisfazione di vita. Qui gli autori rilevano che correggere per l’eterogeneità nell’uso della scala non ribalta le principali conclusioni qualitative che i ricercatori in genere traggono—per esempio, quali fattori siano associati a una soddisfazione di vita più alta o più bassa. Tuttavia, la correzione può modificare in modo sostanziale le grandezze relative degli effetti stimati. In un esempio, l’aggiustamento aumenta di un fattore tre il costo implicito, in termini di benessere, della disoccupazione rispetto al reddito, mettendo in evidenza come differenze di scala non corrette possano distorcere confronti centrali nei dibattiti di policy.
Gli autori osservano che questo studio sostituisce un precedente working paper, “Adjusting for Scale-Use Heterogeneity in Self-Reported Well-Being” (NBER Working Paper 31728, datato 25 settembre 2023), pur analizzando dati diversi. La ricerca si basa sull’Understanding America Study (UAS), gestito dal Center for Economic and Social Research della University of Southern California, e ha utilizzato risorse di calcolo ad alte prestazioni presso la University of Colorado Boulder, inclusi il supercomputer Summit e Alpine. Il progetto ha ricevuto sostegno da grant NIH/NIA (R01-AG065364 e R01-AG051903), ha ottenuto l’approvazione del comitato etico (institutional review board) e gli autori dichiarano di non avere interessi finanziari materiali legati al lavoro.
Perché è importante
Governi, datori di lavoro e ricercatori utilizzano sempre più spesso misure soggettive basate su survey—soprattutto metriche di benessere—per valutare politiche e condizioni sociali. Se le persone usano in modo diverso le scale di risposta, le stime che confrontano gruppi o che ponderano trade-off (come l’onere della disoccupazione rispetto alle variazioni di reddito) possono risultare distorte anche quando i dati sottostanti appaiono solidi. L’evidenza del paper a favore di una mappatura approssimativamente lineare offre una via di correzione più semplice e utilizzabile—e ricorda che problemi di misurazione apparentemente “piccoli” possono spostare i numeri rilevanti per le politiche pubbliche.