I programmi pubblici e le regolamentazioni spesso si concentrano su una porzione ristretta del pubblico—persone che soddisfano specifici criteri di idoneità o che sono direttamente colpite da una nuova restrizione. Questo targeting può rendere le politiche più efficienti, ma crea anche un problema persistente per i ricercatori: dimostrare che cosa abbia effettivamente prodotto la politica. Anche quando economisti e altri scienziati sociali applicano approcci quasi-sperimentali ampiamente utilizzati—metodi progettati per stimare relazioni di causa-effetto senza una sperimentazione randomizzata—le evidenze possono essere esili se il gruppo interessato è piccolo e difficile da osservare nei dataset comunemente disponibili.
In un nuovo studio, gli economisti Kelly M. Jones e Mayra Pineda-Torres affrontano di petto questa sfida di misurazione. Il loro focus non è proporre una nuova strategia di identificazione, bensì un tema pratico che può minare silenziosamente molte valutazioni di policy: la potenza statistica, ossia la probabilità che uno studio riesca a rilevare in modo affidabile un effetto di una certa entità. Quando una politica riguarda solo una popolazione minoritaria, i ricercatori spesso si affidano a grandi fonti di dati a livello di popolazione che non sono state costruite per monitorare da vicino quel sottogruppo. Di conseguenza, anche un impatto reale e significativo può essere difficile da distinguere dal rumore.
Per rendere concreto il problema, le autrici e gli autori usano l’esempio dei divieti di aborto e dei loro potenziali effetti sul benessere economico. La domanda se le restrizioni all’aborto cambino le condizioni economiche delle persone è di natura causale, e viene tipicamente indagata con disegni quasi-sperimentali che confrontano gli esiti tra luoghi e nel tempo man mano che le leggi cambiano. Ma poiché la popolazione direttamente colpita rappresenta una frazione relativamente piccola della popolazione complessiva catturata da indagini ampie o da registri amministrativi, le stime possono non avere la precisione necessaria per rilevare effetti di policy plausibili.
Jones e Pineda-Torres utilizzano calcoli di potenza (power calculations) per quantificare quanto questo possa essere difficile. I calcoli di potenza sono comunemente usati prima di trial clinici ed esperimenti, ma possono essere applicati anche a studi osservazionali sulle politiche pubbliche. L’idea è calcolare, in anticipo, se i dati disponibili—dato il numero di persone nel gruppo colpito, la variabilità attesa degli esiti e il disegno di studio—siano sufficienti a identificare effetti che policymaker e opinione pubblica considererebbero sostanzialmente importanti.
Il contributo dei ricercatori è duplice: spiegano perché le politiche mirate possono essere particolarmente difficili da valutare con i “big” dataset di popolazione, e offrono una roadmap per effettuare verifiche di potenza ex ante. Questa roadmap mira ad aiutare gli analisti a rispondere a una domanda di pianificazione brutale ma essenziale: con i dati a disposizione, questo studio può realisticamente rilevare dimensioni dell’effetto ragionevolmente significative per il gruppo che la politica intende influenzare? In caso contrario, suggeriscono gli autori, i ricercatori possono ricalibrare le aspettative, affinare i disegni, o perseguire strategie alternative sui dati, invece di scoprire i limiti solo dopo aver ottenuto risultati imprecisi o inconcludenti.
Il lavoro è stato sostenuto dalla Society of Family Planning tramite la sovvenzione SFP19-HEO7. Gli autori osservano che le conclusioni sono proprie e non riflettono necessariamente le opinioni della Society of Family Planning, del National Bureau of Economic Research o di altre istituzioni affiliate. Ringraziano inoltre Simran Patel e Hayden Baillie per l’assistenza alla ricerca e dichiarano l’assenza di conflitti di interesse.
Perché è importante
Molte politiche ad alta posta in gioco—dalle norme sanitarie ai benefici sociali—si rivolgono a gruppi piccoli o vulnerabili, eppure le valutazioni spesso si basano su dataset ampi che possono essere poco adatti a rilevare gli impatti su quelle popolazioni. Sottolineando l’importanza dei calcoli di potenza prima che l’analisi inizi, lo studio spinge ricercatori e finanziatori ad affrontare la questione se una valutazione proposta possa rispondere in modo credibile alle domande che solleva. Ciò che accadrà in seguito dipenderà dal fatto che agenzie e studiosi investano in una migliore misurazione dei sottogruppi, in campioni più grandi o in nuove fonti di dati che rispecchino la reale impronta della politica.