Una nuova analisi di ShotSpotter a Chicago sostiene che liquidare risultati “statisticamente non significativi” può indurre in errore le politiche pubbliche e valuta se sia probabile che i benefici superino i costi.
Quando i ricercatori valutano un programma pubblico, un familiare criterio empirico spesso guida l’interpretazione dei risultati: se un impatto stimato non è “statisticamente significativo”, viene trattato come inconcludente e quindi poco utile per le politiche pubbliche. Una nuova analisi sull’uso di ShotSpotter a Chicago—una rete di sensori acustici progettata per rilevare gli spari e accelerare la risposta della polizia—sostiene che questa convenzione può trarre in inganno i decisori, soprattutto quando gli esiti sono rari e la posta in gioco è alta.
Il punto centrale degli autori è lineare. Le scelte di policy in genere dipendono non dal fatto che un effetto si distingua nettamente da zero in un test d’ipotesi, ma dal fatto che i benefici siano verosimilmente superiori ai costi. In molti contesti reali, gli studi sono “underpowered”, cioè non includono un numero sufficiente di osservazioni per rilevare in modo affidabile effetti dell’ordine di grandezza necessario a rendere conveniente un programma. In questi casi, concentrarsi in modo ristretto sulla significatività statistica può portare i governi a scartare evidenza che, pur con incertezza, informa in modo sostanziale una decisione costi-benefici.
Per dimostrare la tesi, i ricercatori esaminano l’impatto di ShotSpotter a Chicago, dove il sistema mira a ridurre il tempo necessario perché la polizia venga a conoscenza delle sparatorie e raggiunga il luogo—un cambiamento operativo che potrebbe plausibilmente migliorare le probabilità di sopravvivenza delle vittime. Usando un disegno di regression discontinuity (RD) geografico, confrontano aree appena all’interno dei confini di copertura di ShotSpotter con aree appena all’esterno, con l’obiettivo di isolare l’effetto della tecnologia da altre differenze tra quartieri.
La loro stima principale suggerisce che ShotSpotter abbia ridotto il tasso di mortalità nelle sparatorie di 2,5 punti percentuali—un effetto che traducono in circa 49 decessi in meno all’anno. Tale stima, tuttavia, non raggiunge le soglie convenzionali di significatività statistica. In una logica centrata sul test di significatività, la tentazione sarebbe quella di considerare i risultati come poco indicativi.
Ma gli autori sostengono che una conclusione del genere ignora ciò che la stima implica sul piano economico. Anche con incertezza statistica, un effetto di quella dimensione genererebbe benefici di gran lunga superiori al costo del servizio. L’ostacolo pratico è che, poiché i decessi da sparatoria sono relativamente poco frequenti rispetto al numero di sparatorie e poiché la variabilità anno su anno è elevata, stimare l’effetto con alta precisione è straordinariamente difficile. L’articolo calcola che, per rilevare un effetto della dimensione stimata con un approccio convenzionale basato su test d’ipotesi, servirebbero circa 87 anni di dati sulle sparatorie di Chicago—uno standard evidentemente irrealistico per prendere decisioni.
Invece di chiedersi se l’effetto sia diverso da zero, lo studio adotta un impianto bayesiano che tratta l’effetto salva-vita come incerto e stima una distribuzione di probabilità sui possibili impatti. L’output rilevante ai fini della decisione diventa quindi la probabilità che i benefici superino i costi, anziché un’etichetta binaria “significativo/non significativo”.
Al variare delle ipotesi, l’analisi trova benefici netti attesi positivi. La probabilità a posteriori che i benefici di ShotSpotter superino i suoi costi varia dal 70% con una prior piatta combinata con un valore statistico della vita di 13.6 milioni.
Il progetto ha ricevuto il sostegno di Arnold Ventures (Grant 24-12760) e dei fondi operativi generali del Crime Lab dell’Università di Chicago, ed è stato approvato dall’Institutional Review Board dell’Università di Chicago (IRB25-1416). Gli autori dichiarano di non avere conflitti di interesse finanziari o di altro tipo. Precisano inoltre che il lavoro è stato svolto quando Terence Chau era al Crime Lab dell’Università di Chicago e non è collegato alla sua posizione presso Amazon.
Perché è importante
Le città prendono regolarmente decisioni di spesa ad alto impatto sulla base di evidenze rumorose, limitate e lente ad accumularsi—soprattutto nel campo della sicurezza pubblica. Questo studio sostiene che interpretare “non statisticamente significativo” come “nessuna informazione utile” può portare i decisori politici a trascurare interventi che con ogni probabilità salverebbero vite e supererebbero un test costi-benefici. Il passo successivo è un’adozione più ampia di una rendicontazione orientata alle decisioni—probabilità di beneficio netto, non solo p-value—quando i governi valutano programmi costosi e difficili da misurare.