In statistica e in ricerca scientifica, un concetto fondamentale è quello di livello di significatività.

Prima di iniziare a parlarne però devo introdurre un paio di nozioni. 

ERRORE DI TIPO 1

La prima è quella di errore di tipo I, cioè rifiutare l’ipotesi nulla quando questa è effettivamente vera. Viene indicato con il simbolo 𝛼 ed è comunemente espresso come una percentuale. In pratica, stabilisce una soglia che definisce quanto siamo disposti a rischiare di trarre conclusioni errate da un’analisi statistica.

IPOTESI NULLA

Per capire meglio, l’ipotesi nulla è la dichiarazione che non c’è differenza significativa tra i gruppi che stiamo confrontando o che un certo effetto non esiste. Quando conduciamo un test statistico, l’obiettivo è raccogliere prove sufficienti per poter eventualmente rifiutare l’ipotesi nulla in favore di un’ipotesi alternativa, che invece sostiene che c’è una differenza o un effetto significativo.

Il livello di significatività entra in gioco proprio in questo processo decisionale. Quando otteniamo un valore p (che è il risultato numerico del test statistico), lo confrontiamo con il livello di significatività prefissato. Se il valore p è inferiore al livello di significatività scelto, rifiutiamo l’ipotesi nulla e concludiamo che c’è una differenza significativa o che l’effetto osservato è reale. Al contrario, se il valore p è maggiore del livello di significatività, non abbiamo abbastanza prove per rigettare l’ipotesi nulla, quindi non possiamo affermare che vi sia un effetto significativo.

Un livello di significatività comunemente utilizzato è 𝛼 = 0,05, che equivale a un 5% di rischio di commettere un errore di tipo I, ovvero rifiutare l’ipotesi nulla quando in realtà essa è vera. In altre parole, c’è una probabilità del 5% che le conclusioni siano dovute al caso, e non a un vero effetto o differenza. Questo valore è considerato un compromesso accettabile tra il rischio di errore e la possibilità di rilevare effetti significativi. Tuttavia, esistono casi in cui si preferisce un livello di significatività più basso, come 𝛼 = 0,01, che riduce il rischio di errore al 1%, ma richiede prove più forti per rifiutare l’ipotesi nulla.

Come scegliere il livello di significatività?

A volte il margine d’errore accettato cambia a seconda del contesto, e della gravità della decisione da prendere. Salireste mai su un ponte autostradale che ha il 10% di probabilità di crollare? 

Non credo!

In molti campi della ricerca scientifica, come la biologia o la medicina, dove le conclusioni errate possono avere conseguenze gravi, si tende a utilizzare un livello di significatività più basso. 

Ad esempio, in uno studio clinico su un nuovo farmaco, gli scienziati potrebbero scegliere α=0,01 per ridurre al minimo il rischio di concludere erroneamente che il farmaco è efficace quando in realtà non lo è. 

Al contrario, in altri campi come la psicologia o le scienze sociali, dove gli impatti di una conclusione errata sono meno critici, il livello di significatività di α=0,05 è generalmente considerato accettabile.

È importante ricordare che il livello di significatività non dice nulla sulla probabilità che l’ipotesi nulla sia vera o falsa, ma rappresenta soltanto il rischio di trarre una conclusione errata. 

Un’interpretazione comune errata è pensare che un valore inferiore a 0,05 significhi che l’ipotesi nulla è “falsa” o che l’ipotesi alternativa sia “vera”.

In realtà il livello di significatività riflette solo la probabilità che i risultati siano stati ottenuti per caso.