In statistica e in ricerca scientifica, un concetto fondamentale è quello di livello di significatività.
Prima di iniziare a parlarne però devo introdurre un paio di nozioni.
ERRORE DI TIPO 1
La prima è quella di errore di tipo I, cioè rifiutare l’ipotesi nulla quando questa è effettivamente vera. Viene indicato con il simbolo 𝛼 ed è comunemente espresso come una percentuale. In pratica, stabilisce una soglia che definisce quanto siamo disposti a rischiare di trarre conclusioni errate da un’analisi statistica.
IPOTESI NULLA
Per capire meglio, l’ipotesi nulla è la dichiarazione che non c’è differenza significativa tra i gruppi che stiamo confrontando o che un certo effetto non esiste. Quando conduciamo un test statistico, l’obiettivo è raccogliere prove sufficienti per poter eventualmente rifiutare l’ipotesi nulla in favore di un’ipotesi alternativa, che invece sostiene che c’è una differenza o un effetto significativo.
Il livello di significatività entra in gioco proprio in questo processo decisionale. Quando otteniamo un valore p (che è il risultato numerico del test statistico), lo confrontiamo con il livello di significatività prefissato. Se il valore p è inferiore al livello di significatività scelto, rifiutiamo l’ipotesi nulla e concludiamo che c’è una differenza significativa o che l’effetto osservato è reale. Al contrario, se il valore p è maggiore del livello di significatività, non abbiamo abbastanza prove per rigettare l’ipotesi nulla, quindi non possiamo affermare che vi sia un effetto significativo.
Un livello di significatività comunemente utilizzato è 𝛼 = 0,05, che equivale a un 5% di rischio di commettere un errore di tipo I, ovvero rifiutare l’ipotesi nulla quando in realtà essa è vera. In altre parole, c’è una probabilità del 5% che le conclusioni siano dovute al caso, e non a un vero effetto o differenza. Questo valore è considerato un compromesso accettabile tra il rischio di errore e la possibilità di rilevare effetti significativi. Tuttavia, esistono casi in cui si preferisce un livello di significatività più basso, come 𝛼 = 0,01, che riduce il rischio di errore al 1%, ma richiede prove più forti per rifiutare l’ipotesi nulla.
Come scegliere il livello di significatività?
A volte il margine d’errore accettato cambia a seconda del contesto, e della gravità della decisione da prendere. Salireste mai su un ponte autostradale che ha il 10% di probabilità di crollare?
Non credo!
In molti campi della ricerca scientifica, come la biologia o la medicina, dove le conclusioni errate possono avere conseguenze gravi, si tende a utilizzare un livello di significatività più basso.
Ad esempio, in uno studio clinico su un nuovo farmaco, gli scienziati potrebbero scegliere α=0,01 per ridurre al minimo il rischio di concludere erroneamente che il farmaco è efficace quando in realtà non lo è.
Al contrario, in altri campi come la psicologia o le scienze sociali, dove gli impatti di una conclusione errata sono meno critici, il livello di significatività di α=0,05 è generalmente considerato accettabile.
È importante ricordare che il livello di significatività non dice nulla sulla probabilità che l’ipotesi nulla sia vera o falsa, ma rappresenta soltanto il rischio di trarre una conclusione errata.
Un’interpretazione comune errata è pensare che un valore inferiore a 0,05 significhi che l’ipotesi nulla è “falsa” o che l’ipotesi alternativa sia “vera”.
In realtà il livello di significatività riflette solo la probabilità che i risultati siano stati ottenuti per caso.