Wiele pytań naukowych można sprowadzić do prostego tak lub nie. Czy coś się dzieje, czy nie? Czy nowy lek wpływa na chorobę, którą ma leczyć, czy nie robi nic? Czy zmiana danego parametru spowoduje poprawę Y, czy też nie ma na Y żadnego wpływu?

Scenariusz nie robi nic nazywa się hipotezą zerową.

Hipoteza zerowa zakłada, że badana przez nas interwencja nie ma żadnego efektu albo, bardziej ogólnie, że obserwowane różnice można wyjaśnić zwykłą losową zmiennością. Nie wystarczy, że dane będą zgodne z naszą teorią. Muszą być również wystarczająco niezgodne z hipotezą zerową.

Weźmy najprostszy przykład – rzut monetą. Podejrzewam, że moneta jest obciążona i częściej wypada orzeł. Hipoteza zerowa brzmi:

H₀: moneta jest uczciwa, P(orzeł) = 0,5.

Rzucam monetą 10 razy i otrzymuję 6 orłów. Czy to dowód, że moneta jest obciążona? Nie.  Jeżeli H₀ jest prawdziwa i moneta rzeczywiście jest uczciwa, 6 orłów na 10 rzutów nie jest niczym szczególnie zaskakującym. Losowa zmienność bez problemu może wygenerować taki wynik.

Czego więc właściwie dowiedzieliśmy się o monecie?

Nie dowiedzieliśmy się, że moneta jest uczciwa. Dowiedzieliśmy się jedynie, że nie mamy wystarczających dowodów, aby stwierdzić, że nie jest.

To dwie zupełnie różne rzeczy: Nie znaleźliśmy dowodu na efekt nie oznacza, że udowodniliśmy brak efektu. Co w sytuacji, kiedy otrzymam 10 orłów na 10 rzutów? To nadal jest możliwe przy uczciwej monecie, ale staje się znacznie mniej prawdopodobne.

Właśnie w tym miejscu pojawia się p-value. Zakładamy, że H₀ jest prawdziwa, czyli że moneta jest uczciwa, i pytamy: jak prawdopodobne byłoby uzyskanie wyniku co najmniej tak ekstremalnego jak ten, który właśnie zaobserwowaliśmy?

Jeżeli od początku interesuje mnie konkretnie podejrzenie, że moneta daje za dużo orłów, jest to test jednostronny. Prawdopodobieństwo uzyskania 10 orłów na 10 rzutów dla uczciwej monety wynosi:

p =  ½ * ½ *½ … i tak 10 razy, czyli (½)¹⁰ ≈ 0,001.

Czyli około 0,1%.

Gdyby natomiast moje pytanie brzmiało po prostu: czy moneta jest nieuczciwa?, bez wskazania kierunku, interesowałyby mnie oba ekstremalne wyniki albo 10 orłów albo 10 reszek. W teście dwustronnym otrzymalibyśmy więc:

p = 2 × (1/2)¹⁰ ≈ 0,002.

Właśnie tym jest p-value: p-value to prawdopodobieństwo uzyskania wyniku co najmniej tak ekstremalnego jak zaobserwowany, przy założeniu, że hipoteza zerowa jest prawdziwa. Im mniejsze p-value, tym bardziej zaskakujące są nasze dane w świecie, w którym H₀ jest prawdziwa i tym silniejsza jest ich niezgodność z H₀.

Ale jest tu jedna fundamentalna pułapka. p = 0,001 nie oznacza, że istnieje 0,1% prawdopodobieństwa, że moneta jest uczciwa. Nie policzyliśmy prawdopodobieństwa prawdziwości H₀. Policzyliśmy prawdopodobieństwo otrzymania takich danych pod warunkiem, że H₀ jest prawdziwa. Dopiero teraz możemy zapytać: jak małe p-value musi być, żebyśmy uznali wynik za statystycznie istotny?

I tutaj pojawia się słynne 0,05.

Dlaczego akurat 0,05? Nie dlatego, że istnieje jakieś matematyczne prawo mówiące, że 0,049 jest istotne, a 0,051 już nie. R.A. Fisher zaproponował 5% jako praktyczny próg – wynik występujący przy prawdziwej H₀ rzadziej niż mniej więcej 1 raz na 20 prób uznawał za wystarczająco nietypowy, by zwrócić na niego uwagę. Z czasem ta praktyczna konwencja zmieniła się niemal w obowiązującą granicę.

W tym miejscu zaczynają się dwa bardzo częste nadużycia:

p < 0,05 → efekt jest ważny oraz p > 0,05 → efektu nie ma.

Oba wnioski są nieuprawnione. Kolejną pułapką i dobrym tematem na kolejny raz jest to

istotny statystycznie ≠ istotny praktycznie.