Jaký je rozdíl mezi statistickou a věcnou významností?
Když vyhodnocujete výsledky svého výzkumu, dříve nebo později narazíte na větu typu „rozdíl je statisticky významný (p < 0,05)“. Někteří si tuto větu automaticky spojí se závěrem „výsledek je důležitý“. Jenže statistická významnost a věcná (praktická) významnost jsou dvě odlišné věci.
Statistická významnost
Statistická významnost odpovídá na otázku:
„Je pozorovaný rozdíl (nebo vztah) v datech natolik velký, že ho nelze vysvětlit pouhou náhodou?“
Zjišťujeme ji pomocí statistických testů (t-test, chí-kvadrát test, ANOVA a další), jejichž výstupem je tzv. p-hodnota. Pokud p-hodnota klesne pod předem zvolenou hladinu významnosti (nejčastěji α = 0,05), prohlásíme výsledek za statisticky významný a zamítneme nulovou hypotézu (tedy hypotézu o tom, že žádný rozdíl/vztah ve skutečnosti neexistuje).
Statistická významnost tedy říká, že pozorovaný efekt není s určitou pravděpodobností náhodný, způsobený výběrem dat. Neříká nic o tom, jak velký, důležitý nebo prakticky užitečný ten efekt je.
Klíčová vlastnost statistické významnosti je ta, že čím větší je váš vzorek, tím snadněji vyjde výsledek statisticky významný a to i pro rozdíly, které jsou v reálném životě zanedbatelné. Při dostatečně velkém počtu respondentů se vám statisticky významný rozdíl (nebo souvislost) prokáže prakticky vždy. Proto samotné „p < 0,05“ nikdy nestačí k tomu, abyste mohli výsledek prohlásit za důležitý.
Věcná (praktická) významnost
Věcná významnost odpovídá na jinou otázku:
„Je zjištěný rozdíl (nebo vztah) natolik velký, že má reálný praktický, klinický nebo ekonomický dopad?“
Zatímco statistická významnost je binární rozhodnutí (významné / nevýznamné), věcná významnost se posuzuje na základě velikosti účinku (angl. effect size) – tedy toho, jak velký je rozdíl mezi skupinami nebo jak silný je vztah mezi proměnnými, vyjádřený v praxi srozumitelných jednotkách nebo standardizovaných mírách (např. Cohenovo d, Pearsonovo r, η², odds ratio apod.).
Věcnou významnost nelze vyčíst z p-hodnoty, je potřeba se na ni ptát samostatně.
Proč je rozdíl mezi oběma pojmy pro analýzu důležitý?
V praktické části bakalářské, diplomové nebo dizertační práce se nestačí spokojit s tím, že test „vyšel významně“. Čtenář očekává, že:
- uvedete p-hodnotu a rozhodnete o statistické významnosti,
- doplníte míru velikosti účinku (effect size) a okomentujete, zda je zjištěný rozdíl/vztah i věcně relevantní,
- výsledek interpretujete v kontextu oboru – tedy zda má praktický, klinický nebo ekonomický význam.
Tento postup vás ochrání před dvěma typickými chybami: přeceňováním malých, ale statisticky významných rozdílů u velkých vzorků, a podceňováním velkých, ale statisticky nevýznamných rozdílů u malých vzorků.
Shrnutí
Statistická významnost | Věcná významnost | |
Otázka | Je efekt jen náhoda? | Je efekt dostatečně velký, aby na něm záleželo? |
Ukazatel | p-hodnota | velikost účinku (effect size) |
Závisí na velikosti vzorku | ano, silně | ne (nebo jen málo) |
Interpretace | ano / ne (na zvolené hladině α) | otázka míry – malý, střední, velký efekt |