La probabilité, calculée sous l'hypothèse que l'hypothèse nulle est vraie, d'obtenir une statistique de test au moins aussi extrême que celle observée ; utilisée pour évaluer dans quelle mesure les données sont incompatibles avec le modèle nul.

Principe

La p-valeur quantifie la preuve contre la nulle en situant la statistique observée dans la distribution sous la nulle : des p-valeurs plus petites indiquent des issues plus rares sous la nulle, mais elles n'indiquent pas directement la probabilité que la nulle soit vraie.

Démonstration

Une comparaison clinique A/B donne p=0,03 pour la différence de taux de conversion ; cela suggère que, si la nulle (pas de différence) était vraie, observer un effet aussi extrême se produirait environ 3 % du temps selon le modèle d'échantillonnage utilisé.

Mauvaise application

Interpréter la p-valeur comme la probabilité que l'hypothèse nulle soit vraie, considérer p<0,05 comme une preuve binaire d'importance pratique, ou pratiquer le fouillage de données jusqu'à obtenir une petite p-valeur sans ajustement pour la multiplicité.

Conséquence

Une interprétation appropriée aide à hiérarchiser les preuves et à guider les décisions en conjonction avec tailles d'effet et intervalles de confiance ; l'abus peut mener à des affirmations excessives, un biais de publication et des résultats irréproductibles.

Inversion

L'inversion privilégie rapports par ratios de vraisemblance, facteurs de Bayes ou probabilités postérieures pour exprimer preuve et incertitude ; ces alternatives offrent des échelles différentes et nécessitent des priors ou des modèles alternatifs explicites.

Limite

Valide en tant que mesure de la théorie de l'échantillonnage sous la nulle et la statistique de test spécifiées ; ce n'est pas une mesure d'importance clinique ou économique, ni une règle de décision autonome sans contexte, et elle est peu fiable quand les hypothèses du modèle échouent (indépendance, forme de distribution).

Tension sémantique

La p-valeur est en tension avec d'autres mesures de preuve (intervalles de confiance, tailles d'effet, postérieurs bayésiens) ; la tension vient du fait que la p-valeur condense l'extrémité de l'échantillonnage en un seul nombre qui peut masquer magnitude et incertitude.

Synthèse

La P-Valeur est un indice de théorie de l'échantillonnage indiquant l'extrémité des données observées sous un modèle nul ; elle sert à évaluer la compatibilité avec la nulle mais doit être interprétée conjointement avec la taille d'effet, le plan et les hypothèses.