Procédure quantitative visant à estimer la probabilité qu'un test statistique planifié rejette correctement une hypothèse nulle fausse, en fonction des hypothèses sur la taille d'effet, la taille de l'échantillon, le niveau de signification et la variabilité.

Principe

L'Analyse de Puissance organise la conception de l'échantillon autour de l'arbitrage entre la taille d'effet détectable, l'erreur de Type I acceptable (α), l'erreur de Type II admissible (β) et les ressources disponibles ; elle considère la puissance (1−β) comme le critère de sensibilité de l'étude.

Démonstration

Pour un test A/B en marketing, on estime qu'une augmentation de conversion de 3 points est pertinente, on fixe α=0,05 et une puissance cible de 0,8, puis on calcule la taille d'échantillon par groupe à partir du taux de base et de la variance attendue pour garantir que le test détectera cette augmentation.

Mauvaise application

Calculer la puissance après observation de l'effet observé (puissance post hoc) et en déduire que l'échantillon était suffisant ; ou utiliser des formules de puissance avec une variance erronée ou des observations dépendantes, produisant des recommandations trompeuses.

Conséquence

Bien appliquée, l'analyse de puissance fournit un plan d'échantillonnage justifié et précise le plus petit effet détectable ; les parties prenantes peuvent aligner coûts et attentes et éviter des études sous-puissantes aux résultats non concluants.

Inversion

L'inversion considère la puissance comme inconnue : pour un échantillon et un effet donnés, on calcule le α nécessaire ou l'effet détectable ; inversement, on se concentre sur ce que l'étude aurait pu détecter plutôt que sur la planification d'un effet prescrit.

Limite

S'applique aux tests inférentiels sous modèles et hypothèses spécifiées (échantillonnage aléatoire ou assignation aléatoire, variance connue ou estimable) ; exclut la mauvaise spécification du modèle, les contraintes non statistiques et les analyses purement descriptives sans test d'hypothèse.

Tension sémantique

Conflit avec les règles d'échantillonnage pragmatiques (échantillons de commodité, tailles dictées par le budget) et avec l'accent sur la précision d'estimation (intervalles de confiance) ; la tension apparaît lorsque les décideurs privilégient le coût ou la faisabilité opérationnelle plutôt que la sensibilité statistique.

Synthèse

L'Analyse de Puissance est le calcul de conception qui relie la taille d'effet, la taille de l'échantillon, le seuil de significativité et la variance afin de garantir qu'un test planifié a une probabilité donnée de détecter des effets pertinents tout en contrôlant les erreurs.