Une Erreur de Type II est la défaillance à détecter un effet, une relation ou une différence statistique réelle alors qu'elle existe ; formellement, il s'agit de ne pas rejeter une hypothèse nulle fausse (faux négatif).

Principe

L'Erreur de Type II est déterminée par la puissance du test (1 moins bêta) ; réduire le risque de Type II exige des échantillons plus grands, des signaux plus forts ou des plans d'expérience plus sensibles, mais implique souvent un arbitrage avec le contrôle du Type I et le coût.

Démonstration

Si une entreprise réalise une expérience pour détecter une amélioration modeste des conversions suite à un ajustement du site, une Erreur de Type II survient lorsque le test manque de puissance et conclut à l'absence d'amélioration, conduisant l'entreprise à abandonner un changement qui aurait augmenté les revenus.

Mauvaise application

Interpréter un résultat non significatif comme la preuve de l'absence d'effet sans considérer la puissance, la taille d'échantillon ou l'ampleur de l'effet est une mauvaise application qui masque le risque de Type II.

Conséquence

Un risque élevé de Type II entraîne des occasions manquées : produits ou optimisations bénéfiques non adoptés, investissements prometteurs reportés et apprentissage à partir des données ralenti.

Inversion

L'Erreur de Type I est l'inverse : détecter un effet qui n'existe pas ; diminuer agressivement le Type II en augmentant alpha peut accroître les faux positifs.

Limite

S'applique aux tests d'hypothèses et aux décisions basées sur des échantillons ; cela ne couvre pas l'échec d'implémentation, le biais non observé dans les revendications causales ou les environnements non stationnaires qui invalident les tests antérieurs.

Tension sémantique

La tension réside entre le désir d'éviter les faux négatifs (Type II) et la nécessité de limiter les faux positifs (Type I) ; ce compromis se manifeste dans la conception d'échantillons, l'analyse coûts-avantages et les contextes réglementaires.

Synthèse

L'Erreur de Type II désigne les faux négatifs en inférence : ne pas rejeter une hypothèse nulle fausse, contrôlée par la puissance et la conception de l'échantillon, avec des coûts pratiques en termes de valeur manquée et de décélération de la prise de décision.