Ein quantitatives Verfahren zur Abschätzung der Wahrscheinlichkeit, dass ein geplanter statistischer Test eine falsche Nullhypothese korrekt verwirft, basierend auf Annahmen zu Effektgröße, Stichprobengröße, Signifikanzniveau und Variabilität.

Prinzip

Die Power-Analyse ordnet die Stichprobenplanung dem Kompromiss zwischen detektierbarer Effektgröße, zulässigem Alpha-Fehler (α), zulässigem Beta-Fehler (β) und verfügbaren Ressourcen unter; Power (1−β) dient als Maß für die Sensitivität der Studie.

Demonstration

Bei einem A/B-Markttest schätzt man, dass ein Anstieg der Konversionsrate um 3 Prozentpunkte relevant ist, setzt α=0,05 und Zielpower=0,8 und berechnet die erforderliche Stichprobengröße pro Gruppe anhand des erwarteten Basisraten und der Varianz, um diese Differenz zuverlässig zu entdecken.

Fehlanwendung

Nachträgliche Berechnung der Power auf Basis des beobachteten Effekts (post-hoc-Power) und daraus die Eignung der Stichprobengröße ableiten; oder Verwendung von Power-Formeln bei falscher Varianzannahme oder abhängigen Beobachtungen, was zu irreführenden Empfehlungen führt.

Konsequenz

Richtig angewendet liefert die Power-Analyse einen begründeten Stichprobenplan und macht den kleinstmöglichen detektierbaren Effekt deutlich; Entscheidungsträger können Kosten und Erwartungen abstimmen und unterpowerten Studien vorbeugen.

Umkehrung

Die Umkehr behandelt die Power als unbekannt: Bei gegebener Stichprobe und Effektgröße berechnet man das erforderliche α oder den detektierbaren Effekt; damit liegt der Fokus auf dem, was die Studie hätte nachweisen können, statt auf der Planung eines vordefinierten Effekts.

Abgrenzung

Gilt für inferenzstatistische Tests unter bestimmten Modellannahmen (zufällige Stichprobe oder zufällige Zuweisung, bekannte oder schätzbare Varianz); ausgeschlossen sind Modellfehlanpassungen, nichtstatistische Restriktionen und rein deskriptive Analysen ohne Hypothesentest.

Semantische Spannung

Steht im Wettbewerb zu pragmatischen Stichprobenregeln (Gelegenheitsstichproben, budgetgetriebene Größen) und zur Betonung von Schätzpräzision (Konfidenzintervalle); Spannung entsteht, wenn Stakeholder Kosten oder Durchführbarkeit über statistische Sensitivität stellen.

Synthese

Die Power-Analyse ist die Planungsrechnung, die Effektgröße, Stichprobengröße, Signifikanzniveau und Varianz verknüpft, um sicherzustellen, dass ein geplanter Test eine festgelegte Wahrscheinlichkeit hat, relevante Effekte zu entdecken und Fehler zu kontrollieren.