Ein randomisiertes kontrolliertes Experiment, das Einheiten (Nutzer, Sitzungen, Märkte) zwei oder mehreren Varianten eines Produkts oder einer Behandlung zuweist, um kausale Effekte von Änderungen auf vordefinierte Metriken wie Konversion, Bindung oder Umsatz zu schätzen.

Prinzip

Die zufällige Zuweisung stellt Austauschbarkeit zwischen Varianten sicher, sodass Unterschiede im Ergebnis der Behandlung zugeschrieben werden können; Metriken, Stichprobengröße und Analyseplan vorab festlegen, um Typ-I-/Typ-II-Fehler zu kontrollieren und Daten-getriebenes Peeking zu vermeiden.

Demonstration

Ein Produktteam randomisiert Nutzer, damit sie entweder den bestehenden Checkout (A) oder einen vereinfachten Checkout (B) sehen, und misst die Konversionsrate über einen vorab definierten Zeitraum; die Analyse schätzt den durchschnittlichen Behandlungseffekt auf Konversion mit Konfidenzintervallen und vorregistrierten Stoppregeln.

Fehlanwendung

Wiederholtes Peeking auf Ergebnisse und Stoppen bei Signifikanz (optional stopping), Nichtberücksichtigung multipler Vergleiche bei vielen Varianten oder nicht-randomisierte Zuweisung von Nutzern zu Varianten (z. B. nach Gerätetyp), was die kausale Inferenz ungültig macht.

Konsequenz

Bei korrekter Randomisierung und Analyse liefern A/B-Tests glaubwürdige kausale Schätzungen des Feature-Impacts und ermöglichen datengetriebene Produktentscheidungen, priorisierte Rollouts und Messung des inkrementellen Nutzens gegenüber dem Status quo.

Umkehrung

Der Vergleich selbstgewählter Kohorten oder beobachtender Vorher/Nachher-Vergleiche ohne Randomisierung liefert assoziative Evidenz, die Konfundierung, Selektion oder Zeittrends widerspiegeln kann statt Behandlungseffekte.

Abgrenzung

A/B-Tests setzen stabile Einheiten und keine Interferenz zwischen Einheiten (SUTVA) sowie ausreichende Stichprobengröße voraus; sie sind ungeeignet bei sehr seltenen Effekten, wenn Änderungen Netzwerkeffekte auslösen, oder bei ethischen/rechtlichen Einschränkungen gegen Randomisierung.

Semantische Spannung

Wird teils mit multivariaten oder faktoriellen Experimenten und mit Bandit-/adaptiven Tests verwechselt; A/B-Tests sind einfache randomisierte Kontraste, Bandits passen die Allokation adaptiv an und faktoriale Designs schätzen Interaktionseffekte mehrerer Faktoren.

Synthese

A/B-Testing ist das grundlegende randomisierte Experiment in Produkt- und Geschäftskontexten: vergleichbare Einheiten randomisieren, vordefinierte Outcomes messen und im Randomisierungsrahmen analysieren, um kausale Schätzungen zu erhalten, die Deployment und Strategie steuern.