Kurz gesagt: A/B-Testing vergleicht Versionen, die vergleichbaren Zielgruppen gezeigt werden, um die Wirkung einer einzelnen Änderung zu schätzen.
Wie ich A/B-Testing in der Praxis nutze
Vor dem Start definiere ich eine Hypothese, die Hauptkennzahl, Zielgruppe, Stichprobe und Entscheidungsregel. Andere wichtige Bedingungen halte ich stabil und dokumentiere den Testzeitraum.
Worauf Sie achten sollten
Ein vorzeitiger Abbruch, mehrere Änderungen oder zu wenig Traffic erzeugen falsche Sicherheit. Statistische Signifikanz garantiert keine geschäftliche Relevanz.
Fragen für Entscheidungen
- Welche einzelne Änderung wird getestet?
- Ist die Stichprobe ausreichend?
- Welches Ergebnis rechtfertigt den Rollout?
- Könnte der Effekt saisonal oder zufällig sein?