Kort gezegd: A/B-testen vergelijkt versies die aan vergelijkbare doelgroepen worden getoond om het effect van één verandering te schatten.
Hoe ik A/B-testen in de praktijk gebruik
Voor de start definieer ik één hypothese, primaire metriek, doelgroep, steekproef en beslisregel. Andere belangrijke omstandigheden houd ik stabiel en ik leg de testperiode vast.
Waar je op moet letten
Te vroeg stoppen, meerdere dingen veranderen of te weinig verkeer testen creëert vals vertrouwen. Statistische significantie garandeert geen zakelijke relevantie.
Vragen voor beslissingen
- Welke ene verandering wordt getest?
- Is de steekproef toereikend?
- Welk resultaat rechtvaardigt uitrol?
- Kan het effect seizoensgebonden of toevallig zijn?