Kort fortalt: A/B-testing sammenligner versjoner som vises til sammenlignbare målgrupper, for å anslå effekten av én endring.
Slik bruker jeg A/B-testing i praksis
Før lansering definerer jeg én hypotese, hovedmåltall, målgruppe, utvalg og beslutningsregel. Jeg holder andre viktige betingelser stabile og registrerer testperioden.
Hva bør du følge med på
Å stoppe for tidlig, endre flere ting eller teste for lite trafikk skaper falsk trygghet. Statistisk signifikans garanterer ikke forretningsmessig betydning.
Spørsmål for beslutninger
- Hvilken enkeltendring testes?
- Er utvalget tilstrekkelig?
- Hvilket resultat ville rettferdiggjøre utrulling?
- Kan effekten være sesongbetont eller tilfeldig?