Kort fortalt: A/B-test sammenligner versioner, der vises for sammenlignelige målgrupper, for at vurdere effekten af én ændring.
Sådan bruger jeg A/B-test i praksis
Jeg definerer én hypotese, primær måleenhed, målgruppe, stikprøve og beslutningsregel før lanceringen. Jeg holder andre vigtige betingelser stabile og registrerer testperioden.
Hvad skal du holde øje med
Tidligt stop, flere samtidige ændringer eller for lidt trafik skaber falsk sikkerhed. Statistisk signifikans garanterer ikke forretningsmæssig betydning.
Spørgsmål til beslutninger
- Hvilken enkelt ændring testes?
- Er stikprøven tilstrækkelig?
- Hvilket resultat ville berettige en udrulning?
- Kan effekten være sæsonbestemt eller tilfældig?