Kort sagt: A/B-testning jämför versioner som visas för jämförbara målgrupper för att uppskatta effekten av en förändring.
Så använder jag A/B-testning i praktiken
Jag definierar en hypotes, primärt mätvärde, målgrupp, urval och beslutsregel före lanseringen. Jag håller andra viktiga förhållanden stabila och dokumenterar testperioden.
Vad man bör vara uppmärksam på
Att avbryta för tidigt, ändra flera saker eller testa för lite trafik skapar falsk säkerhet. Statistisk signifikans garanterar inte affärsmässig betydelse.
Frågor inför beslut
- Vilken enskild förändring testas?
- Är urvalet tillräckligt stort?
- Vilket resultat skulle motivera lansering?
- Kan effekten vara säsongsbunden eller slumpmässig?