Lyhyesti: A/B-testauksessa vertaillaan versioita, jotka näytetään vertailukelpoisille yleisöille, jotta yhden muutoksen vaikutus voidaan arvioida.
Miten käytän A/B-testausta käytännössä
Määrittelen yhden hypoteesin, ensisijaisen mittarin, yleisön, otoksen ja päätössäännön ennen julkaisua. Pidän muut tärkeät olosuhteet vakaina ja kirjaan testijakson.
Mitä kannattaa seurata
Liian aikainen lopettaminen, usean asian muuttaminen tai liian vähäisen liikenteen testaaminen luo väärää varmuutta. Tilastollinen merkitsevyys ei takaa liiketoiminnallista merkitystä.
Päätöksiä ohjaavat kysymykset
- Mitä yksittäistä muutosta testataan?
- Onko otos riittävä?
- Mikä tulos oikeuttaisi käyttöönoton?
- Voiko vaikutus olla kausiluonteinen tai sattumanvarainen?