In breve: Il test A/B confronta versioni sottoposte a pubblici comparabili per stimare l’effetto di una singola modifica.
Come utilizzo i test A/B nella pratica
Definisco un’unica ipotesi, la metrica principale, il pubblico, il campione e la regola decisionale prima del lancio. Mantengo stabili le altre condizioni importanti e registro il periodo del test.
A cosa prestare attenzione
Interrompere presto, cambiare più elementi o testare troppo poco traffico crea una falsa sicurezza. La significatività statistica non garantisce la rilevanza aziendale.
Domande per le decisioni
- Quale singola modifica viene testata?
- Il campione è sufficiente?
- Quale risultato giustificherebbe il rilascio?
- L’effetto potrebbe essere stagionale o casuale?