Em resumo: O teste A/B compara versões apresentadas a públicos semelhantes para estimar o efeito de uma mudança.
Como uso o teste A/B na prática
Defino uma hipótese, a métrica principal, o público, a amostra e a regra de decisão antes do lançamento. Mantenho estáveis as outras condições importantes e registro o período do teste.
O que observar
Interromper cedo, mudar várias coisas ou testar pouco tráfego cria uma confiança falsa. Significância estatística não garante relevância comercial.
Perguntas para decisões
- Qual mudança única está sendo testada?
- A amostra é suficiente?
- Qual resultado justificaria a implementação?
- O efeito pode ser sazonal ou acidental?