Em resumo: Um teste A/B/C compara três variantes de uma experiência entre divisões simultâneas de um público. Seu objetivo é testar uma hipótese descrita previamente, não experimentar aleatoriamente o maior número possível de mudanças.
Como uso o teste A/B/C na prática
Uma comparação controlada de três variantes para descobrir qual apresenta melhor desempenho para um público e objetivo definidos.
A que prestar atenção
Uso o teste A/B/C para apoiar uma decisão específica, não como um rótulo ou uma métrica isolada. Começo identificando o público, a situação e o resultado que precisa mudar. Depois estabeleço quais evidências estão disponíveis, quem agirá com base na descoberta e qual próximo passo prático deve acontecer. Registro a linha de base, a data da medição e os limites de interpretação, para que uma melhoria real possa ser separada posteriormente de mudanças nas ferramentas, na amostragem, na implementação ou na formulação de uma consulta. Assim, o trabalho permanece conectado à jornada do cliente e ao contexto comercial, em vez de se transformar em um número de apresentação.
Perguntas para orientar a decisão
- Qual decisão específica isso deve esclarecer?
- Que evidências sustentam a conclusão e o que continua sendo uma hipótese?
- O que faremos de forma diferente como resultado?
- Quem é responsável pela mudança e quando avaliaremos seu impacto?