Em resumo: Incrementalidade é o resultado adicional causado por uma intervenção específica em comparação com o que provavelmente teria acontecido sem ela.
Como uso a incrementalidade na prática
Não uso o termo como mais um número de apresentação. Defino a decisão que ele deve esclarecer, os dados por trás dela e quem mudará algo com base no resultado. Antes de uma campanha, defino grupos de controle e teste, a métrica principal, o período do teste, a possível sobreposição e o efeito mínimo com relevância prática. Registro a linha de base, a data da medição e os limites de interpretação para que mudanças posteriores na ferramenta, na amostra ou na formulação da pergunta não sejam confundidas com progresso.
O que observar
O maior risco é uma precisão que apenas parece real. Uma conversão atribuída não é automaticamente incremental; o cliente pode ter comprado sem o anúncio e a plataforma apenas reivindicado o crédito. Comparo os resultados ao longo do tempo, em uma amostra estável e com o contexto empresarial. Se o termo não leva a um próximo passo concreto, não houve análise, apenas um novo rótulo.
Perguntas para decisões
- Qual é o contrafactual crível sem a intervenção?
- É possível impedir a sobreposição entre os grupos?
- O teste tem poder e duração suficientes?
- A diferença medida é economicamente relevante?