In breve: L’incrementalità è il risultato aggiuntivo causato da uno specifico intervento rispetto a ciò che probabilmente sarebbe accaduto senza di esso.
Come uso l’incrementalità nella pratica
Non uso il termine come un altro numero da presentazione. Definisco la decisione che dovrebbe chiarire, i dati su cui si basa e chi cambierà qualcosa in funzione del risultato. Prima di una campagna definisco gruppi di controllo e test, la metrica principale, il periodo del test, le possibili sovrapposizioni e l’effetto minimo concretamente significativo. Registro il valore di riferimento, la data della misurazione e i limiti dell’interpretazione, così i successivi cambiamenti nello strumento, nel campione o nella formulazione della domanda non vengono scambiati per progresso.
A cosa prestare attenzione
Il rischio maggiore è una precisione solo apparentemente reale. Una conversione attribuita non è automaticamente incrementale: il cliente potrebbe aver acquistato anche senza l’annuncio e la piattaforma si è limitata ad attribuirsi il merito. Confronto i risultati nel tempo, su un campione stabile e nel contesto aziendale. Se il termine non porta a un passo successivo concreto, non c’è stata analisi, ma solo una nuova etichetta.
Domande per le decisioni
- Qual è il controfattuale credibile senza intervento?
- È possibile impedire la sovrapposizione tra i gruppi?
- Il test ha potenza e durata sufficienti?
- La differenza misurata è significativa dal punto di vista economico?