En bref : L’incrémentalité est le résultat supplémentaire causé par une intervention précise, comparé à ce qui se serait probablement produit sans elle.
Comment j’utilise l’incrémentalité en pratique
Je n’utilise pas ce terme comme un chiffre de plus dans une présentation. Je définis la décision qu’il doit aider à clarifier, les données qui la sous-tendent et la personne qui modifiera quelque chose en fonction du résultat. Avant une campagne, je définis les groupes témoin et test, l’indicateur principal, la période de test, les chevauchements possibles et l’effet minimal pertinent en pratique. Je consigne la référence, la date de mesure et les limites d’interprétation afin que les changements ultérieurs d’outil, d’échantillon ou de formulation de la question ne soient pas pris pour des progrès.
Points de vigilance
Le principal risque est une précision qui semble réelle sans l’être. Une conversion attribuée n’est pas automatiquement incrémentale ; le client aurait pu acheter sans la publicité et la plateforme s’est simplement attribué le mérite. Je compare les résultats dans le temps, sur un échantillon stable et avec le contexte commercial. Si le terme ne conduit à aucune prochaine étape concrète, il n’y a pas eu d’analyse, seulement une nouvelle étiquette.
Questions pour prendre une décision
- Quel est le contrefactuel crédible sans intervention ?
- Peut-on empêcher les chevauchements entre les groupes ?
- Le test dispose-t-il d’une puissance et d’une durée suffisantes ?
- La différence mesurée est-elle pertinente sur le plan économique ?