Kort gezegd: Incrementaliteit is het extra resultaat dat door een specifieke interventie wordt veroorzaakt, vergeleken met wat er waarschijnlijk zonder die interventie zou zijn gebeurd.
Hoe ik Incrementality in de praktijk gebruik
Ik gebruik de term niet als nog een getal in een presentatie. Ik definieer de beslissing die ermee moet worden verduidelijkt, de gegevens erachter en wie op basis van het resultaat iets zal veranderen. Voor een campagne definieer ik controle- en testgroepen, de primaire metriek, de testperiode, mogelijke overlap en het minimaal praktisch relevante effect. Ik leg de nulmeting, meetdatum en grenzen van de interpretatie vast, zodat latere veranderingen in tool, steekproef of formulering van de vraag niet voor vooruitgang worden aangezien.
Waar je op moet letten
Het grootste risico is precisie die alleen echt lijkt. Een toegeschreven conversie is niet automatisch incrementeel; de klant had misschien ook zonder advertentie gekocht en het platform heeft alleen de eer opgeëist. Ik vergelijk resultaten in de tijd, op een stabiele steekproef en met de zakelijke context. Als de term niet leidt tot een concrete volgende stap, was er geen analyse, maar alleen een nieuw label.
Vragen voor beslissingen
- Wat is het geloofwaardige contrafeitelijke scenario zonder interventie?
- Kan overlap tussen groepen worden voorkomen?
- Heeft de test voldoende statistische power en duur?
- Is het gemeten verschil economisch betekenisvol?