Kort fortalt: Inkrementalitet er det ekstra resultatet som skyldes et bestemt tiltak, sammenlignet med det som sannsynligvis ville ha skjedd uten tiltaket.
Slik bruker jeg inkrementalitet i praksis
Jeg bruker ikke begrepet som et nytt tall i presentasjonen. Jeg definerer beslutningen det skal tydeliggjøre, dataene bak og hvem som skal endre noe basert på resultatet. Før en kampanje definerer jeg kontroll- og testgrupper, hovedmålet, testperioden, mulig overlapp og den minste praktisk betydningsfulle effekten. Jeg registrerer utgangspunktet, måledatoen og grensene for tolkningen, slik at senere endringer i verktøy, utvalg eller formulering av spørsmålet ikke forveksles med fremgang.
Hva du bør passe på
Den største risikoen er presisjon som bare ser reell ut. En attribuert konvertering er ikke automatisk inkrementell; kunden kan ha kjøpt uten annonsen, mens plattformen bare tok æren. Jeg sammenligner resultater over tid, på et stabilt utvalg og med forretningskonteksten. Hvis begrepet ikke fører til et konkret neste steg, var det ingen analyse, bare en ny etikett.
Spørsmål for beslutninger
- Hva er det troverdige kontrafaktiske utfallet uten tiltaket?
- Kan overlapp mellom gruppene forhindres?
- Har testen tilstrekkelig styrke og varighet?
- Er den målte forskjellen økonomisk meningsfull?