要するに： インクリメンタリティとは、特定の施策によって生じた追加的な成果を、その施策がなければおそらく生じていなかった成果と比較して捉えることです。
実務でのインクリメンタリティの使い方
私はこの用語を、プレゼンテーション用の別の数字として使うことはありません。何を明らかにするための判断なのか、その根拠となるデータは何か、結果を受けて誰が何を変えるのかを定義します。キャンペーンの前に、コントロール群とテスト群、主要指標、テスト期間、起こり得る重複、そして実務上意味のある最小効果量を定めます。後からツール、サンプル、質問文が変わった際に、それを進歩と取り違えないよう、ベースライン、測定日、解釈の範囲も記録します。
注意すべき点
最大のリスクは、実態以上に確かなように見える精度です。コンバージョンに貢献したとされる成果が、自動的にインクリメンタルになるわけではありません。広告がなくても顧客は購入していたかもしれず、プラットフォームが単に貢献実績を主張しているだけの可能性があります。私は、安定したサンプルと事業上の文脈をもとに、時間をまたいで結果を比較します。この用語から具体的な次の行動につながらないなら、それは分析ではなく、新しいラベルを付けただけです。
意思決定のための問い
- 施策がなかった場合に、信頼できる反実仮想は何ですか？
- グループ間の重複を防げますか？
- テストには十分な検出力と期間がありますか？
- 測定された差は、経済的に意味のあるものですか？