要点： A/B/C テストでは、1つの体験について3つのバリエーションを、対象者を分割したうえで同時に比較します。目的は、事前に定めた仮説を検証することであり、できるだけ多くの変更を無作為に試すことではありません。
実務での A/B/C テストの活用方法
定義した対象者と目標に対して、3つのバリエーションのどれがより優れた成果を上げるかを確認する、管理された比較。
注意すべき点
私は A/B/C テストを、ラベルや単独の指標としてではなく、具体的な意思決定を支えるために使います。まず、対象者、状況、変える必要のある結果を明確にします。次に、どのような証拠が利用できるのか、その発見に基づいて誰が行動するのか、どのような実務上の次のステップにつなげるべきかを整理します。後から本当の改善を、ツール、サンプリング、実装、検索クエリの表現の変化と区別できるよう、ベースライン、測定日、解釈の限界を記録します。こうすることで、取り組みをプレゼンテーション用の数字に変えてしまうのではなく、顧客のカスタマージャーニーと商業的な文脈に結び付けておけます。
意思決定を導く質問
- これによって、どの具体的な意思決定を明確にするべきですか？
- 結論を裏付ける証拠は何で、何がまだ仮説ですか？
- その結果、私たちは何を変えて実行しますか？
- 変更の責任者は誰で、その影響をいつ評価しますか？