概要： A/Bテストは、比較可能なオーディエンスに提示したバージョンを比較し、1つの変更の効果を推定します。
実務でのA/Bテストの使い方
開始前に、1つの仮説、主要指標、オーディエンス、サンプル、意思決定ルールを定義します。その他の重要な条件は安定させ、テスト期間を記録します。
注意すべき点
早期に停止したり、複数のことを変更したり、トラフィックが少なすぎる状態でテストしたりすると、誤った確信が生まれます。統計的有意性は、事業上の有意性を保証しません。
意思決定のための質問
- どの1つの変更をテストしていますか？
- サンプルは十分ですか？
- どの結果なら展開を正当化できますか？
- その効果は季節性や偶然によるものではありませんか？