要点： A/Aテストは、技術的に同一の2つのバリエーションを比較します。本来は差が生じないはずの状況で、実験ツール、トラフィックの分割、評価方法によって差が生まれていないかを確認するために使います。
実務でA/Aテストをどう使うか
私はA/Aテストを、ページ全体の文脈で評価します。見出し、コピー、操作要素、速度、フィードバックが一体となって、何ができ、その後何が起こるのかを説明しなければなりません。まずタスクを妨げる障害を取り除き、装飾や効果は基本が機能してから加えます。
注意すべきこと
マウスで操作できるからといって、コンポーネントが完成しているわけではありません。A/Aテストでは、キーボード操作、コントラスト、拡大表示、スクリーンリーダー、低速ネットワーク、スクリプトなしの状態を確認します。アクセシビリティとパフォーマンスは追加要素ではなく、同じ体験の一部です。
意思決定のための問い
- ページ上で、その人はどのタスクを完了したいのか。
- どこで迷ったり、間違えたり、文脈を失ったりする可能性があるか。
- モバイル、キーボード操作、低速ネットワークでも解決策は機能するか。
- 変更が本当に役立ったことを、どのシグナルが示すか。