간단히 말하면: A/B 테스트는 비교 가능한 대상 고객에게 노출한 버전을 비교하여 한 가지 변화의 효과를 추정합니다.
실무에서 A/B 테스트를 사용하는 방법
시작 전에 하나의 가설, 주요 지표, 대상 고객, 표본과 의사결정 규칙을 정의합니다. 다른 중요한 조건은 안정적으로 유지하고 테스트 기간을 기록합니다.
주의할 점
일찍 중단하거나 여러 가지를 바꾸거나 트래픽이 너무 적은 상태에서 테스트하면 잘못된 확신이 생깁니다. 통계적 유의성이 비즈니스적 유의성을 보장하지는 않습니다.
의사결정을 위한 질문
- 어떤 단일 변화를 테스트하고 있나요?
- 표본이 충분한가요?
- 어떤 결과가 전면 도입을 정당화합니까?
- 효과가 계절적 요인이나 우연에 따른 것일 수 있나요?