A/Bテストは統計的有意性を無視すると判断を誤る｜サンプルサイズと期間の設計｜未経験から100日後にGTMのプロになる話【Day 86】

A/Bテストの計測設計（GTM単体で乱数を作らず、テストツールの実際の出力を読む）はDay31・64ですでに扱いました。今日は計測ができた後の話、「結果をどう判断するか」という統計的な観点を扱います。

「Aの方が数字が良かった」だけで判断していないか

A/Bテストの結果を見て、Bパターンのコンバージョン率がAより高かったからBを採用しよう、という判断を、サンプルサイズを考えずに下してしまうケースをよく見かけます。アクセス数が少ないページで、たまたま数件の差が出ただけでは、それが本当に「デザインの違いによる差」なのか、単なる「偶然のばらつき」なのかを区別できません。

統計的有意性という考え方

この区別のために使われるのが「統計的有意性」です。詳細な計算式はここでは扱いませんが、実務で押さえておくべきポイントは次の2つです。

• サンプルサイズが小さいうちに結論を出さない：一般的に、各パターンで数百件以上のコンバージョン（サンプルサイズ計算ツールで事前に必要件数を試算しておくのが理想です）が集まるまでは、差が出ているように見えても「まだ判断できない」状態だと考えてください。
• テスト期間は曜日・季節性を含める：平日と休日、月初と月末で行動が変わるサービスも多いので、最低でも1〜2週間、可能なら1か月といった単位でテスト期間を確保し、特定の曜日や時間帯の偏りに結果が引っ張られないようにします。

途中経過を見て早期に打ち切らない

テストの途中経過を毎日眺めて、「差が付いた瞬間にテストを終了する」というやり方は、統計的には結果を歪める行為です。事前に決めたサンプルサイズや期間に達するまでは、多少気になる数字が出ていても最後まで走らせる規律が必要です。GTMやGA4はデータを取得するための道具であり、「いつテストをやめるか」を判断するのは統計的な設計の役割だと切り分けて考えてください。

今日のまとめ

A/Bテストは正しく計測できることと、正しく結果を解釈できることは別の課題です。サンプルサイズと期間を事前に決め、規律を持って最後まで走らせることが、GTMでの計測精度と同じくらい重要です。次回は、GTMのデータ活用とBIツールとの連携を扱います。