ABテストを回しているのに勝てない理由
こんにちは、山口偉大(Takehiro Yamaguchi)です。
このニュースレターでは、経営現場で見てきた「意思決定」「事業の伸ばし方」「マーケティングと組織」の話を、構造化して書いていきます。 顧問現場でしか話さない踏み込んだ話、SNSには出さない制作中のプロダクトの裏側、ゲストを招いた対談記事なども配信予定です。
▼ 取り上げるテーマ
・マーケティング
・事業戦略
・企業/事業分析
・経営者の意思決定
・プロダクト開発と編集
・音楽・料理・旅から考える仕事の設計
まずは無料購読で、味見してください。
自己紹介
まずは簡単な自己紹介から。略歴はこんな感じです。
経歴
山梨県出身、早稲田大学政治経済学部政治学科卒業。PR会社「株式会社ベクトル」にてPRコンサルタントとして従事したのち、「株式会社Branding Engineer（現 株式会社TWOSTONE&Sons）」へ参画、各種人材・DX関連の事業立ち上げや事業部長・経営企画を歴任し独立。上場企業から地方の中堅・中小企業まであらゆる業種・規模感の新規事業開発 / マーケティング / ブランディング / PR支援等を実施。その後「Start-X合同会社」を設立。マーケティングや事業開発、クリエイティブ制作等の支援事業と共同・自社事業を複数展開。複数企業の顧問・アドバイザーも兼務。
音楽：DJ & Producer「Takehiro Yamaguchi」名義でSpotify・Apple Musicなどの各種音楽配信プラットフォームにて配信中。
料理：プライベートシェフとして和食・寿司を提供。
拠点：山梨 × 東京の2拠点。
「深夜の編集室 / Editing Room, Late Night」を夜22時に配信中(TikTok / Instagram / YouTube)。
※SNS発信も頑張っておりますので、ぜひフォローのほどよろしくお願いします！
各種SNSアカウント
お仕事のご相談は各種SNSからお気軽に。
X：https://x.com/yamaguchi_take
Facebook：https://www.facebook.com/yamaguchi.takehiro0129
Instagram：https://www.instagram.com/yamaguchi_take/
note：https://note.com/yamaguchi_take
はじめに：「ABテストを回しているのに、なぜ伸びないのか」
経営やマーケティングの現場で、ここ数年でこの相談を本当に多く受けるようになった。
「LP のCVRを改善するために、毎月10本以上のABテストを回しています」
「広告クリエイティブも常に5パターン同時配信して最適化しています」
「メールの件名も、配信時間も、全部ABテストで決めています」
「データドリブンの体制は、業界でもかなり進んでいる方だと思います」
「でも、3年前と比べて、CVRも売上も、ほとんど変わっていません。」…
これは、特定の会社の話ではない。
データ分析・改善文化が進んでいる企業ほど、この現象に陥っている。
ABテストの本数は増えている。データの精度も上がっている。レポートも美しい。マーケティングチームも疲弊しながら頑張っている。
しかし、肝心の「事業成長」が止まっている。
これはなぜか。
結論から言う。
多くの会社のABテストは、「勝つため」のテストではなく、「動いているように見せるため」のテストになっているからだ。
ABテスト自体は強力な武器だ。問題は、その使い方を構造的に間違えている会社が、驚くほど多いことだ。
今回は、「ABテストを回しても勝てない理由」を徹底的に分解していきたい。
そして、ABテストを「事業を本当に伸ばす武器」に再定義するために、何を変えるべきか——この問いへの答えを整理する。
第1章：「ABテスト信仰」の構造
1-1. なぜABテストはこれほど信奉されるようになったのか
そもそも、ABテストがマーケティング現場のスタンダードになった背景を整理したい。
2010年代、デジタルマーケティングの世界で「データドリブン」という言葉が広まった。
「勘や経験ではなく、データに基づいて意思決定する」——この思想が、業界全体を席巻した。
そしてその実装方法として、ABテストが圧倒的な支持を集めた。
理由はシンプルだ。
ABテストは、「客観的に正しい答えを出してくれる」と信じられていたからだ。
二つの選択肢を実際に試して、数字が良かった方を採用する。誰の好みでもなく、誰の権威でもなく、純粋な数字だけが意思決定の根拠になる。
これは、社内政治や担当者の主観に振り回されてきたマーケティング現場にとって、革命的な道具に見えた。
GoogleやFacebook、Amazonなどの大手テック企業が「ABテストを大量に回している」という話が広まったことも、信仰を加速させた。
「うちもABテストを増やせば、もっと成果が出るはずだ」——多くの企業が、この信念のもとに、ABテスト文化を導入してきた。
1-2. しかし、ABテストには本質的な限界がある
ここで、冷静に整理する必要がある。
ABテストは万能ではない。
具体的には、ABテストには3つの構造的な限界がある。
限界①：「既にあるものの、どちらが良いか」しか答えられない
ABテストは、「与えられた選択肢のうち、どちらが優れているか」を判定する道具だ。
しかし、「そもそもどんな選択肢を試すべきか」は教えてくれない。
ボタンの色を「赤」と「青」でテストすることはできる。でも、「ボタンの色を変えること自体が正しい改善方向なのか」は、ABテストでは分からない。
ABテストは「既に存在する仮説の検証」はできるが、「新しい仮説の発見」はできない。
これが最大の限界だ。
限界②：「短期の数字」は最適化できるが、「長期の関係性」には弱い
ABテストは、通常、短期間で結果が出る指標を対象にする。
クリック率、購入率、メール開封率、登録完了率——これらは数日から数週間で測定できる。
しかし、顧客のリピート率、ブランドへの好感度、長期のLTV——こういった「長期の指標」は、ABテストでは測定が難しい。
結果として、ABテストを回し続けると、「短期の数字は良くなるが、長期の関係性は弱くなる」という現象が起きやすい。
例えば、誇大なコピーで短期のCVRを上げると、購入後の満足度は下がり、リピート率も紹介率も低下する。
短期のABテストでは「勝った」ことになるが、長期では「負けた」ことになる。
限界③：「文脈」を捉えられない
ABテストは、特定の条件下で測定された結果を、一般的な真理として扱う傾向がある。
しかし、マーケティング施策の成果は、文脈に強く依存する。
季節、曜日、競合の動き、市場の空気、社会のニュース——同じ施策でも、文脈が違えば結果は全く違う。
3ヶ月前のABテストで勝った A 案が、今日のABテストでは B 案に負ける、ということが普通に起きる。
文脈の変化を捉えられないABテストの結果を、絶対的な真理として扱うと、判断を誤る。
第2章：「ABテストを回しているのに勝てない」5つの理由
ここからが本題だ。
なぜ、これだけABテストを頑張っているのに、事業が伸びないのか。
5つの構造的な理由に整理する。
理由①：「ローカル最適化」の罠に陥っている
これが最も多い、そして最も深刻な理由だ。
ABテストを大量に回している会社は、必ずある段階で「ローカル最適化の罠」に陥る。
ローカル最適化とは何か。
「現在の地点から見える範囲で、最も良い場所に移動し続ける」結果として、本当に行くべき遠い高地に行けなくなる現象だ。
具体例で説明する。
ある LP のCVRが2.0%だったとする。
ボタンの色を変えるABテストで、2.1%に上がった。 コピーを変えるABテストで、2.2%に上がった。 画像を変えるABテストで、2.3%に上がった。
毎月小さな改善を積み重ね、半年後にCVRは2.8%になった。
担当者は「順調に改善できている」と報告する。
しかし、競合は同じ期間に、LPの構造そのものを根本から作り直し、CVRを5.0%にしていた。
これがローカル最適化の罠だ。
ABテストは「今の地点の少し先」までしか連れて行ってくれない。「全く違う場所」には連れて行ってくれない。
CVRを2.0%から2.8%に改善するのと、2.0%から5.0%に改善するのは、全く別の問題だ。
前者はABテストの問題だが、後者は「そもそもの設計を再考する」問題だ。
ABテストを回し続けていると、現在の枠組みの中での改善に意識が集中し、「枠組みそのものを疑う」発想が消えていく。
これが、長期的な成長の天井を作る最大の要因だ。
理由②：「テストする変数」がそもそも本質的でない
二つ目の理由がこれだ。
ABテストの本数を増やしても、「何をテストしているか」が表層的だと、本質的な改善には繋がらない。
多くの会社で行われているABテストは、こんな内容だ。
ボタンの色を赤と青で比較
ヘッダー画像を2種類で比較
ボタンのテキストを「申し込む」と「無料で始める」で比較
メールの件名を絵文字ありとなしで比較
これらは、確かにABテストとして成立する。
しかし、これらをいくら最適化しても、事業の本質的な競争力は変わらない。
なぜなら、これらは全て「表層の最適化」であり、「顧客がそもそもなぜ購入するのか」という本質的な問いには触れていないからだ。
本質的なABテストは、こうなる。
「ターゲット顧客のセグメント」を変える（誰に売るか）
「価値提案の核心」を変える（何を約束するか）
「価格戦略」を変える（いくらで売るか）
「販売チャネル」を変える（どこで売るか）
これらは、テストするのが難しい。リソースもかかる。リスクもある。
だから多くの会社は、簡単にテストできる「ボタンの色」のような表層的なテストばかりを増やしていく。
「テストの本数」は増えるが、「テストの本質性」は薄くなる。
これが、頑張っているのに伸びない根本的な原因だ。
理由③：「勝ったテスト」しか覚えていない
三つ目の理由が、組織の学習構造の問題だ。
ABテストを回している会社は、結果を「成功か失敗か」で記録することが多い。
A案の方がB案より数字が良かった→A案が勝ち。
そして、A案のような要素を次のテストに取り入れる。
このアプローチには、致命的な問題がある。
「なぜA案が勝ったのか」が、組織の中に蓄積されないことだ。
A案が勝った理由は何だったのか。
配信したタイミングが良かったのか
特定のセグメントだけに刺さったのか
たまたま競合の広告が少なかったのか
単なる統計的な揺らぎだったのか
これらを深く考えずに「A案が勝った」とだけ記録すると、次に似た状況で同じ判断をしても、同じ結果は出ない。
経営現場で見てきて感じるのは、ABテストを大量に回している会社ほど、「テスト結果のデータベース」は分厚いが、「なぜそうなったかの理解」が薄いということだ。
データはあるが、知見が蓄積されていない。
ABテストの本当の価値は「勝った案」ではなく「勝った理由の理解」にある。理由を理解できないABテストは、ただの数字遊びになる。
理由④：「実験」ではなく「ルーティン」になっている
四つ目の理由が、組織文化の問題だ。
最初のうちは、ABテストは「新しい発見をするための実験」だった。
しかし、いつの間にか「毎月一定数を回すべきルーティン業務」に変質する。
「先月10本テストした。今月も10本テストしよう。」
「先月のテストは何だった？」「ボタンの色とコピーとヘッダー画像と…」
「今月は何をテストする？」「うーん…とりあえず、ボタンの色をまた変えてみるか」
これは実験ではない。作業だ。
実験には「明らかにしたい問い」がある。作業には「こなすべき作業量」しかない。
実験が作業に変わると、ABテストは「やっている感」を作るためのアリバイになる。
「うちの会社はABテストをこれだけ回しています」と報告できる。データドリブンの組織として外部から評価される。マーケティングチームの仕事の存在意義も明確に見える。
しかし、本質的な事業成長には、ほとんど寄与していない。
経営層から見ると、「マーケチームは頑張っているのに、なぜ数字が伸びないのか」が分からない。
実は、頑張っている方向が、最初からズレているのだ。
理由⑤：「ABテストで決められないこと」を、ABテストで決めようとしている
最後の、そして最も本質的な理由がこれだ。
事業の意思決定には、「ABテストで決められること」と「ABテストで決められないこと」がある。
ABテストで決められること：
表層の最適化（ボタンの色、コピーの細部、画像の選定）
短期の数値改善（CVR、CTR、開封率）
既知の選択肢の優劣判定
ABテストで決められないこと：
戦略的な方向性（誰に、何を、どう売るか）
長期のブランド構築
文化や美意識の判断
「全く新しい何か」の発明
リスクの大きい不可逆な意思決定
問題は、多くの組織が、後者の意思決定もABテストで決めようとしていることだ。
「新しいブランディングの方向性をどうするか」を、ABテストの結果で決めようとする。
「次のキャンペーンのコンセプトをどうするか」を、過去のABテスト結果から導き出そうとする。
「会社のミッションをどう打ち出すか」を、ABテストでテストしようとする。
これらは、ABテストで決めるべき領域ではない。
経営者やマーケターが、自らの判断と責任で決めるべき領域だ。
ABテストの「客観性」に頼りすぎる組織は、本来人間が下すべき判断を、データに代行させようとする。そしてその結果、誰も責任を取らない、当たり障りのない意思決定が積み重なっていく。
第3章：「ABテスト中毒」の組織で起きている現象
ここまで、ABテストが機能しない理由を整理してきた。
これらの理由が組み合わさると、組織には特有の症状が現れる。「ABテスト中毒」と呼べる状態だ。
症状①：「データがないと動けない」マインドセット
ABテストに依存する組織では、「データの裏付けがない判断」への抵抗が強くなる。
「これは過去のテストでこうだったから」 「Aパターンの方が数字が良いから」 「データを見てから決めましょう」
こういった発言が、意思決定の場の中心になる。
一見、合理的に見える。
しかし、この文化が強くなると、「直感」「美意識」「経験則」「ビジョン」といった、データでは説明できない判断軸が排除されていく。
そして、競合との差別化要因が失われる。
データを根拠に判断する組織は、競合も同じデータを見て同じ判断をする可能性が高い。
結果として、業界全体が同質化していく。
症状②：「リスクを取らない」組織になる
ABテストは、「小さな変化」を「確実に」検証する道具だ。
この文化が強くなると、組織全体が「小さな改善」しか目指さなくなる。
大きな改革、大胆な方向転換、リスクのある投資——これらは「データの裏付けが取れない」という理由で却下されるようになる。
「ボタンの色を3色テストしてから決めましょう」というレベルの慎重さが、戦略的な意思決定にも適用される。
結果、組織は「失敗しないが、大きく勝つこともない」状態に固定化される。
ABテスト文化が強い組織ほど、「大きく外す可能性のある、しかし大きく当たる可能性もある」判断ができなくなる。
症状③：「マーケターの仕事」が技術的になりすぎる
ABテスト中心の組織では、マーケターの仕事が「ツール操作とデータ分析」に偏る。
新しいABテストツールの使い方を学ぶ。レポート作成のスキルを磨く。統計的な有意性の判定を勉強する。
これらは重要だ。しかし、本来のマーケターの仕事は、もっと幅広い。
顧客の感情を想像する力
ブランドの世界観を構築する力
言葉の選び方への感度
時代の空気を読む力
戦略的な意思決定をする勇気
これらが、ツール操作スキルの陰に隠れていく。
マーケターが「技術者」になりすぎると、「人の心を動かす」という本質的な仕事ができなくなる。
第4章：「勝つABテスト」と「勝てないABテスト」の決定的な違い
ここまで、ABテストの限界と、機能しない理由を整理してきた。
しかし、ABテストそのものを否定したいわけではない。
ABテストは、正しく使えば極めて強力な道具だ。
問題は、多くの組織が「使い方」を根本から間違えていることだ。
「勝つABテスト」と「勝てないABテスト」の違いを、5つの軸で整理する。
違い①：「問い」の質が違う
勝てないABテストは、「何を変えるか」から始まる。
「ボタンの色を変えてみよう」「コピーを変えてみよう」——これらは、変える対象を先に決めている。
勝つABテストは、「何を明らかにしたいか」から始まる。
「うちの顧客は、価格と機能のどちらに反応するのか」 「ターゲット顧客は、感情訴求と論理訴求のどちらに動くのか」 「現在の購入障壁は、価格なのか、信頼性なのか、利用イメージなのか」
こういった本質的な問いから始まるABテストは、結果が「ボタンの色を青に変えた」では終わらない。
「うちの顧客は、感情よりも論理で動く」「現在の障壁は信頼性である」という、組織の意思決定を変える知見が得られる。
「何を変えるか」から始めるテストは表層を改善する。「何を明らかにしたいか」から始めるテストは戦略を変える。
違い②：「テストする変数の幅」が違う
勝てないABテストは、表層の小さな変数だけをテストする。
色、フォント、配置、コピーの細部——これらは確かにテストしやすい。
しかし、改善幅の上限が低い。
勝つABテストは、構造的な大きな変数もテストする。
ターゲットセグメント、価値提案、価格、商品ラインナップ——これらをテストするのは難しいが、改善幅の上限が圧倒的に高い。
例えば、ターゲットを「30代女性」から「子育て中の30代女性」に変えるだけで、CVRが2倍になることはある。
ボタンの色を変えても、CVRが2倍になることはない。
ABテストの真価は、テストする変数の重要性で決まる。
違い③：「結果の解釈」の深さが違う
勝てないABテストは、結果を「数字の優劣」で判断する。
A案のCVRが2.5%、B案が3.0%。だからB案の勝ち。次もB案を使おう。
勝つABテストは、結果を「なぜそうなったか」で解釈する。
A案とB案の違いは何だったのか。なぜB案の方が反応が良かったのか。これは特定のセグメントだけの傾向か、それとも普遍的なものか。
この解釈のプロセスを通じて、**「次のテストで、もっと本質的な変数を試すための仮説」**が生まれる。
ABテストは、単発の判定ではなく、連続的な学習のサイクルだ。一回のテスト結果から、次の問いが生まれる。その繰り返しによって、組織の知見が深まっていく。
違い④：「失敗を許容する文化」がある
勝てないABテストの組織では、「負けたテスト」が責任問題になる。
「あの案を推した担当者の判断は間違っていた」 「もっと慎重に検討するべきだった」
このような責任追及が起きると、担当者は「絶対に勝てそうな案」しか提案しなくなる。
そして「絶対に勝てそうな案」とは、つまり「現状から大きく離れていない案」だ。
結果として、組織は革新的な仮説を試せなくなる。
勝つABテストの組織では、「負けたテスト」も貴重な学習として扱われる。
「この方向性は機能しないことが分かった」 「この仮説は捨てて、別の仮説に進める」
失敗を許容する文化があるからこそ、大胆な仮説を試せる。
そして、大胆な仮説を試せる組織だけが、大きな勝ちを掴める。
違い⑤：「テスト結果に縛られすぎない」判断ができる
勝つABテストの組織は、面白いことに、ABテストの結果に絶対的に従わない。
ABテストの結果を「重要な情報の一つ」として扱うが、「絶対の真理」とは扱わない。
時には、ABテストでB案が勝っても、A案を採用することがある。
なぜなら、「数字には現れない長期的な価値」「ブランドの一貫性」「美意識」といった要素を、経営判断として重視するからだ。
ABテストに依存する組織は、こういう判断ができない。データに従わないことは「データドリブンではない」とされる。
しかし、本当のデータドリブンは、「データを情報の一つとして扱った上で、人間が責任を持って判断すること」だ。
データを神格化するのではなく、データを使いこなすこと——これが、勝つABテストを回す組織の共通点だ。
第5章：「勝つためのABテスト」を回すための実践原則
では、具体的にどうすればいいのか。
経営現場で機能してきた実践原則を5つ提示する。
原則①：「ABテストの前」を疑え
ABテストの本数を増やす前に、「そもそも何をテストすべきか」を深く考える時間を確保する。
毎月のテスト企画の前に、こんな問いを立てる。
「今、最も明らかにすべき問いは何か？」
「その問いに答えるには、どんなテストが必要か？」
「そのテストは、結果に関わらず、組織の知見を深めるか？」
これらの問いに答えられないテストは、回す価値がない。
数を減らしても、本質的なテストに集中する方が、長期的な成果は大きい。
原則②：「テストできない変数」を意識的に扱う
事業成長に最も影響する変数の多くは、ABテストできない。
戦略、ブランド、ビジョン、文化——これらは、人間の判断と意思によって決められるべきものだ。
ABテストで決められない領域については、「経営判断として責任を持って決める」ことを組織の中で正当化する必要がある。
「データの裏付けがないから決められない」を許容する組織は、戦略的な意思決定ができなくなる。
「データはないが、こう判断する」と言える組織が、大きな勝ちを取れる。
原則③：「学びのストック」を作る
ABテストの結果を、単なる「数字の記録」ではなく、「学びのストック」として蓄積する。
各テストについて、以下を記録する。
どんな問いから始まったか
どんな仮説をテストしたか
結果はどうだったか
なぜその結果になったと考えられるか
そこから得られた組織の知見は何か
次のテストへの示唆は何か
これを蓄積していくと、組織の中に「自社の顧客についての深い理解」が形成されていく。
これが、競合が真似できない知的資産になる。
原則④：「大きな仮説」を年に数回はテストする
毎月の小さなABテストとは別に、年に数回は「大きな仮説」をテストする時間と予算を確保する。
例えば、
全く新しいターゲットセグメントへのアプローチ
価格戦略の根本的な変更
ブランドメッセージの大幅な刷新
新しい販売チャネルの開拓
こういった「ローカル最適化を超える」テストを、定期的に組織のスケジュールに組み込む。
これがないと、組織は永遠にローカル最適化の罠に閉じ込められる。
原則⑤：「テストしない方が良いとき」を見極める
最後に、最も重要な原則。
ABテストは万能ではない。
「テストしない方が良いとき」を見極められる組織が、結局は強い。
例えば、
ブランドの世界観を一貫させる必要があるとき
顧客との長期的な信頼関係を構築するとき
経営者の信念で方向性を打ち出すべきとき
リスクが大きすぎてテストできないとき
こういった場面では、ABテストを使わずに、人間の判断で決めることが正しい。
「テストすべきもの」と「テストすべきでないもの」を区別できる目こそが、本当のマーケティング力だ。
第6章：診断チェックリスト
あなたの組織のABテストが「勝つテスト」になっているか、「勝てないテスト」になっているかを確認する。
「ABテスト中毒度」診断
以下の項目で4つ以上当てはまれば、ABテストの使い方を根本から見直す必要がある。
□ 月のABテスト本数は記録しているが、「何を明らかにしたか」のリストはない
□ テストの大半が「ボタン」「色」「コピーの細部」など、表層的な要素である
□ 過去のテスト結果を「勝った/負けた」では記録しているが、「なぜそうなったか」の解釈はない
□ ターゲットセグメントや価値提案など、戦略的な変数のテストは、ほとんど行っていない
□ 「データの裏付けがない」という理由で、却下された戦略案がある
□ ABテストの数は増えているが、CVRや売上の伸びは鈍化している
□ マーケティングチームの会話が、ツール操作と数字の話に偏っている
□ 「失敗するかもしれない」大胆な施策を、組織として試したことがしばらくない
最後の問いかけ
「あなたの組織のABテストは、事業を本当に伸ばす知見を生んでいるか、それとも『動いているように見せるため』の作業になっているか。」
この問いに正面から向き合えるかどうかが、ABテスト文化を「成長エンジン」に変えるか、「成長阻害要因」のままにするかを分ける。
最後に
今回は「ABテストを回しているのに勝てない理由」というテーマで、その構造と、本当に勝つためのABテスト設計を整理してきました。
結論をもう一度、一行で言う。
ABテストは、「データドリブンを実践している証明」のための作業ではない。「自社の顧客と事業の本質を深く理解する」ための実験だ。この区別ができている組織だけが、ABテストを成長エンジンに変えられる。
経営現場で見てきて感じるのは、データドリブンを最も声高に語る企業ほど、実は「データの罠」にハマっていることが多いということだ。
データは万能ではない。
データは、人間の意思決定を補助する道具であって、意思決定そのものを代行するものではない。
ABテストを大量に回しても伸びない組織は、まず「テストの本数」より「テストの本質性」を見直してほしい。
そして、ABテストで決められない領域については、勇気を持って「人間の判断」で決めてほしい。
その勇気が、5年後の競争力を作る。
次回は「顧客が離れる本当の理由——満足度調査では絶対にわからないこと」をテーマに、顧客理解の盲点について深掘りします。
今後も、企業・事業の分析を通じてお役立ち情報を発信していきます。時間の許す限り、頑張って発信していきますので、応援のほどよろしくお願いします。
ではでは。
ご感想・ご意見は、各種SNSのDMやリプライでぜひお聞かせください。
すでに登録済みの方は こちら
読者限定の内容も逃しません。