駒鳥です。
この記事は、A/Bテストには意味がないのかを、僕の失敗談から考えてみます。
A/Bテストに拘った結果、成果を出せず、失敗したという失敗談をまとめています。
A/Bテストをする意味を考え、取り組み方を決める際の参考になればと思います。
行っていたA/Bテストの内容
僕は現在勤めている会社で、WEBコンテンツの改善施策の一部を担当していました。
そのWEBサイトはいくつかのCV（コンバージョン）ポイントを持っていて、ユーザーのクリック数や、クリック率などいくつかの指標を追っていました。
クリック数などの数値を改善することが、売上アップ、自分自身のミッションを達成するために必要だったのです。
そこで、A/Bテストを行い、繰り返し、PDCAサイクルを回すことで、着実にCVを増やしていこうとしたのです。
実際に追っていた数値は、PV、UU、CVポイントのインプレッション、クリック数、クリック率。
行なったA/Bテストの内容も、同じ条件のユーザーを分割してCVポイントの見た目を変えたり、露出箇所を変えてみるなど、一般的なA/Bテストの手法でした。
もともとPVが少なくないサイトであったこともあり、母数にも恵まれていました。
有意差かどうかを確認するための検定を実施
1つ1つのA/Bテストの結果を正しく判定するため、統計的な検定手法としてカイ２条分析を行い、本当に有意差があるかの確認も行なっていました。
カイ2乗検定は、質的変数（カテゴリカルな文字型変数や数値変数）の値の数をカウントして値の出現頻度（度数）を集計し、「そこで集計されている集計表が特異な結果ではなく、データ全体に対しても起こりうることなのか？」を検定する分析です。
引用元：カイ2乗検定 IBM Suppot
検定を行い、有意差が認められた改善内容を全体に反映し、また他のパターンを作成して次のA/Bテストを行いました。
さらに、有意差のある改善案はどのようなものであったか、逆に失敗となるパターンはどのような案だったのかを分析し、より成功率が上がるような案の作成にも取り組んでいました。
A/Bテストを続けた結果
A/Bテストを繰り返し、PDCAも回し、何度か成功パターンをWEBサイトに適応すること数ヶ月。
結果は、
確かにCV率、CV数の上昇は認められたが、上昇幅が小さく、当初目指していた目標数値に実績が追いつかない
という状況になってしまったのです。
1つ1つのA/Bテストは成功していたにも関わらず、プロジェクト全体としては失敗するという結果になってしまいました。
これ以上続けられない、と判断し、色々と方針転換をすることになり、最終的にA/Bテストのサイクルは中断となりました。
なぜA/Bテストで失敗したのか
A/Bテストを繰り返し、着実に前に進んでいたにも関わらず、何故大きく数値を伸ばす事ができず、プロジェクトとしては失敗という結果になってしまったのか。
後々の振り返りで、次のような原因があるのではないか、と考えました。
木を見て森を見ず
１つ目は、「木を見て森を見ず」という状態に陥っていたこと。
つまり、細部に拘って時間をかけていたけど、目的を達成する手段はA/Bテストだけではなく、もっといろいろなアプローチがあったのに、A/Bテストにだけ向き合う形になってしまったのです。
そもそも、WEBコンテンツ上のボタンなどのクリック率は、上昇幅にも限度があります。
また、A/Bテスト単発が成功しても、毎回それだけでクリック率が劇的に改善されるわけではありません。
大きく伸びることがあっても、何度もは続かないのです。
A/Bテストだけでなく、サイトのPV、UUを増やすための施策として、自社サイトからの遷移方法を変える、外部サイトからの流入を獲得するためのアライアンスを他社と結ぶ、などのアプローチもあったはずです。
常に前に進んでいると錯覚する
では何故A/Bテストに拘り、いつまでもA/Bテストを続けてしまったのか。
その理由は、A/Bテストは、成功しても失敗しても前に進んでいると錯覚してしまうからだと考えています。
これはA/Bテストの恐ろしい特徴です。
A/Bテスト単体に失敗したとしても、
「どうやらこういう改善は意味がない、逆効果らしい」
という知見を得ることができます。
失敗からも学びを得ることができ、それが次のPDCAに繋がっていくわけです。
失敗もある意味成功と言える。
だからA/Bテストを続けていれば、常に前に進んでおり、このまま続けていれば必ず成功すると錯覚しやすい。
A/Bテストに意味はないのか
A/Bテストに拘り、A/Bテストだけに集中してしまうと、大きくグロースさせることができず、失敗してしまう。
そんな失敗談でした。
しかし、これはA/Bテストそのものに意味がないというわけではありません。
ページ内のCVを最適化するためにA/Bテストを用いることはとても有益です。
A/Bテスト自体も手法が確立されていて、少し調べれば正しく行うこともできるでしょう。
ただ、A/Bテストだけやっていれば、いつまでも成長できるという考えは間違っている、と思います。
A/Bテストはあくまでも選択肢の1つであり、グロースのための様々なアプローチのうちの1つでしかないのです。
A/Bテストに拘って失敗してしまうことがないよう、この記事が皆さんのお役に立てば幸いです。
それでは。
