わかっちゃいるけど続かない「A/Bテスト」 ツールの現在とその本質

レポート第2弾は、1日目第2セッション「A/Bテスト&ヒートマップ」についてです！

改善の一手法としてよく使われるA/Bテスト。一見カンタンでロジカルな手法のようですが、実施してみるとその難しさに唸りまくった担当者も少なくないのでは。私も業務上A/Bテストの企画や実施を担当しますが、悩みはつきませぬ・・・。今回は、A/Bテストのプロたちがその極意を語ってくださると期待して、会場に足を運んできました！

セミナーの登壇者は以下の通り。

モデレータ：
　土谷武史氏（株式会社グラシス　代表取締役）
パネラー：
　岩本 庸祐氏（株式会社Assion執行役員）
　鬼石 真裕氏（KAIZEN platform,Inc.執行役員/福岡グロースハックネットワーク顧問）
　山本 覚氏（データアーティスト株式会社代表取締役社長）

「A/Bテストって重要？」→「もちろん！」
「実施してます？」→「・・・」

パネラー各位の自己紹介に続き、モデレータの土谷氏から会場に向けてこんな質問が。「A/Bテストが重要だと考えている方？」会場ほぼ全員が挙手。「ではA/Bテストを継続的にやっているという方？」1割程度が挙手。A/Bテストの実情を見事に表していますねー。「やったほうがいいのはわかっているけど、どうやって始めればいいの？」「やってはみたけど続かなかった・・・」というケースが多いのではないでしょうか。私も身に覚えがありまくりです。

土谷氏からの「ツール導入がボトルネックになっているのでは？パネラーのみなさんは、どうやって導入につなげているのでしょうか？」という質問からセッションの本番がスタート。まずはA/Bテストの重要性について意見かわされました。

・すごいスピードでどんどん変化しているユーザニーズに応える
・安価に知見を貯めることができる

もちろん売上げアップが大きな目的ですが、ユーザが変化している以上、継続的に改善を続けなければサイトのパフォーマンスを保つことはできません。また、その過程で得られる知見は、Webだけではなく事業全体に応用できるということなんですね。

「目指せCVR向上！」というハチマキを巻きかけていたあなた、改めてA/Bテストの重要性を噛み締めましょう。はい、私のことでした。

勢いで始めるのはキケン！

次に、導入のボトルネックをどう解消するかにテーマが移りました。
ツールの優位性をアピールされるかと思いきや、「ツールを導入するだけでは意味がない」との意見が相次ぐことに。

・クライアントの事業を俯瞰的に分析し、本当にA/Bテストが必要なのかを考える。集客に問題があればサイトの改善よりそこから始めてもらう。
・PDCAを回すことが重要なので、業務フローまで一緒に考える
・A/Bテスト案は考える方法もアドバイスする。3つの方法を教えていただけました。

１）Google Analyticsなどのデータから原因や仮説を立てていく（マーケターとしては王道）
２）データはさておき、現場やユーザの意見をまとめた定性的な内容から仮説を立てていく（コンサル的）
３）事例を検索して、適用できるもから実施していく（てっとり早い！）

A/Bテストが目的ではなく、あくまでも継続的な改善こそが重要ということですね。

A/Bテストの”あるある”「A/Bテスト疲れ」

そこから「A/Bテスト疲れ」に話題が移りました。これ、ほんっとーによくわかります。意気揚々と始めたA/Bテストでも、思ったような結果が出なかったり、続く案が出せなくなったり。なんか疲弊しちゃうんですよねー・・・。

その解決案として、ヒートマップを用いて仮説の精度を高めていくこと、担当者がそのA/Bテストと企業のKPIの関わりをしっかり理解することが挙げられました。

次に、全く違ったアプローチとしてAIが紹介されました。「流行りのヤツ」くらいにしか思っていなかったクニオカですが、うまく付き合えればかなり強力な相棒になってくれると感じました！例えば広告文程度の短い文章であれば、AIが学びを繰り返し、効果的なワードを見つけ出してくれたり、AI自身がワードを作ってくれたりするのです。※AIが「フワフワ」のことを「毛性（読み：もうせい）」と表現した例には会場大ウケでした！

ただし、AIがなんでもやってくれてヒトに成り替われるかというと、そういうわけではないそう。AIを始めとする自動化の波は確実に近づいているものの、人間にしか解決できない「泥臭さ」は最後まで残るだろうとのことでした。

考えるのも使うのも、結局はヒト

最後に、A/Bテストについてパネラーから会場に向けて一言まとめをいただきました！

・とにかくPDCAをまわすこと。どの段階からスタートしてもOK。
・施策のデータをもとにフィードバックをかけて次の改善につなげていくこと。
・AIはあくまでも手伝いができるだけ。「圧倒的なひらめき」はヒトにしかできない。

A/Bテストの重要性と面白さを再確認できただけではなく、演者の皆様がいかに情熱をもってサイトや事業の改善にあたっているのかがヒシヒシと伝わって、やる気をチャージさせていただきました！

よーし、頑張るぞぃ。