A/Bテストは社内組織をどう変えた？人材サイト＠typeの場合：アドテック東京2016レポート│株式会社イー・エージェンシーグループ

キャリアデザインセンターの鳥居様に参加していただき、A/Bテストは社内組織をどう変えた？人材サイト＠typeの場合というお題でトークセッションをしていただきました。

キャリアデザインセンターについて

大きくわけて中途採用と新卒採用の２つの領域のサイトを運営しています。また、女性に特化した採用メディアや人材紹介・派遣に特化したサイトもあります。

転職フェアなども開催しています。さらには、WEBマガジンも作っている会社様です。

登壇者について

taik_membertorii

株式会社キャリアデザインセンター　
メディア企画本部　レスポンスプロモート課主任　鳥居俊介氏

WEB制作会社を経て、2012年にキャリアデザインセンターへ入社。転職サイト「＠type」の企画担当として、CVR改善やSEO観点のサイトリニューアル、市販されている履歴書と＠typeのタイアップ企画など様々な施策を実施。直近ではCVR改善を目的としたグロースハックチームを立ち上げ、A/Bテストによる仮説検証サイクルを構築した。

会場の雰囲気

トークセッションに参加していただいた方の7割くらいがA/Bテストをやっている人でした。しかし、月に５回以上A/Bテストをやっている人は１割くらいでした。既にA/Bテストをやっている人が多い中でより効率的にA/Bテストをやりたい！という人達が多く集まっている印象でした。

弊社増田からA/Bテストを実施する上で気になる質問を出していただき、それに回答をしていく形で話をいたしました。

＠typeではどんなA/Bテストをしていますか？

課題があってそれを解決するというところにA/Bテストを使っています。各ページ毎に課題を出していてテストしています。人数は３人でやっています。１人で案を作るのではなく、３人で案を出し３人でA/Bテストを回しています。

そもそもA/Bテストを始めた“きっかけ”は？

もともとSEOの担当をしていました。SEO施策の結果、集客がうまく出来るようなサイトになりました。しかしコンバージョン率が低かった為に成果に繋がりにくいというのが課題でした。そこでコンバージョン率を上げるために、A/Bテストを使うことを決めました。

A/Bテストを選んだキッカケは、当時流行っていた（笑)

流行りと言いましたが、A/Bテスト以上に成果がわかるというのは、ありませんでした。２０１５年９月くらいからはじめています。

A/Bテストは“月にどれくらい”実施していますか？

昔は、正直３回くらいしかできていませんでした。ここ半年くらいは１０回くらい回しています。最初は、学習コストがあります。しかし、使いこなしていけるようになっていくことで多くのテストが出来るようになってきました。

数をこなす秘訣は、どんどん回すこと！

もうひとつあるとしては、チームで運用していたことでモチベーションを保てたというのも大切なポイントでした。

ずばり、A/Bテストは”定着”していますか？

定着しています。先ほど話した月に１０回しているという点からも定着していると言っても間違いないです。実装をして検証するというプロセスが浸透しています。

A/Bテストを定着できた“決め手”は何でしょうか？

良いのか悪かったのかをいままでは、わからりませんでした。季節要因だったのか？どうなのかわかりませんでした。統計的有意性などで上層部（企業で意思決定する人達）に伝えることで納得してもらえたというのが決め手です。

A/Bテスト導入後、“社内に変化”はありましたか？

仮説検証をしっかりやるようになりました。課題をだし仮説から検証までやるという流れができるようになりました。改善のやり方がかわってきました。

A/Bテスト導入後、“ご自身に変化“はありましたか？

勝つこと改善することばかりに注目していました。今では、逆に負けたデータや施策に目を向けるようになりました。勝ちだけでなく負けたことからも次の改善施策に活かせるようになりました。

A/Bテストの“アイディア出し”はどの様に行っていますか？

私たちは、チームでA/Bテストをやっています。アイディアは、個々人の感性に任せています。アイディアの発想はGoogleアナリティクスを見てもいいですし、ヒートマップを見てもいいと思います。

一人の感覚でテストを走らせないというのは、大切にしています。出てきたアイディアは、チームメンバーの３人で検討しています。

Googleのスプレッドシートでどのテストをするべきかを共有しています。

A/Bテストを行う上で”気をつけていること”はありますか？

時間を無駄にしない

与えられた時間の中で最大限の成果を出すことを求められています。A/Bテストをしている時に勝敗がつかない場合もあります。限られた時間の中でテストをしているので無駄なテストは止めてしまいます。

何も得られないものに時間を使うのは、無駄です。

今まで行ったなかで”記憶に残るA/Bテスト”について教えてください

効果の上がった事例ではないのですが、最初はA/Bテストをやっても結果が出ていない状況が１番記憶に残っています。なぜ勝てなかったのかを今振り返ると、他のサイトのA/Bテストの事例などを参考にテストを作っていたのが原因だったのかもしれません。

“今”なぜ勝てるようになったのかを考えると自社のサイトをよく見て自社のサイトの課題を発見しするということにフォーカスするようになって成功できるようになりました。

A/Bテストと合わせてお薦めしたい“施策”はありますか？

A/Bテストの結果を社内調整としても使えます。ユーザが嫌がっているかどうかを統計データから話ができるようになります。社内向けに使うというのは良い方法だと思います。

最後にひとこと

続けることというのは、大事です。A/Bテストを諦めないで続けないと良い結果は出てこないです。最初は辛いかもしれませんがA/Bテストで勝てるようになります。

A/Bテストは社内組織をどう変えた？人材サイト＠typeの場合：アドテック東京2016レポート