【Optimizely海外事例から学ぶ】シンプルなボタンのA/Bテストでクリック率が12%増加した「Ustream」の事例│株式会社イー・エージェンシーグループ

イー・エージェンシーではOptimizelyを使用したA/Bテストのコンサルティングソリューションを行っております。

A/Bテストツール販売元の米Optimizely社でも、これまでにクライアントが行ったテスト事例を公開しています。ただ、Optimizely社が公開している事例情報は英語記事しかなく、「英語じゃ読めないよ」という声を多くいただいていたので、同社が公開している事例の中から、日本でもおなじみのUstreamの事例を日本語訳しました。

挑戦

ライブでインタラクティブな動画ストリーミングサイトとして、Ustreamは常にユーザーエクスペリエンスを改善する方法を探しています。彼らが常に行っている改善プロセスの中には、新規ユーザー向けコンテンツがあります。開発上の全デザイン要素に対し、具体的なゴールを念頭に置いた改善作業です。

彼らはもともと、初期からサイトを利用しているユーザーを意識し、マルチに機能を提供するレイアウトでβサイトを構築していました。ターゲットユーザーにとっての最適なレイアウトを決めるため、彼らはどのレイアウトがどのようにユーザーの行動に影響するか、情報を蓄積する必要がありました。

新レイアウトではヘッダー内に”ブロードキャストボタン”を提供することになっていました。ブロードキャストボタンを押せばウェブ上でブロードキャスト・コンソールが起動し、即時且つ簡単に動画配信できる機能をユーザーに提供するボタンでした。

Ustreamはユーザーから動画配信アクションを最大限に引き起こすよう、ボタンを最適化したいと考えていました。そして2パターンのボタンデザインが実行可能な試案として提案されました。

仮説

Ustreamは多言語サイトであり、言語の異なるユーザーが利用します。そのためカメラアイコンは海外の新規ユーザーに対し効果的だろうと彼らは仮定しました。そしてカメラアイコンだけでなく、その横に「Broadcast」の文字も添えるべきだろうと考えました。しかし反論がありました。ヘッダーは表示上、情報を配置する重要なスペースであり、できる限り場所をとらないデザインにし、ヘッダースペースを使わず残しておきたいという意見がありました。

テスト

Ustreamは、どちらのデザインが最もクリックされるかを決めるため、彼らのサイトのトップページでテストを実行しました。すると、テキストとアイコンが両方あるバージョンのボタンは、12%以上の効果をあげました。 post12738_2

今回のソリューション

Optimizelyを使い、UstreamはボタンデザインをA/Bテストにかけました。各ボタンデザインが獲得するブロードキャスト・セッションを計測するため、チームは両ボタンに対しクリック率ゴールを定めました。たった12,000ユーザーにテストを施行した段階で、決定的な勝ちパターンが絞られました。不確実性がデータにより解決されました。