Mybest Product Blog

株式会社マイベストのエンジニア・デザイナー・PM(ディレクター)によるブログです

UX改善チームが3ヶ月でCVRを61%上げた話

f:id:mybestcom:20210406232505p:plain

こんにちは!
マイベストでフロントエンドエンジニアをしている竹尾です!

最近弊社はオフィス移転をしたのですが、ビルが大きすぎてフロアが余っている(!?)ので、
ドローンレースがしたくなって、ドローンを買いました。とても楽しみです!
(しかしコロナ禍でほぼリモートワークなので、しばらく楽しめそうにありません…) 

さて、マイベストの開発部はミッションという単位でチームが分かれています。
※詳しくは、以前の投稿で弊社CTOの渡邊が紹介しています。

www.wantedly.com

本記事では、私が所属している「PUF(Product/User Fit)をミッションとするチーム」について紹介したいと思います。

大まかに、以下の流れでご紹介いたします。

  • PUFミッションとチームの紹介
  • CVRを改善したプロセスについて
  • 今後の展望

PUFとは何か

まずはPUF、つまりProduct/User Fitとは何かご説明します。

Product/User Fitとは、PMF(Product/Market Fit)の前段階として生じる、
製品に対して「少数でも熱心な」ユーザーがついている状態のことです。

適切な製品と適切なユーザーを鋭く把握しているものの、より大きな市場の好機をつかむ感覚がまだないかもしれません。でもそれでよいのです!しかし、それはProduct/Market Fitではなく、Product/User Fitだ、と言うほうが良いでしょう。

Product/User Fitは、Product/Market Fitに向かう道のりの中でも重要な一歩です。

出典:https://review.foundx.jp/entry/product-user-fit-comes-before-product-market-fit

 

マイベストは「最高の選択体験を実現する」ことを目指しており、

そのために商品やサービスを比較しながら選択できるmybestを運営しています。

https://my-best.com

なので、マイベストのPUFチームでは、

「(例え対象が限定的だとしても、)理想的な選択体験を見つけること」

を大目的とし、様々な施策を実行しています。

PUFチームの紹介

PUFチームは半年ほど前に結成し、現在4人のメンバーがいます。
(ディレクター1/デザイナー2/エンジニア1)

先述のように大目的は「理想的な選択体験を見つけること」ですが、
平たく言ってしまえば、UI/UXの改善を行っているチームです。

そして、現在チームとして、CVRをKPIにしています。
CVRの定義は「各ECサイトへの送客ボタンのクリック率(セッションあたり)」としています。

  • ※社内では、ユーザーの「商品購入率」と区別するために「CTR」と呼んでいますが、本記事では分かりやすさのためにCVRと呼んでいます。
  • ※実際の弊社の目標管理はOKRですが、本記事では分かりやすさのためにKPIと呼んでいます。

CVRを61%上げた方法

PUFチームは、チーム結成から3ヶ月で、主要コンテンツのCVRを61%向上(つまり1.61倍に)できました。

そのプロセスについてご紹介したいと思います。

まず当時の前提として、それ以前に「あるべきUXについて言語化するプロジェクト」が有り、
新機能・UIのアイデアは既にいくつか有る状態でした。

(↓当時のFigmaです。画像には載せていませんが、UIデザインも有り、デザイナーさんが綺麗にまとめてくれています。)

改善プロセス

PUFチームでの改善プロセスは以下のようなものでした。

①アイデアを整理

チームで理想のUXについて議論をしながら、ブレストでアイデアを追加しました。
ツールとしてmiroを用いて、アイデアをユーザー行動のフェーズで分けて整理しました。

②ABテスト

UXに対するインパクトが大きそうなアイデアから優先的にABテストを行いました。
インパクトの大小は、メンバーの投票と議論によって大まかに判断しました

③ABテストの結果を見て議論

ABテストの測定結果からUXに関する学びを得て、さらにアイデアを追加したりブラッシュアップしました。
ABテストではCVR以外の指標も計測していたので、チームで議論しながら、ユーザー行動に対する解像度を上げていきました。

 

上記の①〜③の行動をサイクルとして回すことで、より洗練された機能が見つけられると考え、
ひたすらテストと議論を繰り返しました

その結果、3ヶ月という短い期間でCVRを大幅改善できました。

 

(当時、アイデアを整理していたmiroを再現しました。内容はほぼダミーですが。)

(テスト対象となったアイデアは以下のように進行フェーズを整理しながら進めました。)

実際の施策例

せっかくなので、特にCVR改善率が高かった施策を、ごく簡単にですがいくつかご紹介します。

  • 比較表(商品ランキング一覧機能)の位置を商品詳細よりも手前に移動
    • CVRが17%改善しました。やはり商品は比較しながら選べるのが良さそうでした。
  • 比較表のレイアウトと表示項目を変更
    • CVRが15%改善しました。より比較しやすいUIにできたのが良かったようです。
  • 記事のセクション単位で移動できるタブを画面上部に表示
    • CVRが6%改善しました。記事全体のナビゲーションの役割と、見たい情報をすぐに見れるようになったことが良かったようです。

比較表の変更が合計で32%改善と特に大きかったですね。
その他にも様々な施策を実施しましたが、紙幅の都合上割愛させていただきます…
(ご興味ある方はぜひ話を聞きに来てください…!)

PUFチームが大事にしていること

さて、実際の活動よりもう少し抽象度を上げて、PUFチームが大事にしていることをご紹介したいと思います。

①CVRを重視する

WEBサービスのUX改善の指標としては、直帰率やページ読了率、PV/SSなど様々考えられますが、
PUFチームでは、CVRとそれに影響する(相関が有る)指標しか追っていません

なぜかと言うと、マイベストがユーザーの選択体験・選びやすさを重視しており、その結果として「選べる」ことを表わすCVRが最も重要だと考えているからです。

また、マイベストのビジネスモデル的に、UXを改善してCVRが上がると、それは売上に直結します。
その売上をまた投資して、さらに選びやすいサービスにしていくことができます。
そして選びやすさを追求すれば、満足したユーザーがリピートしてくれることも増えるため、それ以外の指標も後追いで上がってきます。

なので、ユーザーが選びやすさにフォーカスすることができ、それを表わす指標としてCVRを重視しています。

②ABテストによって計測していく

PUFチームでは、アイデアの検証手法として、ABテストを軸にしています。

ABテストと言っても、一般的にイメージされるものとは少し違います
ABテストと聞くと例えば、ボタンの色など、細かいUI改善と思われがちですが、そう言ったテストはしていません。(※細部へのこだわりを否定するつもりは有りません。)

機能自体の有無などをテストしていて、できるだけUX全体に大きなインパクトを与えるアイデアを優先してテストしています。

ABテストを軸に進めている理由は、「大胆なアイデアほど、出してみないと分からない」と考えているからです。
なので、アイデア段階ではあまり振り落とさずに「テスト結果を見て考える」という姿勢で取り組んでいます。

実際にABテストをしていると、「これは良いアイデアだ」と思っていたものが伸びなかったり、「これはそこそこだな」と思っていたものの数字が大きく伸びたりしました。
UXに対する解像度が上がれば、このギャップも小さくなると思いますが、いずれにせよできるだけテストで計測した方が良いアイデアが見つかると思っています。

③定性で考え、定量で確認する

PUFチームでは「定性で考え、定量で確認する」をテーマにしています。

それは以下のように考えているからです。

  • 定性的な判断のみでは実際に改善できているのか分からない。
  • 定量的な観点だけでアイデアを出していくと、先細りしてしまう可能性が高い。

なので、大胆な改善を続けるためには、定性によって大局的に捉え、定量によって学びを得ながら考えることが重要だと考えています。

定性で考え、定量で確認する
これはチームで忘れないようにしたいので、以下のような図に起こして、いつでも見返せるようにしています。

(意図した訳では無いですが「リーンスタートアップ」の図にそっくりになりました。「行動指標」と言うのはCVRやそれに関連する指標をまとめてそう呼んでいます。)

 

今後の展望

今後、PUFチームとして目指すべき状態は、

理想のユーザー体験に向かって、アイデアを広く集め、効率的に検証しつつリリースできる状態

だと考えています。

そしてそのために、

社内に対して活動をオープンにし、アイデアを公募できる体制を作る

ことに挑戦しています。

 

大胆な改善のためには、様々な視点からのアイデア・仮説を集めた方が可能性が上がると思います。

ただし、これは私の持論ですが「イデアは思いつくより検証する方が難しい」と考えています。

なので、闇雲にアイデアを公募して手当たり次第試していくのではなく、なるべく透明性の高いフローで精度の高い検証ができる体制を整えてから公募したいと思っています。

イデアの検証フローを確立し、定性と定量の両面からその精度を上げていくことが目下のチームの挑戦です!

最後に

実際にUX改善をしていて思うのですが、選択体験のUXには、まだまだ伸び代が有ります

そして個人的な感覚ですが、マイベストは今まさに「最高の選択体験を実現する」ために大きく動き出したフェーズだと思っています。

人々の選択体験を変えていくような、スケールの大きな話ができる今のフェーズはとてもやりがいが有って楽しいです。

ご興味の有る方はぜひ話を聞きに来てください!!

 

最後までお読みいただき、ありがとうございました!