エンドトゥエンドの実験設計をA/Bテストを用いて行う
A/Bテストを活用したエンドツーエンドの実験設計
データに基づく意思決定と製品設計のガイド
イントロダクション
もしもあなたが実験設計やA/Bテストについて疑問を抱いたことがあるなら、正しい記事に来ています。この記事は、問題のステートメントを定義するところから、重要なローンチの決定をするための道筋となるものです。
さあ、混雑した交差点に立っていると想像してみてください。2つの異なる道を選ぶ選択肢があります。1つは通常通りに進む道（経路A）で、もう1つは未知の道（経路B）です。友達が経路Bが通勤にはより良いと言っています。どの道を選ぶかの決定をどうやって行いますか？これがデータサイエンティストがA/Bテストで解決しようとする問題そのものです。ただし、経路ではなく製品の2つのバージョンの選択肢があり、友達ではなく製品マネージャーがいます。
この記事では、成功したA/Bテストを設計し実施するために必要な8つの主要なステップを説明します:
- 問題ステートメント
ここでは、利害関係者（製品マネージャーなど）と会い、実験の目的を定義します。仮想の配車会社OrderNowの製品マネージャーは、ユーザージャーニーダッシュボードを監視して、アプリを開いて目的地を追加するが乗車の手続きを完了させないユーザーが約40%いることに気づきました。そこで、製品マネージャーは「乗車手続きの 予約する ボタンの色を赤から緑に変えると、より多くのユーザーが注文を完了するようになるのではないか」と考えています。
- メトリクスの定義
問題ステートメントを定義した後、実験で追跡するメトリクスを定義する必要があります。キーとなるメトリクスを定義するための良いステップは、ビジネスの目標を理解することです。この場合、ビジネスの目標は乗車手続きを完了するユーザー数の増加を見ることです。メトリクスを選択する際に考慮すべき3つの要素があります。
- 測定したいアクション: この場合は、乗車予約です。
- 分析の単位: 日次、週次、月次などです。この実験では、週次を使用します。
- 統計関数: count、mean、maxなどです。この例では週次で使用します。つまり、週ごとの合計乗車回数などがメトリクスとなります。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
