エンドトゥエンドの実験設計をA/Bテストを用いて行う

A/Bテストを活用したエンドツーエンドの実験設計

データに基づく意思決定と製品設計のガイド

イントロダクション

もしもあなたが実験設計やA/Bテストについて疑問を抱いたことがあるなら、正しい記事に来ています。この記事は、問題のステートメントを定義するところから、重要なローンチの決定をするための道筋となるものです。

さあ、混雑した交差点に立っていると想像してみてください。2つの異なる道を選ぶ選択肢があります。1つは通常通りに進む道(経路A)で、もう1つは未知の道(経路B)です。友達が経路Bが通勤にはより良いと言っています。どの道を選ぶかの決定をどうやって行いますか?これがデータサイエンティストがA/Bテストで解決しようとする問題そのものです。ただし、経路ではなく製品の2つのバージョンの選択肢があり、友達ではなく製品マネージャーがいます。

Ilya Pavlovさんの写真、提供: Unsplash

この記事では、成功したA/Bテストを設計し実施するために必要な8つの主要なステップを説明します:

  • 問題ステートメント

ここでは、利害関係者(製品マネージャーなど)と会い、実験の目的を定義します。仮想の配車会社OrderNowの製品マネージャーは、ユーザージャーニーダッシュボードを監視して、アプリを開いて目的地を追加するが乗車の手続きを完了させないユーザーが約40%いることに気づきました。そこで、製品マネージャーは「乗車手続きの 予約する ボタンの色を赤から緑に変えると、より多くのユーザーが注文を完了するようになるのではないか」と考えています。

  • メトリクスの定義

問題ステートメントを定義した後、実験で追跡するメトリクスを定義する必要があります。キーとなるメトリクスを定義するための良いステップは、ビジネスの目標を理解することです。この場合、ビジネスの目標は乗車手続きを完了するユーザー数の増加を見ることです。メトリクスを選択する際に考慮すべき3つの要素があります。

  • 測定したいアクション: この場合は、乗車予約です。
  • 分析の単位: 日次、週次、月次などです。この実験では、週次を使用します。
  • 統計関数: count、mean、maxなどです。この例では週次で使用します。つまり、週ごとの合計乗車回数などがメトリクスとなります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

ベイリー・カクスマー、ウォータールー大学の博士課程候補 - インタビューシリーズ

カツマー・ベイリーは、ウォータールー大学のコンピュータ科学学部の博士課程の候補者であり、アルバータ大学の新入教員です...

人工知能

ファイデムのチーフ・プロダクト・オフィサー、アルパー・テキン-インタビューシリーズ

アルパー・テキンは、FindemというAI人材の獲得と管理プラットフォームの最高製品責任者(CPO)ですFindemのTalent Data Clou...

機械学習

「Prolificの機械学習エンジニア兼AIコンサルタント、ノラ・ペトロヴァ – インタビューシリーズ」

『Nora Petrovaは、Prolificの機械学習エンジニア兼AIコンサルタントですProlificは2014年に設立され、既にGoogle、スタンフ...

AIテクノロジー

「LXTのテクノロジーバイスプレジデント、アムル・ヌール・エルディン - インタビューシリーズ」

アムル・ヌール・エルディンは、LXTのテクノロジー担当副社長ですアムルは、自動音声認識(ASR)の文脈での音声/音響処理と機...

人工知能

「スノーケルAIのCEO兼共同創設者、アレックス・ラットナー - インタビューシリーズ」

アレックス・ラトナーは、スタンフォードAIラボを母体とする会社、Snorkel AIのCEO兼共同創設者ですSnorkel AIは、手作業のAI...

データサイエンス

「David Smith、TheVentureCityの最高データオフィサー- インタビューシリーズ」

デビッド・スミス(別名「デビッド・データ」)は、TheVentureCityのチーフデータオフィサーであり、ソフトウェア駆動型のス...