エンドトゥエンドの実験設計をA/Bテストを用いて行う

A/Bテストを活用したエンドツーエンドの実験設計

データに基づく意思決定と製品設計のガイド

イントロダクション

もしもあなたが実験設計やA/Bテストについて疑問を抱いたことがあるなら、正しい記事に来ています。この記事は、問題のステートメントを定義するところから、重要なローンチの決定をするための道筋となるものです。

さあ、混雑した交差点に立っていると想像してみてください。2つの異なる道を選ぶ選択肢があります。1つは通常通りに進む道(経路A)で、もう1つは未知の道(経路B)です。友達が経路Bが通勤にはより良いと言っています。どの道を選ぶかの決定をどうやって行いますか?これがデータサイエンティストがA/Bテストで解決しようとする問題そのものです。ただし、経路ではなく製品の2つのバージョンの選択肢があり、友達ではなく製品マネージャーがいます。

Ilya Pavlovさんの写真、提供: Unsplash

この記事では、成功したA/Bテストを設計し実施するために必要な8つの主要なステップを説明します:

  • 問題ステートメント

ここでは、利害関係者(製品マネージャーなど)と会い、実験の目的を定義します。仮想の配車会社OrderNowの製品マネージャーは、ユーザージャーニーダッシュボードを監視して、アプリを開いて目的地を追加するが乗車の手続きを完了させないユーザーが約40%いることに気づきました。そこで、製品マネージャーは「乗車手続きの 予約する ボタンの色を赤から緑に変えると、より多くのユーザーが注文を完了するようになるのではないか」と考えています。

  • メトリクスの定義

問題ステートメントを定義した後、実験で追跡するメトリクスを定義する必要があります。キーとなるメトリクスを定義するための良いステップは、ビジネスの目標を理解することです。この場合、ビジネスの目標は乗車手続きを完了するユーザー数の増加を見ることです。メトリクスを選択する際に考慮すべき3つの要素があります。

  • 測定したいアクション: この場合は、乗車予約です。
  • 分析の単位: 日次、週次、月次などです。この実験では、週次を使用します。
  • 統計関数: count、mean、maxなどです。この例では週次で使用します。つまり、週ごとの合計乗車回数などがメトリクスとなります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「スノーケルAIのCEO兼共同創設者、アレックス・ラットナー - インタビューシリーズ」

アレックス・ラトナーは、スタンフォードAIラボを母体とする会社、Snorkel AIのCEO兼共同創設者ですSnorkel AIは、手作業のAI...

人工知能

キャルレールの最高製品責任者、ライアン・ジョンソンへのインタビューシリーズ

ライアンは、初期のスタートアップからフォーチュン100の組織まで、多様なテクノロジーと製品開発のリーダーシップ経験を15年...

人工知能

「aiOlaのCEO兼共同創設者、アミール・ハラマティによるインタビューシリーズ」

アミール・ハラマティは、aiOlaのCEO兼共同創業者であり、スピーチを作業可能にし、どこでも完全な正確さで業界固有のプロセ...

データサイエンス

アステラソフトウェアのCOO、ジェイ・ミシュラ - インタビューシリーズ

ジェイ・ミシュラは、急速に成長しているエンタープライズ向けデータソリューションの提供企業であるAstera Softwareの最高執...

人工知能

「コマンドバーの創設者兼CEO、ジェームズ・エバンスによるインタビューシリーズ」

ジェームズ・エバンズは、CommandBarの創設者兼CEOであり、製品、マーケティング、顧客チームを支援するために設計されたAIパ...

人工知能

「パクストンAIの共同創業者兼CEO、タングイ・シャウ - インタビューシリーズ」

タングイ・ショウは、Paxton AIの共同創設者兼CEOであり、法的研究と起草の負担を軽減するためにGenerative AIを使用するプラ...