「バックテストの重要性と正しい方法」

Importance and Correct Method of Backtesting

予測モデルが正確かつ信頼性があり、未知のデータに対するパフォーマンスを評価する方法はどのように知ることができるでしょうか？ それはバックテストの役割です。

• バックテストとは何ですか？
• Pythonの例：航空会社の乗客
• 結論

バックテストとは何ですか？

予測モデルのパフォーマンスを評価するために、私たちはバックテストと呼ばれる手続き（または時系列クロスバリデーションとも呼ばれる）を使用します。バックテストは、過去に使用された場合にモデルがどのように動作したかをテストする方法です。

どのように機能しますか？

時系列の予測モデルをバックテストするために、データをトレーニングセットと検証セット（時にはテストセットとも呼ばれますが、次のセクションでその違いを明確にします）に分割します。トレーニングセットはモデルのトレーニングに使用され、テストセットは未知のデータに対するモデルのパフォーマンスを評価するために使用されます。モデルがトレーニングされた後、テストセットで予測を行うことができます。これらの予測を実際の値と比較して、モデルのパフォーマンスを確認することができます。

モデルのパフォーマンスをどのように測定しますか？

• 「AI駆動の洞察：LangChainとPineconeを活用したGPT-4」
• 「Pydeckでフラットマップにさようならを言おう」
• 「エローの有名なレーティングシステムに不確実性を加えるための記号的回帰の使用」

平均絶対誤差（MAE）や平方根平均二乗誤差（RMSE）など、時系列の予測モデルのパフォーマンスを評価するために使用できるいくつかのメトリックがあります。これらのメトリックは、予測値が実際の値にどれだけ近いかを測定します。

この手順は通常、複数回繰り返され、次のことが可能になります：

• モデルのパフォーマンスの良い推定値を得る
• パフォーマンスの時間的な変化を視覚化する

以下に、3つの分割を使用してバックテストプロセスの図解を示します：

上記の図では、3つの重なりを持たない検証期間のみを示しています。ただし、時間ステップごとに1つの部分的に重なるウィンドウを使用することも可能です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!