モデルの精度向上:Spotifyでの機械学習論文で学んだテクニック(+コードスニペット)

モデルの精度向上:Spotifyの機械学習論文から学んだテクニック(+コードスニペット)

頑固な機械学習モデルを改善するためのテックデータサイエンティストのスタック

この記事は、Spotifyでの私の機械学習論文からの学びを記録した2部作の一部です。この研究での特徴の重要性の実装方法についてもぜひ確認してください。

2021年、Spotifyでの私の論文の一環として、ユーザー満足度を測定する予測モデルの構築に8ヶ月を費やしました。

Image by Author

私の目標は、ユーザーが音楽体験に満足している要因を理解することでした。それには、LightGBM分類器を構築しました。その出力はバイナリな応答であり、y = 1 ならばユーザーは満足している、y = 0 ならばあまり満足していないという意味です。

人間の満足度を予測することは難しい課題です。人間は定義上、満足していません。機械でさえも人間の心理の謎を解読するのは難しいです。そのため、私のモデルは自然と混乱してしまいました。

人間の予測者から占い師へ

私の正解率は約0.5で、これは分類器で得られる最悪の結果です。これはアルゴリズムが「はい」または「いいえ」を予測する確率が50%であり、人間の推測と同じくらいランダムです。

そのため、私は2ヶ月間、異なる技術を試して組み合わせながらモデルの予測を改善しようとしました。結果として、私はROCスコアを0.5から0.73に改善することができました。これは大きな成功でした!

この記事では、モデルの正確性を大幅に向上させるために使用した技術を共有します。モデルがうまく動かない場合に役立つかもしれません。

この研究の機密性のため、敏感な情報を共有することはできませんが、混乱しないように最善の努力をするつもりです。

#0. データの準備

使用した方法に入る前に、まず基本を押さえておく必要があります。これらの方法のいくつかは、変数のエンコードやデータの準備に依存しています。コードの一部も参照しています…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

「Microsoftの研究者がPIT(Permutation Invariant Transformation)を提案:動的まばらさのためのディープラーニングコンパイラ」

“`html 最近、深層学習は動的スパース性に最適化されたモデルの研究によって注目されています。このシナリオでは、スパ...

AIニュース

「デリー政府、提案された電子都市にAIハブを建設する計画」

技術の進歩に向けた重要な一歩として、デリー政府は提案された電子都市にAIハブを構築することを計画しています。この都市は...

データサイエンス

「ChatGPTを使用してAI幻覚を回避する方法」

「AI幻覚」は、ChatGPTの文脈でしばしば言及されますこの記事では、AI幻覚を100%完全に排除する方法を説明しています

機械学習

Google AIがMedLMを導入:医療業界の利用事例に特化したファミリー型基盤モデル

Googleの研究者たちは、現在米国で利用可能な医療業界のために調整されたモデルの基礎であるMedLMを紹介しました。これは、Go...

データサイエンス

「ゼロからLLMを構築する方法」

「これは、大規模言語モデル(LLM)を実践的に使用するシリーズの6番目の記事です以前の記事では、プロンプトエンジニアリン...

データサイエンス

デジタルツインは現代の物流を革命化しますこうすればどうなるか

「デジタルツインは物理的な世界と仮想的な世界をつなげることで、物流を変革し、効率性を向上させ、無駄を削減し、そして産...