「スコア！チームNVIDIAが推薦システムでトロフィーを獲得」
Team NVIDIA wins trophy in recommendation system.
4つの大陸に広がる5人の機械学習のエキスパートで構成されるクラックチームが、最先端の推薦システムを構築するための激しい競争で、全ての3つのタスクに勝利しました。
その結果は、このデジタル経済のエンジンにおいて、NVIDIAのAIプラットフォームを実世界の課題に効果的に適用するグループの知識を反映しています。推薦システムは、毎日数十億人に対して兆個の検索結果、広告、製品、音楽、ニュースストーリーを提供しています。
Amazon KDD Cup ’23では、450以上のデータサイエンティストチームが競い合いました。この3ヶ月間のチャレンジには多くの曲折と緊迫したフィニッシュがありました。
高速ギアへの切り替え
競争の最初の10週間では、チームはリードを築きました。しかし、最終フェーズでは、主催者が新しいテストデータセットに切り替え、他のチームが追い上げました。
NVIDIANsは夜間や週末にも働き、追いつくために最高のギアに切り替えました。彼らはベルリンから東京までの都市に住むチームメンバーからの24時間対応のSlackメッセージの軌跡を残しました。
サンディエゴのチームメンバーであるクリス・デオットは、「私たちは絶えず働いていました。とてもエキサイティングでした」と語りました。
別の名前の製品
3つ目のタスクは最も難しかったです。
参加者は、ユーザーのブラウジングセッションのデータに基づいて、ユーザーがどの製品を購入するかを予測しなければなりませんでした。しかし、トレーニングデータには多くの選択肢のブランド名が含まれていませんでした。
「最初から、これは非常に非常に困難なテストになると分かっていました」と、ギルベルト・”ギバ”・ティテリックスは述べました。
KGMONの救出
ブラジルのクリチバを拠点とするティテリックスは、Kaggleコンペティションのグランドマスターにランクされる4人のチームメンバーの一人で、データサイエンスのオンラインオリンピックであるKaggleのチャンピオンです。彼らは何十ものコンペティションに勝利した機械学習のニンジャのチームの一部です。NVIDIAの創設者兼CEOであるジェンセン・ファンは、彼らをKGMON（Kaggle Grandmasters of NVIDIA）と呼んでいます。
ティテリックスは、大量の言語モデル（LLM）を使用して生成型AIを構築し、製品名を予測しようとしましたが、どれもうまくいきませんでした。
チームはクリエイティブな方法を見つけました。新しいハイブリッドランキング/分類モデルを使用した予測結果は的確でした。
ギリギリの戦い
競争の最後の数時間、チームは最後の提出のためにすべてのモデルをまとめるために競走しました。彼らは最大40台のコンピュータで一晩中の実験を実施していました。
東京のKGMONである小野寺一樹は、緊張していました。「実際のスコアが私たちの推定値と一致するかどうか本当に分かりませんでした」と彼は語りました。
KGMONの一員であるデオットも、「100以上の異なるモデルが一緒に協力して単一の出力を生成する…それをリーダーボードに提出し、パポン！」と述べました。
チームは、競争相手にわずかにリードを取りました。
転移学習の力
別のタスクでは、チームは英語、ドイツ語、日本語の大規模データセットから得た知識を、フランス語、イタリア語、スペイン語の10分の1のサイズのデータセットに適用しなければなりませんでした。これは、企業がグローバルにデジタルプレゼンスを拡大する際に直面する現実の課題です。
パリ近郊を拠点とする3回のKaggleグランドマスターであるジャン＝フランソワ・ピュジェは、転移学習の効果的なアプローチを知っていました。彼はプリトレーニングされたマルチリンガルモデルを使用して製品名をエンコードし、エンコーディングを微調整しました。
「転移学習を使用することで、リーダーボードのスコアが非常に改善されました」と彼は述べました。
知識とスマートソフトウェアの融合
KGMONの取り組みは、recsysとして知られる分野は、時には科学よりも芸術の側面があることを示しています。それは直感と反復を組み合わせた実践です。
それは、NVIDIA Merlinのようなソフトウェア製品にエンコードされた専門知識であり、ユーザーが独自の推薦システムを素早く構築できるフレームワークです。
ベルリンを拠点とするチームメンバーであり、Merlinのデザインを支援するベネディクト・シフェラーは、ソフトウェアを使用して競合他社のクラシックなrecsysタスクに圧勝するためにトランスフォーマーモデルをトレーニングしました。
「Merlinは、すぐに素晴らしい結果を提供してくれます。柔軟な設計により、特定の課題に合わせてモデルをカスタマイズすることができます」と彼は言いました。
RAPIDSに乗る
彼も、チームメンバーと同様に、データサイエンスを加速するためのオープンソースのライブラリであるRAPIDSを使用しました。
例えば、Deotteは、加速ソフトウェアのハブであるNVIDIAのNGCからコードにアクセスしました。DASK XGBoostと呼ばれるこのコードは、大規模かつ複雑なタスクを8つのGPUとそのメモリに分散させるのに役立ちました。
一方、Titericzは、RAPIDSライブラリの一つであるcuMLを使用して、数百万の商品比較を数秒で検索しました。
チームは、複数のユーザーの訪問データを必要としないセッションベースの推薦システムに焦点を当てました。多くのユーザーがプライバシーを保護したいと考える現代のベストプラクティスです。
詳細については：
- Merlinを使用したセッションベースの推薦システムの構築についてのGTCセッションを視聴してください。
- NVIDIA Deep Learning Instituteからrecsysコースを受講してください。
- NVIDIA AI Enterpriseの一部である次のアイテム予測ワークフローをチェックしてください。これは、セキュリティとサポートが必要なビジネスに対応した完全なソフトウェアスイートです。
- 以下の動画もご覧ください。
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
