アマゾンの研究者が提案するKD-Boost：リアルタイムセマンティックマッチングのための新しい知識蒸留アルゴリズム

「アマゾンの研究者が提案するKD-Boost：新しい知識蒸留アルゴリズムによるリアルタイムセマンティックマッチング」

“`HTML

ウェブ検索と電子商取引の商品検索は、正確なリアルタイムの意味的マッチングに依存する2つの主要なアプリケーションです。商品検索では、ユーザーのクエリと関連する結果の間の意味的ギャップを埋めることが難しいです。マッチング手順は通常、2つのステップで行われます：商品の調達（PS）と自動クエリの再構築。商品の調達は、与えられたクエリに対して一致する結果を取得し、商品検索の文脈では商品として参照されることがよくあります。その後、自動クエリの再構築は、不適切に形成されたユーザーのクエリを意味的に類似した、適切に形成されたクエリに変換して結果カバレッジを広げます。

意味的マッチングは、検索エンジンが類似の意味を持つアイテムを認識し関連付けるプロセスです。意味的マッチングにより、ユーザーのクエリは単なる結果ではなく、文脈に基づいて最も関連性の高い結果を返します。トランスフォーマーベースのモデルは、リクエストをエンコードし、クエリや結果などの意味的に関連した要素と同じように埋め込み空間でクラスタリングすることで非常に成功していることが示されています。ただし、遅延の問題により、計算コストの高い大規模なトランスフォーマーモデルはリアルタイムのマッチングには実用的ではありません。

これらの課題に対処するため、Amazonの研究チームは、リアルタイムの意味的マッチング問題に特化した新しい知識蒸留技術であるKD-Boostを紹介しました。KD-Boostは、教師モデルからの正解ラベルとソフトラベルを使用して、低遅延で正確な学生モデルを訓練するために特に設計されています。ソフトラベルのソースは、ダイレクトオーディト、ユーザーの行動調査、およびタクソノミーベースのデータによって生成されるペアワイズなクエリ-商品およびクエリ-クエリのシグナルです。適切な学習プロセスを導くために、カスタム損失関数が使用されています。

• 「中国AI研究チームが導入した4K4D ハードウェアラスタライゼーションをサポートし、前例のない描画速度を実現する4Dポイントクラウド表現」
• このAI論文は、MITが化学研究のために深層学習モデルのスケーリングを探究しています
• 「UCLA研究者が「Rephrase and Respond」（RaR）を導入、LLMsの人間の質問理解を向上させる新しい人工知能手法を紹介」

研究者たちは、クエリの再構築と商品の調達の両方のニーズを満たすために、類似性と非類似性のシグナルのさまざまなソースを使用したと共有しています。クエリ-商品のエディトリアル序数関連ラベル、クリックや販売などのユーザー行動情報、製品タクソノミーなどがその例です。モデルが関連性と類似性の微妙なニュアンスを正確に捉える学習表現を獲得するようにするために、特別な損失関数が使用されています。

チームは、内部および外部の電子商取引データセットでテストを行い、生徒モデルの直接トレーニングと比較してROC-AUC（特性動作特性-カーブ下の面積）で2〜3％の大幅な向上が示されたことを共有しています。 KD-Boostは、最先端の知識蒸留ベンチマークおよび教師モデルよりも優れたパフォーマンスを示しました。

KD-Boostを使用した自動的なクエリ再構築のシミュレートされたオンラインA/Bテストで有望な結果が観察されました。クエリ間のマッチングが6.31％増加し、意味的な理解が改善されたことを示しています。関連性には2.19％の改善があり、より正確で文脈に即した一致が示され、製品カバレッジには2.76％の増加があり、より広範な関連結果が示唆されました。

まとめると、この研究は広範な商品検索に関連する遅延の問題に対処し、商品の調達と自動クエリ再構築の両方の向上を強調しています。現行のトランスフォーマーベースのモデルの欠点を認識し、解決策として知識蒸留の使用を検討することに貢献しました。

“`

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!