Google AIは、LLMsへの負担を軽減する新しい手法「ペアワイズランキングプロンプティング」を提案しています

Google AIは新しい手法「ペアワイズランキングプロンプティング」を提案しています

Google AIの研究者たちは、新しいアプローチであるPairwise Ranking Prompting(PRP)を提案する新しい論文を公開しました。この目標は、大規模な言語モデルがテキストのランキング問題を解決する際に直面する課題を軽減することです。GPT-3やPaLMなどのLLMは、自然言語タスクで顕著なパフォーマンスを示しており、ゼロショットの環境でも優れた結果を出しています。

しかし、テキストのランキングに関しては、既存の手法は、GPT-4などのブラックボックスシステムを除いて、訓練済みのベースラインランカーと比較して結果が出ない傾向があります。この論文では、チームはブラックボックスシステムの価値を認めつつ、コストやアクセスの制約など、学術研究者が直面する制約を強調しています。

そのため、彼らの研究では、現在のポイントワイズとリストワイズのアプローチを使用したLLMがランキング問題に苦しむ理由について探求しています。チームによると、LLMにとって、ポイントワイズの技術に対して適切な予測確率を生成することは非常に困難であるということがわかりました。

一方、リストワイズの技術は一貫性のないまたは関連性のない出力をもたらし、現在のLLMの事前学習と微調整の技術におけるランキングの認識の欠如を示しています。そのため、この制約を補うために、研究者たちはPRPパラダイムを提案しました。

この方法は、ランキングタスクのためのクエリと一対のドキュメントをプロンプトとして使用するシンプルなアーキテクチャを利用します。既存の手法とは異なり、PRPはデフォルトで生成とスコアリングのLLM APIの両方を提供し、キャリブレーションの問題に対処します。効率と効果を確保するために、いくつかのPRPのバリエーションが議論されています。

彼らは、従来のベンチマークデータセット上で、中程度のサイズのオープンソースLLMを使用してPRPを評価しました。その結果、大規模なモデルサイズを持つ商用GPT-4に基づいた以前の手法を大幅に上回る成果を収めました。

その一例がTREC-DL2020データセットです。20BパラメータのFLAN-UL2モデルに基づいたPRPは、NDCG@1において先行の最良手法と比較して5%以上の改善を達成しました。TREC-DL2019では、PRPはInstructGPTなどの既存のソリューションを上回り、ランキングの多くの尺度において10%以上の性能向上を示し、NDCG@5とNDCG@10のメトリックではGPT-4と比較してわずかな性能低下がありました。

全体的に、PRPはLLM APIのスコアリングと生成のサポート、および入力順序に対する感度の低さなど、いくつかの利点を持っています。この研究は3つの主要な貢献を示しています。まず第一に、中程度のサイズのオープンソースLLMを使用した効果的なゼロショットランキングの実証。次に、簡単なプロンプティングとスコアリングメカニズムによる最先端のランキングパフォーマンスの達成。

そして最後に、良好な経験的なパフォーマンスを維持しながら効率の向上を探求します。

編集者注:ジェネラティブAIの最新情報を学びたいですか?1日限りのジェネラティブAIサミットに参加しましょう。ハイプを超えて、この最先端技術の詳細について深く掘り下げます。無料で今すぐ登録して、ジェネラティブAIの力を解き放ちましょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「メーカーに会う:開発者がAI搭載ピットドロイドの背後にNVIDIA Jetsonを使う」

ゴラン・ヴクシッチは、スター・ウォーズの映画シリーズに登場するポッドレーサーを修理・保守するタイプの実世界のピットド...

機械学習

「ベイチュアン2に会おう:7Bおよび13Bのパラメータを持つ大規模な多言語言語モデルのシリーズ、2.6Tトークンでゼロからトレーニングされました」

大規模言語モデルは近年、大きな進展を遂げています。GPT3、PaLM、Switch Transformersなどの言語モデルは、以前のELMoやGPT-...

AI研究

プリンストンの研究者が、構造化プルーニングを介した言語モデルの事前トレーニングの加速のためのシャアドLLaMAモデルを紹介します

“` 大型言語モデル(LLM)は、多様な自然言語タスクにおける優れた能力により、非常に人気が高まっています。彼らは急...

AI研究

マイクロソフトの研究者が「InstructDiffusion:コンピュータビジョンタスクを人間の指示に合わせるための包括的かつ汎用的なAIフレームワーク」というタイトルで発表しました

マイクロソフトリサーチアジアの研究者たちは、適応性のある汎用的なビジョンモデルに向けた画期的な進展であるInstructDiffu...

人工知能

「安全で、安心で信頼性のあるAIフレームワークを開発するための専門家の洞察」

「バイデン大統領の最近の執行命令に基づき、安全で信頼性のあるAIを重視するという方針に沿って、米国連邦政府の資金援助を...