Google AIは、LLMsへの負担を軽減する新しい手法「ペアワイズランキングプロンプティング」を提案しています

Google AIは新しい手法「ペアワイズランキングプロンプティング」を提案しています

Google AIの研究者たちは、新しいアプローチであるPairwise Ranking Prompting(PRP)を提案する新しい論文を公開しました。この目標は、大規模な言語モデルがテキストのランキング問題を解決する際に直面する課題を軽減することです。GPT-3やPaLMなどのLLMは、自然言語タスクで顕著なパフォーマンスを示しており、ゼロショットの環境でも優れた結果を出しています。

しかし、テキストのランキングに関しては、既存の手法は、GPT-4などのブラックボックスシステムを除いて、訓練済みのベースラインランカーと比較して結果が出ない傾向があります。この論文では、チームはブラックボックスシステムの価値を認めつつ、コストやアクセスの制約など、学術研究者が直面する制約を強調しています。

そのため、彼らの研究では、現在のポイントワイズとリストワイズのアプローチを使用したLLMがランキング問題に苦しむ理由について探求しています。チームによると、LLMにとって、ポイントワイズの技術に対して適切な予測確率を生成することは非常に困難であるということがわかりました。

一方、リストワイズの技術は一貫性のないまたは関連性のない出力をもたらし、現在のLLMの事前学習と微調整の技術におけるランキングの認識の欠如を示しています。そのため、この制約を補うために、研究者たちはPRPパラダイムを提案しました。

この方法は、ランキングタスクのためのクエリと一対のドキュメントをプロンプトとして使用するシンプルなアーキテクチャを利用します。既存の手法とは異なり、PRPはデフォルトで生成とスコアリングのLLM APIの両方を提供し、キャリブレーションの問題に対処します。効率と効果を確保するために、いくつかのPRPのバリエーションが議論されています。

彼らは、従来のベンチマークデータセット上で、中程度のサイズのオープンソースLLMを使用してPRPを評価しました。その結果、大規模なモデルサイズを持つ商用GPT-4に基づいた以前の手法を大幅に上回る成果を収めました。

その一例がTREC-DL2020データセットです。20BパラメータのFLAN-UL2モデルに基づいたPRPは、NDCG@1において先行の最良手法と比較して5%以上の改善を達成しました。TREC-DL2019では、PRPはInstructGPTなどの既存のソリューションを上回り、ランキングの多くの尺度において10%以上の性能向上を示し、NDCG@5とNDCG@10のメトリックではGPT-4と比較してわずかな性能低下がありました。

全体的に、PRPはLLM APIのスコアリングと生成のサポート、および入力順序に対する感度の低さなど、いくつかの利点を持っています。この研究は3つの主要な貢献を示しています。まず第一に、中程度のサイズのオープンソースLLMを使用した効果的なゼロショットランキングの実証。次に、簡単なプロンプティングとスコアリングメカニズムによる最先端のランキングパフォーマンスの達成。

そして最後に、良好な経験的なパフォーマンスを維持しながら効率の向上を探求します。

編集者注:ジェネラティブAIの最新情報を学びたいですか?1日限りのジェネラティブAIサミットに参加しましょう。ハイプを超えて、この最先端技術の詳細について深く掘り下げます。無料で今すぐ登録して、ジェネラティブAIの力を解き放ちましょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

このMicrosoftのAI研究ケーススタディでは、MedpromptがGPT-4の医学を超えた専門能力をドメイン固有のトレーニングなしでどのように向上させるかが明らかにされています

マイクロソフトの研究者が、ドメイン特化のトレーニングなしでGPT-4が医療の質問に答える能力を向上させる課題に取り組みまし...

AIニュース

「NvidiaとiPhoneメーカーのFoxconnが「AI工場」を建設する」というニュースが発表されました」

「フォックスコンの劉氏はBBCに、電気自動車が今後数十年で同社の成長を牽引すると語った」

AI研究

シャージャ大学の研究者たちは、アラビア語とその方言を自然言語処理に取り入れるための人工知能ソリューションを開発しました

アラビア語は4億2200万人以上の国民の公用語であり、世界で5番目に広く使用されています。しかし、自然言語処理ではほとんど...

AIニュース

「フレームワークによりロボットは連続した順序で対話的なタスクを実行できる」

新しいフレームワークにより、四足歩行ロボットは再学習することなく、ますます複雑なタスクを実行することができます

AIニュース

アマゾンがベッドロックを展開:AIモデルの評価と人間のベンチマーキング

開発において、Amazon Bedrockは、特定のニーズに合わせて選択し、比較し、最適なファウンデーションモデル(FM)を選択する...