Google AIは、「ペアワイズランキングプロンプティング」という新しい方法を提案し、LLMsの負担を軽減することを目指しています

Google AI proposes a new method called pairwise ranking prompting to alleviate the burden of LLMs.

Google AIの研究者は、新しいアプローチである「ペアワイズランキングプロンプティング（PRP）」を提案する新しい論文を公開しました。この目標は、大規模な言語モデルがテキストのランキング問題を解決する際に直面する課題を軽減することです。GPT-3やPaLMなどのLLMは、自然言語のタスクで卓越したパフォーマンスを示しており、ゼロショット設定でも優れた結果を出しています。

しかし、テキストのランキングに関しては、既存の手法はトレーニングされたベースラインのランカーに比べて不十分な結果を残す傾向があります（GPT-4などのブラックボックスシステムを除く）。論文では、チームはブラックボックスシステムの価値を認めつつも、コストやアクセスの制約など、学術研究者が直面する制約にも言及しています。

そのため、彼らの研究では、現在のポイントワイズとリストワイズのアプローチを使用したLLMがランキング問題で苦戦する理由について探求しています。チームによると、彼らはLLMにとって、ポイントワイズのテクニックに対してキャリブレーションされた予測確率を生成することが極めて困難であることを発見しました。

• VoAGIニュース、7月12日：ChatGPTに関する5つの無料コース • チェーンオブスロートプロンプティングの力
• 「AIをウェルコネクトされたチームに統合するためのヒントとトリック」
• 交通部門でのAIのトップ6の使用法

一方、リストワイズのテクニックは一貫性のない結果や関連性のない出力をもたらし、現在のLLMの事前学習と微調整技術におけるランキングの意識の不足を示しています。そのため、この制約を補うために、研究者たちはPRPパラダイムを提案しました。

この方法は、ランキングタスクのプロンプトとしてクエリと2つのドキュメントを使用するシンプルなプロンプトアーキテクチャを活用しています。既存の手法とは異なり、PRPはデフォルトで生成とスコアリングのLLM APIの両方を提供し、キャリブレーションの問題に対処しています。効率と効果を確保するために、いくつかのPRPのバリエーションが議論されています。

彼らは、伝統的なベンチマークデータセットにおいて、中程度のサイズのオープンソースLLMを使用してPRPを評価しました。その結果、大規模なモデルサイズを持つブラックボックスの商用GPT-4に基づく従来の手法を大幅に上回る成果を収めました。

その一例がTREC-DL2020データセットです。20BパラメータのFLAN-UL2モデルに基づくPRPは、従来の最良の手法と比べてNDCG@1で5％以上の改善を達成しました。TREC-DL2019では、PRPはInstructGPTなどの既存のソリューションを多くのランキング指標で10％以上上回り、NDCG@5とNDCG@10のメトリックにおいてはGPT-4と比較してわずかなパフォーマンスの低下がありました。

全体として、PRPにはLLMのスコアリングと生成のためのAPIのサポート、および入力順序に対する無感覚性といういくつかの利点があります。この研究は3つの主要な貢献を示しています。まず、中程度のサイズのオープンソースLLMを使用した効果的なゼロショットランキングの実証です。次に、シンプルなプロンプティングとスコアリングメカニズムによる最先端のランキングパフォーマンスの達成です。

そして最後に、良好な経験的なパフォーマンスを維持しながら効率性の向上を探求します。

編集者の注：最新の生成AIについて学びたいですか？1日限りのジェネレーティブAIサミットに参加しましょう。ハイプを超えて、この最先端のテクノロジーに深く没頭しましょう。無料で今すぐ登録して、ジェネレーティブAIのパワーを解き放ってください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!