「REPLUG」をご紹介しますこれは、凍結された言語モデルと凍結/調整可能なリトリーバを組み合わせた、検索増強型言語モデリング（LM）フレームワークですこれにより、GPT-3（175B）の言語モデリングの性能が6.3%向上します

Introducing REPLUG, a search-enhanced language modeling (LM) framework that combines frozen language models with frozen/adjustable retrievers. This improves the performance of GPT-3 (175B) language modeling by 6.3%.

近年、言語モデルは人工知能の中でも最も急速に成長している分野の一つとなっています。これらのモデルは、自然言語テキストの処理や生成を行うために開発され、最も革新的で画期的なAIアプリケーションの一部を駆動しており、AIの拡大における新たな時代の最先端に位置しています。特にGPT-3という言語モデルは、その非凡な能力とパフォーマンスにより、世界中で話題を集めています。GPT-3はトランスフォーマーアーキテクチャを使用してテキストを処理し、人間のように質問に答えることができるモデルを生み出します。さらに、このモデルは長いパラグラフを要約したり、コードを完成させたり、非常に高速かつ正確にタスクを完了させることさえ可能です。

GPT-3のような言語モデルはまだ完璧とは言えず、新しいプロンプトに対して正確かつ適切な応答を生成する際に制約があります。そこで、REPLUGという新しい手法が登場します。REPLUGは、検索補完型言語モデルフレームワークであり、ブラックボックス言語モデルのパフォーマンスを向上させる手法です。検索システムは、与えられたプロンプトに一致する大規模なテキストコーパス内の最適なパッセージを見つけ、その後、言語モデルを取得したパッセージに合わせて調整します。これにより、言語モデルは特にトレーニングデータに存在しないプロンプトの場合でも、より正確な回答を生成することができます。

REPLUG手法は、2つの主要なステップで構成されています- 文書の検索と入力の再構築です。まず、リトリーバーを使用して外部コーパスから関連文書を特定します。次に、各取得された文書は元の入力コンテキストに別々に追加され、複数のパスからの出力確率が結合されます。この手法では、異なるモダリティ間のネットワークを学習するために、アテンションメカニズムを強化するディープニューラルネットワークが使用されます。

• 「深層学習を用いた深層オブジェクト：ZoeDepthはマルチドメインの深度推定のためのAIモデルです」
• FedMLとThetaが分散型AIスーパークラスターを発表：生成AIとコンテンツ推薦を強化
• 「パフォーマンスと使いやすさを向上させるための機械学習システムにおけるデザインパターンの探求」

REPLUGは、大規模な画像キャプションデータセットを含むさまざまなベンチマークデータセットでテストされ、精度とスケーラビリティの面で既存のシステムに比べてより良い結果を示しました。REPLUGの最大の利点の一つは、基礎となる言語モデルのアーキテクチャを変更する必要がないということです。GPT-3などの現行モデルは、検索システムを追加することで強化することができます。これにより、REPLUGは簡単にアクセスでき、実装することができます。チューニングされたリトリーバーを使用したREPLUGは、言語モデリングにおけるGPT-3（175B）のパフォーマンスを6.3％向上させるだけでなく、Codexの5ショットMMLUにおけるパフォーマンスを5.1％向上させます。

結果として、REPLUGの導入はNLPの分野においてゲームチェンジャーとなるようです。REPLUGは、ブラックボックス言語モデルと検索システムの両方の利点を組み合わせて、従来の言語モデルを凌駕するハイブリッドモデルを生成します。REPLUGによって使用されるディープニューラルネットワークアーキテクチャはスケーラブルであり、大量のマルチモーダルデータを処理する必要がある実世界のアプリケーションに適しています。REPLUGの潜在的な応用範囲は非常に広大であり、将来の展望も非常に有望です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!