「知識の回復が中心舞台に登場する」

「美容とファッションのエキスパートが登場する、知識の復元を中心とした世界へようこそ！」

GenAIアーキテクチャが解釈的な検索中心の生成モデルにシフト

GenAIの消費者から事業展開への移行には、検索中心の生成（RCG）を使用してモデル外の情報を主に構築するソリューションが必要です。

生成AI（GenAI）がさまざまなビジネス用途で産業全体に展開されるにつれて、企業は効率、精度、セキュリティ、追跡可能性を提供するモデルが必要とされます。ChatGPTのようなモデルの元のアーキテクチャは、これらの主要な要件を満たすのに大きな不足があることが示されています。初期のGenAIモデルでは、検索はパラメータメモリからの覚えている情報に頼るモデルの欠点に対処するために後付けで使用されました。現在のモデルでは、モデル外の情報を抽出できるようにするために、検索増強生成（RAG）フロントエンドでソリューションプラットフォームを拡張することで、この問題について大きな進展があります。恐らく、生成AIのアーキテクチャをさらに見直し、検索が情報へのコアアクセスとして構築された検索中心の生成（RCG）モデルに移行する時期が来たのかもしれません。

検索中心の生成モデルは、モデルのパラメータメモリ外に存在するデータの大部分があり、事前トレーニングや微調整ではほとんど見られないことが特徴です。RCGにより、GenAIモデルの主な役割は企業の索引化されたデータコーパスや他の編集済みコンテンツから豊富な抽出された情報を解釈することです。データを記憶する代わりに、モデルは対象の構造、関係、機能に対して微調整します。生成される出力のデータの品質は100％の精度とタイムリネスに近づくと予想されます。事前トレーニングで見られない大量のデータを適切に解釈し使用するためには、モデルの抽象化のレベルを高め、複雑なパターンや関係を識別するためのスキーマの活用が重要です。これらの新しい要件に合わせ、検索の自動化学習とスキーマの学習が大規模言語モデル（LLM）の事前トレーニングと微調整の進化をもたらすでしょう。

GenAIモデルのパラメータメモリからの記憶データの使用を大幅に減らし、検証可能な索引化されたソースに頼ることは、情報の起源を向上させ、精度とパフォーマンスを向上させる上で重要な役割を果たします。現時点では、GenAIアーキテクチャの一般的な仮定は、モデルにデータが多いほど良いというものでした。現在の主流の構造に基づくと、ほとんどのトークンと概念は組み込まれ、パラメータメモリからより良い回答が生成できるようにクロスマップされていることが期待されます。しかし、一般的なビジネスシナリオでは、生成された出力に使用される大部分のデータは検索から取得されることが予想されます。モデルにより多くのデータがある一方で、検索された知識に依存することは、情報の矛盾やソースから追跡または検証できないデータの含有を引き起こします。前回のブログ記事「Survival of the Fittest」で述べたように、RCGを使用する小さな、機敏なターゲットモデルは、パラメータメモリにデータを保存する必要がありません。

• 「人道的な災害状況報告チャットボットの研究−GPT-4-Turboとフルコンテキストプロンプティングの使用」
• カスタムGPTの構築：教訓とヒント
• NVIDIAは、企業向けカスタム生成AIモデルの開発を迅速に進めています

データが主に検索から取得されるビジネス環境では、ターゲットとなるシステムは、企業の要件に適した見られない関連情報を解釈することで優れたパフォーマンスを示さなければなりません。さらに、大規模なベクトルデータベースの普及やコンテキストウィンドウサイズの増加（例えば、OpenAIは最近、GPT-4 Turboのコンテキストウィンドウを32Kから128Kに拡張しました）により、モデルは推論と未見の複雑なデータの解釈に向けて進化しています。モデルは今や、高度な検索と微調整の組み合わせにより、広範なデータを効果的な知識に変換するためのインテリジェンスを必要とします。モデルが検索中心になるにつれて、スキーマの作成と活用に必要な認知能力が中心的な役割を果たすようになります。

GenAIの消費者とビジネスの利用の比較

AIモデルのサイズと複雑さが急速に拡大した10年後、2023年は効率とジェネレーティブAIのターゲットアプリケーションに焦点を当てる転換点となる。ビジネス利用への移行は、データの品質、データのソース、およびターゲットされた用途という3つのレベルでこの変化を推進する重要な要素の1つです。

● データの品質: 企業向けにコンテンツや分析を生成する際、95%の正確さでは不十分です。ビジネスは完全な正確さかそれに近いものを必要とします。特定のタスクに対して高いパフォーマンスを発揮するためには、データの品質の管理と調整が必要です。さらに、データは追跡可能で検証可能である必要があります。起源が重要であり、コンテンツのソースを特定するために取り出すことが中心となります。

● データのソース: ビジネスアプリケーションのほとんどのデータは、信頼できる外部ソースや企業独自のビジネス/エンタープライズデータからキュレーションされることが期待されています。これには製品、リソース、顧客、サプライチェーン、内部業務などに関する情報が含まれます。データの取り出しは、モデルで事前トレーニングされていない最新かつ幅広いセットの独自データにアクセスするために重要です。モデルは、自身の内部メモリからのデータとビジネスソースから抽出された検証可能で追跡可能なデータの起源に問題を抱える場合があります。データが矛盾すると、モデルを混乱させる可能性があります。

● ターゲットされた用途: 企業向けのモデルの構造と機能は、特定の用途とデータのタイプに特化しています。GenAIの機能が特定のワークフローやビジネスアプリケーションに展開される場合、すべての機能を必要とすることはありません。また、データは主に取り出しによって提供されるため、ターゲットシステムは、企業が要求する特定の方法で見られない関連情報を解釈する能力に優れている必要があります。

たとえば、金融や医療企業がサービスの向上のためにGenAIモデルを追求する場合、必要な機能のセットに特化します。彼らはゼロからモデルを事前トレーニングして、すべての独自情報を含めることも選択肢にあります。ただし、この取り組みは費用がかかり、深い専門知識を必要とし、技術が進化し続けると会社のデータも絶えず変化するため、すぐに追いつくことが難しいです。さらに、最新の具体的な情報にアクセスするために、それでも取り出しに頼る必要があります。より効果的な方法は、既存の事前トレーニングされたベースモデル（例：MetaのLlama 2など）を使用し、微調整やインデックス付けを通じてカスタマイズすることです。微調整はモデルの動作を洗練させるために情報やタスクのほんの一部を使用しますが、ビジネスの独自情報自体はインデックス化され、必要に応じて取り出すことができます。ベースモデルが最新のGenAI技術で更新されるにつれて、ターゲットモデルを更新することは比較的簡単なプロセスとなるでしょう。

検索中心の生成へのシフト：インデックス化された情報抽出を基にした設計

Meta AIと大学の協力者は、2021年に起源とLLMの世界知識の更新の問題を解決するために、検索強化型生成（RAG）を導入しました。研究者はRAGを使って、事前トレーニングされたパラメトリックメモリ生成モデルに非パラメトリックメモリを追加しました。非パラメトリックメモリは、事前トレーニングされたリトリーバーによってアクセスされるWikipediaの密なベクトルインデックスを使用しました。メモリの少ないコンパクトなモデルでは、ビジネスの必要性に応じたインデックス化されたデータの幅と品質に重点が置かれます。RAGとRCGは、オンザフライでキュレーションされたコーパスから関連する知識を引っ張ってくることによって、同じリトリーバーアプローチを使用することができます（図2を参照）。しかし、GenAIシステムが情報の配置を行い、以前に見たデータの解釈期待が異なるため、RAGとRCGは異なります。RAGでは、モデル自体が主要な情報源であり、取り出されたデータによってサポートされます。対照的に、RCGではデータのほとんどがモデルのパラメトリックメモリ外部に存在し、見たことのないデータの解釈がモデルの主な役割となります。

なお、現在の多くのRAGソリューションは、フロントエンドのリトリーバーと独立したベクトルストアをGenAIモデルに連結するLangChainやHaystackのようなフローに頼っています。これらのソリューションは、データソースのインデックス化、モデルの選択、およびモデルの行動トレーニングの環境を提供します。他のアプローチでは、Google ResearchのREALMなど、統合されたリトリーバーでのエンドツーエンドの事前トレーニングを試みています。現在、OpenAIはChatGPTのフローをエコシステムに任せるのではなく、リトリーバーのGenAIパスを最適化しています。同社は最近、Assistants APIをリリースし、モデル外部の専用ドメインデータ、製品情報、またはユーザー文書の取り出しを行っています。

他の例では、Intel LabsのfastRAGのような高速リトリーバーモデルは、追加のトレーニングなしで知識ベースから要求された情報を抽出するために、事前に訓練された小規模な基礎モデルを使用して持続可能なソリューションを提供します。オープンソースのHaystack GenAIフレームワークの拡張として構築されたfastRAGは、リトリーバーモデルを使用して会話型の回答を生成し、外部の知識ベースから現在のドキュメントを取得します。また、Metaの研究者チームは最近、Retrieval-Augmented Dual Instruction Tuning（RA-DIT）を紹介する論文を発表しました。「大規模言語モデルに検索機能を後付けする軽量な微調整手法」として知られています。

RCGモデルへの移行により、トレーニング中の情報の役割に課題が生じます。プロンプトに対する情報の保管庫であるだけでなく、情報の解釈者でもあるRAGとは異なり、RCGではモデルの機能は主に（通常はビジネスによってキュレーションされた）情報のコンテキスト内での解釈者としてシフトします。これには、現在の言語モデルのトレーニングに使用される現在の目標がこのタイプの学習に適していない可能性があるため、事前トレーニングと微調整に異なるアプローチが必要です。RCGには、モデルによる長いコンテキスト、データの解釈能力、データのキュレーション、およびその他の新しい課題が必要です。

学界または産業界のRCGシステムの例はまだ非常に少ないです。一例として、Kioxia Corporationの研究者はオープンソースのSimplyRetrieveを作成しました。これは、コンテキストの解釈と知識の記憶を分離するためにRCGアーキテクチャを使用してLLMのパフォーマンスを向上させます。Wizard-Vicuna-13Bモデルに実装された研究者は、RCGが組織の工場の位置に関するクエリに正確に答えることを発見しました。対照的に、RAGは知識ベースを組織の知識と統合しようとしました。これにより、一部の誤った情報や幻覚が生じました。これは単なる例であり、RAGとリトリーバーをオフにした生成（ROG）は他の状況で正しい回答を提供する可能性があります。

ある意味で、RAGからRCGへの移行は、定数（RAG）と変数（RCG）を使用してプログラミングする場合の違いに喩えることができます。AIモデルがコンバーチブルのFord Mustangに関する質問に答える場合、大規模なモデルは車の関連する詳細（導入年やエンジン仕様など）を多く把握しています。大規模なモデルは最近取得したアップデートをいくつか追加することもできますが、主に特定の内部の既知用語または定数に基づいて回答します。しかし、次の自動車リリースの準備をしている電気自動車会社にモデルが展開される場合、モデルは推論と複雑な解釈が必要です。ほとんどのデータが未知のものとなります。モデルは、変数のような情報の使用方法、データの意味づけの方法を理解する必要があります。

スキーマ：推論中の一般化と抽象化の能力

ビジネスの設定（ビジネス組織と人、製品とサービス、内部プロセス、および資産）で取得される情報の多くは、対応するGenAIモデルが事前トレーニング中に見たことがなく、おそらく微調整中にサンプリングされたに過ぎないでしょう。これは、トランスフォーマーアーキテクチャが生成された出力の一部として「既知」の単語や用語（つまり、モデルによって過去に摂取されたもの）を置くことはないことを意味します。代わりに、アーキテクチャは未知の用語を適切な文脈的な解釈に配置する必要があります。これは、追加のトレーニングなしでLLMにいくつかの新しい推論能力をもたらすインコンテキスト学習がすでに可能にしている方法といくぶん似ています。

この変更により、一般化と抽象化のさらなる改善が必要になっています。推論時のプロンプトを介して遭遇した未知の用語やトークンを解釈し使用する際に学習したスキーマを使用する能力を向上させる必要があります。認知科学の「スキーマ」は、「情報のカテゴリを整理し、それらの間の関係を組織する思考または行動のパターンを記述するもの」とされています。「メンタルスキーマ」は、「世界のある側面を表す枠組みであるメンタル構造として記述される」とされています。同様に、GenAIモデルでは、スキーマは未知のトークン、用語、およびデータの適切な解釈に必要な重要な抽象化メカニズムです。現在のモデルは、既存のスキーマ構築と解釈にかなりの理解を示しており、複雑な未知のプロンプトコンテキストデータ上で生成的なタスクを遂行することができます。モデルが以前に見たことのない情報を取得するとき、データに最適な一致するスキーマを特定する必要があります。これにより、モデルはコンテキストに組み込まれた明示的な情報だけでなく、スキーマに関連した知識を介して未知のデータを解釈できるようになります。この議論では、推論時に知識グラフに表された明示的なスキーマに依存する解決策のクラスではなく、新興能力としてスキーマを学習し抽象化するニューラルネットワークモデルに言及しています。

3つのモデルの能力（認知力、機能的なスキル、情報アクセス）の観点から見ると、抽象化とスキーマの使用は主に認知力のカテゴリに属します。特に、小さなモデルは、適切な取得データがあれば、より大きなモデルと同等のパフォーマンスを発揮できるはずです。このため、モデルにスキーマに関連するカリキュラムベースの事前トレーニングが認知能力を向上させることが期待されます。これには、モデルがさまざまなスキーマを構築し、生成プロセスに基づいて使用する適切なスキーマを特定し、スキーマ構築に関連する情報を挿入/利用して最良の結果を作成する能力が含まれます。

たとえば、研究者は、現在のLLMがHtT（Hypotheses-to-Theories）フレームワークを使用して基本的なスキーマを学習できることを示しました。研究者は、GPT-4によって発見された規則が、数値および関係的な推論問題を解決するためにその後に従うためのスキーマと見なすことができます。GPT-4によって発見された規則は、家族関係を理解するための詳細なスキーマと見なすことができます（図4を参照）。将来の家族関係のスキーマはさらに簡潔で強力になる可能性があります。

これを単純なビジネスケースに適用すると、GenAIモデルは、会社のサプライチェーンの構造を理解するためのスキーマを使用できます。例えば、「BはAのサプライヤーであり、CはBのサプライヤーである」ということを知っている場合、「CはAの第2層サプライヤーである」という事実は、潜在的なサプライチェーンのリスクを分析する際に重要になります。

より複雑な場合、例えばGenAIモデルに患者の診察記録のバリエーションやニュアンスを教える場合、事前トレーニングや微調整中に確立される新興のスキーマは、レポートの生成やヘルスケアチームの質問と回答のサポートのために検索情報を理解するための構造を提供するでしょう。スキーマは、予約だけでなく、テストや手順などの他の複雑な要素も含む患者ケアのケースにおいて、モデル内に現れるかもしれません。GenAIモデルが全ての例に触れることで、推論時に提供される部分的な患者データを解釈するための専門知識を獲得するはずです。モデルのプロセス、関係、およびバリエーションの理解により、モデルはプロンプトにプロセス情報を必要とせずに以前に見たことのない患者のケースを適切に解釈できるようになります。逆に、事前トレーニングや微調整中に触れた特定の患者情報を覚えようとしてはいけません。それは患者情報が絶えず変わるため、逆効果です。モデルは具体的なケースではなく構築物を学ぶ必要があります。このような設定により、潜在的なプライバシーの問題も最小限に抑えられます。

要約

GenAIがすべての業界のビジネスで大規模に展開されるにつれて、高品質の独自情報に依存し、追跡性と検証性の要件が求められる傾向があります。これらの重要な要件に加えて、コスト効率と焦点を絞った応用の圧力も、事前トレーニングプロセス中にほとんど見られないローカルデータを解釈するために設計された小規模な小型GenAIモデルの必要性を推進しています。検索中心のシステムでは、構築と適切なスキーマの特定など、ディープラーニングGenAIモデルが習得できる認知能力を向上させる必要があります。RCGを使用し、事前トレーニングおよび微調整プロセスをガイドして認知的構築物を反映する一般化と抽象化を作り出すことで、GenAIはスキーマを理解し、検索からの未知のデータを意味する能力を飛躍的に向上させることができます。洗練された抽象化（スキーマベースの推論）と高度に効率的な認知能力は、次のフロンティアのように思われます。

さらに詳しく知る: GenAIシリーズ

最も適応性のある: コンパクトな生成型AIモデルは、経済的な大規模AIにおける将来です

参考文献

1. Gillis, A. S.（2023年10月5日）。retrieval-augmented generation. Enterprise AI. https://www.techtarget.com/searchenterpriseai/definition/retrieval-augmented-generation
2. Singer, G.（2023年7月28日）。Survival of the fittest: Compact generative AI models are the future for Cost-Effective AI at scale. VoAGI. https://towardsdatascience.com/survival-of-the-fittest-compact-generative-ai-models-are-the-future-for-cost-effective-ai-at-scale-6bbdc138f618
3. DevDayで発表された新しいモデルと開発者製品。 (n.d.). https://openai.com/blog/new-models-and-developer-products-announced-at-devday
4. Meta AI. (n.d.). Llama 2を紹介します。 https://ai.meta.com/llama/
5. Lewis, P.（2020年5月22日）。知識集約型NLPタスクのための検索増強型生成。arXiv.org. https://arxiv.org/abs/2005.11401
6. LangChain. (n.d.). https://www.langchain.com
7. Haystack. (n.d.). Haystack. https://haystack.deepset.ai/
8. Guu, K.（2020年2月10日）。REALM：リトリーバル増強言語モデルの事前学習。arXiv.org. https://arxiv.org/abs/2002.08909
9. Intel Labs. (n.d.). GitHub — Intel Labs/FastRAG：高効率なリトリーバル増強生成フレームワーク。GitHub. https://github.com/IntelLabs/fastRAG
10. Fleischer, D.（2023年8月20日）。FastRAGにおける密なリトリーバルを使用したオープンドメインQ&A — Daniel Fleischer — VoAGI. https://medium.com/@daniel.fleischer/open-domain-q-a-using-dense-retrievers-in-fastrag-65f60e7e9d1e
11. Lin, X. V.（2023年10月2日）。RA-DIT：リトリーバル増強型デュアルインストラクションチューニング。arXiv.org. https://arxiv.org/abs/2310.01352
12. Ng, Y.（2023年8月8日）。SimplyRetrieve：プライベートで軽量なリトリーバル重視の生成型AIツール。arXiv.org. https://arxiv.org/abs/2308.03983
13. Wikipediaの寄稿者。（2023年9月27日）。スキーマ（心理学）。ウィキペディア。 https://en.wikipedia.org/wiki/Schema_(psychology)
14. Wikipediaの寄稿者。（2023a年8月31日）。メンタルモデル。ウィキペディア。 <a class=”uri” href=”https://www.voagi.com/llama-2-wikipedia-k

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!