混沌な文脈で、思考の糸口と並行の知識グラフの検索によって、構造化された推論を達成するLLMs

「美容とファッションの領域における知識の追求と探求：LLMを用いた構造化された推論の達成」

大型言語モデル（LLM）は、わずかな例だけで新しいタスクに迅速に適応する印象的なfew-shot学習能力を示しました。

RAG（Retrieval Augmented Generation）がLLMを使用したシステム設計の基盤になる理由

GPT-3 [1]などの大型言語モデル（LLM）の最近の進展は、強力なfew-shot学習能力を示しました

ai.plainenglish.io

しかし、進展にもかかわらず、LLMはまだ事実の乱雑な文脈での複雑な推論に制約を抱えています。この課題に対処するため、研究者はモデルが情報を段階的に分析するための手法である思考の連鎖を促す手法などを探求してきました。しかし、これらの手法だけでは、広範な文脈での重要な詳細を完全に把握するのは困難です。

• (ローマ字：Rokkagetsu de detā anarisuto no shigoto o te ni ireta hōhō)
• 物理の知識を持つニューラルネットワークのエキスパートGPTを構築する
• 化学エンティティ認識の自動化：ChemNERモデルの作成

本記事では、並列で複数の知識グラフにアクセスするRetrieval Augmented Generation（RAG）フレームワークと思考の連鎖（ToT）プロンプティングを組み合わせた手法を提案します。ToTは思考を構造化する推論の「骨格」として機能し、RAGシステムは存在する知識のギャップを埋めるために利用可能な知識を広げます。多様な情報源への並列クエリングは、順次の検索に比べて効率とカバレッジが向上します。このフレームワークは、混沌とした文脈でのLLMの理解力と問題解決能力を向上させることを目指しています。

まず、関連性のある情報と無関係な事実が混在する混沌な環境での構造化推論の必要性について説明します。次に、RAGシステムの設計とLLMのアクセス可能な知識の拡大方法を紹介します。そして、ToTプロンプティングを組み込んでLLMを段階的にガイドする手法について説明します。最後に、複数の知識源を効率的に並列にクエリするための並列検索などの最適化戦略について議論します。

この記事では、概念的な説明とPythonコードのサンプルを通じて、LLMの強みと補完的な外部知識を組み合わせて組織化する新しい技術を詳しく説明します。このような創造的な統合は、固有のモデルの制約を克服し、AIの推論能力を向上させる有望な方向を示しています。提案された手法は、LLMと知識ベースの進化に合わせて更なる向上が可能な汎用的なフレームワークを提供することを目指しています。

必要性

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!