将来のアプリケーションを支える大規模言語モデル（LLM）の力

大規模な言語モデル（LLM）は将来のアプリケーションを支える力を持っています

生成AI、特にその言語フレーバーであるChatGPTはどこにでもあります。大規模言語モデル（LLM）の技術は、将来のアプリケーションの開発において重要な役割を果たします。LLMは、数兆行のパブリックドメインテキスト（コードを含む）に対して行われた包括的な事前トレーニングのおかげで、言語理解に非常に優れています。教師あり微調整や人間のフィードバックによる強化学習などの手法により、これらのLLMは特定の質問に対してより効率的に回答したり、ユーザーと対話したりすることができます。LLMによって動力付けられたAIアプリの次のフェーズに入る際には、以下のキーコンポーネントがこれらの次世代アプリケーションにとって重要となります。以下の図はこの進行を示しており、上に進むにつれて、アプリケーションにより高度な知能と自律性が構築されます。さまざまなレベルを見てみましょう。

LLM calls（LLM呼び出し）：

これらは、Azure OpenAIやGoogle PaLM、Amazon BedrockのようなLLMプロバイダによる、完了またはチャットモデルへの直接的な呼び出しです。これらの呼び出しは非常に基本的なプロンプトを持ち、ほとんどはLLMの内部メモリを使用して出力を生成します。

例：「text-davinci」という基本モデルに「ジョークを教えて」という質問をする。非常に少ない文脈を与え、モデルは内部の事前トレーニングされたメモリに頼って回答を考え出します（以下の図で緑でハイライト表示されているものを使用してAzure OpenAIを使用）。

• AIハイパーソナライゼーションとは何ですか？利点、事例、倫理的懸念
• MPT-30B：モザイクMLは新しいLLMを使用して、NLPの限界を em>GPT-3を凌駕します
• 実験追跡ツールの構築方法[Neptuneのエンジニアの学びから]

プロンプト：

次のレベルの知能は、プロンプトにさらに多くの文脈を追加することです。LLMに適用できるプロンプトエンジニアリングの技術があります。たとえば、ユーザーにメールを生成する際に、ユーザーに関するいくつかの文脈、過去の購入履歴や行動パターンをプロンプトとして使用することで、メールをよりカスタマイズすることができます。ChatGPTを知っているユーザーは、LLMが応答を構築するために使用する例を与えるなど、さまざまなプロンプトの方法を知っています。プロンプトは、LLMの内部メモリに追加の文脈を提供します。以下に例を示します。

埋め込み：

埋め込みは、プロンプトを次のレベルに引き上げるために、知識ストアを検索して文脈を取得し、それをプロンプトに追加することです。まず、テキストのインデックス化とベクトルデータベースのポピュレーションによって、非構造化テキストを検索可能な大規模なドキュメントストアを作成します。そのために、OpenAIの「ada」のような埋め込みモデルを使用します。このモデルは、テキストの一部をn次元ベクトルに変換します。これらの埋め込みは、テキストの文脈を捉えるため、類似の文がベクトル空間内で近くにある埋め込みを持ちます。ユーザーがクエリを入力すると、そのクエリも埋め込みに変換され、そのベクトルがデータベース内のベクトルと照合されます。したがって、クエリに対して上位5つまたは10個の一致するテキストチャンクを取得し、それらが文脈を形成します。クエリと文脈は、LLMに人間のような方法で質問に答えるために渡されます。

チェーン：

今日のチェーンは、LLMアプリケーションを構築するために広く使用されている最も高度で成熟した技術です。チェーンは、1つのLLMの出力が次のLLMの入力に流れるように連結されるLLM呼び出しのシーケンスです。たとえば、SQLデータベースにクエリを送信し、顧客のメールアドレスのリストを取得し、そのリストを顧客に対して個別化されたメールを生成する別のLLMに送信する、といった具体的な例があります。これらのLLMチェーンは、より価値のある結果を生成するために既存のアプリケーションフローに統合することができます。チェーンを使用すると、API呼び出しやナレッジグラフとの統合など、外部入力をLLM呼び出しに追加することができます。さらに、OpenAI、AWS Bedrock、Google PaLM、MosaicMLなど、複数のLLMプロバイダが利用できるため、LLM呼び出しをチェーンに組み合わせることができます。低い知能を持つチェーン要素には「gpt3.5-turbo」のような低いLLMを使用し、より高度なタスクには「gpt4」を使用することができます。チェーンは、データ、アプリケーション、LLM呼び出しの抽象化を提供します。

エージェント：

エージェントは、人工一般知能（AGI）であることに関してオンラインで多くの議論の的となっています。エージェントは、予め定義されたチェーンではなく、高度なLLM（「gpt4」や「PaLM2」など）を使用してタスクを計画します。したがって、ユーザーのリクエストがある場合、エージェントはクエリに基づいてどのタスクセットを呼び出し、動的にチェーンを構築します。たとえば、「政府の規制の更新によりローンのAPRが変更された場合に顧客に通知する」というコマンドでエージェントを設定すると、エージェントフレームワークはLLM呼び出しを行い、取るべき手順や構築すべきチェーンを決定します。ここでは、規制ウェブサイトをスクレイピングし、最新のAPRレートを抽出するアプリを呼び出し、次にLLM呼び出しがデータベースを検索し、影響を受ける顧客のメールアドレスを抽出し、最後に通知用のメールが生成されるといった手順が含まれます。

最終的な考え

LLMは非常に進化している技術であり、毎週優れたモデルやアプリケーションが発表されています。LLMはエージェントへの知能の階段であり、上に進むにつれて、複雑な自律型アプリケーションを構築します。より優れたモデルはより効果的なエージェントを意味し、次世代のアプリケーションはこれらによって動力を得るでしょう。時間が進むにつれて、次世代のアプリケーションがどれほど高度になり、どのようなパターンによって動力を得るのかがわかるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!