将来のアプリケーションを支える大規模言語モデル(LLM)の力

大規模な言語モデル(LLM)は将来のアプリケーションを支える力を持っています

生成AI、特にその言語フレーバーであるChatGPTはどこにでもあります。大規模言語モデル(LLM)の技術は、将来のアプリケーションの開発において重要な役割を果たします。LLMは、数兆行のパブリックドメインテキスト(コードを含む)に対して行われた包括的な事前トレーニングのおかげで、言語理解に非常に優れています。教師あり微調整や人間のフィードバックによる強化学習などの手法により、これらのLLMは特定の質問に対してより効率的に回答したり、ユーザーと対話したりすることができます。LLMによって動力付けられたAIアプリの次のフェーズに入る際には、以下のキーコンポーネントがこれらの次世代アプリケーションにとって重要となります。以下の図はこの進行を示しており、上に進むにつれて、アプリケーションにより高度な知能と自律性が構築されます。さまざまなレベルを見てみましょう。

LLM calls(LLM呼び出し)

これらは、Azure OpenAIやGoogle PaLM、Amazon BedrockのようなLLMプロバイダによる、完了またはチャットモデルへの直接的な呼び出しです。これらの呼び出しは非常に基本的なプロンプトを持ち、ほとんどはLLMの内部メモリを使用して出力を生成します。

例:「text-davinci」という基本モデルに「ジョークを教えて」という質問をする。非常に少ない文脈を与え、モデルは内部の事前トレーニングされたメモリに頼って回答を考え出します(以下の図で緑でハイライト表示されているものを使用してAzure OpenAIを使用)。

プロンプト:

次のレベルの知能は、プロンプトにさらに多くの文脈を追加することです。LLMに適用できるプロンプトエンジニアリングの技術があります。たとえば、ユーザーにメールを生成する際に、ユーザーに関するいくつかの文脈、過去の購入履歴や行動パターンをプロンプトとして使用することで、メールをよりカスタマイズすることができます。ChatGPTを知っているユーザーは、LLMが応答を構築するために使用する例を与えるなど、さまざまなプロンプトの方法を知っています。プロンプトは、LLMの内部メモリに追加の文脈を提供します。以下に例を示します。

埋め込み:

埋め込みは、プロンプトを次のレベルに引き上げるために、知識ストアを検索して文脈を取得し、それをプロンプトに追加することです。まず、テキストのインデックス化とベクトルデータベースのポピュレーションによって、非構造化テキストを検索可能な大規模なドキュメントストアを作成します。そのために、OpenAIの「ada」のような埋め込みモデルを使用します。このモデルは、テキストの一部をn次元ベクトルに変換します。これらの埋め込みは、テキストの文脈を捉えるため、類似の文がベクトル空間内で近くにある埋め込みを持ちます。ユーザーがクエリを入力すると、そのクエリも埋め込みに変換され、そのベクトルがデータベース内のベクトルと照合されます。したがって、クエリに対して上位5つまたは10個の一致するテキストチャンクを取得し、それらが文脈を形成します。クエリと文脈は、LLMに人間のような方法で質問に答えるために渡されます。

チェーン:

今日のチェーンは、LLMアプリケーションを構築するために広く使用されている最も高度で成熟した技術です。チェーンは、1つのLLMの出力が次のLLMの入力に流れるように連結されるLLM呼び出しのシーケンスです。たとえば、SQLデータベースにクエリを送信し、顧客のメールアドレスのリストを取得し、そのリストを顧客に対して個別化されたメールを生成する別のLLMに送信する、といった具体的な例があります。これらのLLMチェーンは、より価値のある結果を生成するために既存のアプリケーションフローに統合することができます。チェーンを使用すると、API呼び出しやナレッジグラフとの統合など、外部入力をLLM呼び出しに追加することができます。さらに、OpenAI、AWS Bedrock、Google PaLM、MosaicMLなど、複数のLLMプロバイダが利用できるため、LLM呼び出しをチェーンに組み合わせることができます。低い知能を持つチェーン要素には「gpt3.5-turbo」のような低いLLMを使用し、より高度なタスクには「gpt4」を使用することができます。チェーンは、データ、アプリケーション、LLM呼び出しの抽象化を提供します。

エージェント:

エージェントは、人工一般知能(AGI)であることに関してオンラインで多くの議論の的となっています。エージェントは、予め定義されたチェーンではなく、高度なLLM(「gpt4」や「PaLM2」など)を使用してタスクを計画します。したがって、ユーザーのリクエストがある場合、エージェントはクエリに基づいてどのタスクセットを呼び出し、動的にチェーンを構築します。たとえば、「政府の規制の更新によりローンのAPRが変更された場合に顧客に通知する」というコマンドでエージェントを設定すると、エージェントフレームワークはLLM呼び出しを行い、取るべき手順や構築すべきチェーンを決定します。ここでは、規制ウェブサイトをスクレイピングし、最新のAPRレートを抽出するアプリを呼び出し、次にLLM呼び出しがデータベースを検索し、影響を受ける顧客のメールアドレスを抽出し、最後に通知用のメールが生成されるといった手順が含まれます。

最終的な考え

LLMは非常に進化している技術であり、毎週優れたモデルやアプリケーションが発表されています。LLMはエージェントへの知能の階段であり、上に進むにつれて、複雑な自律型アプリケーションを構築します。より優れたモデルはより効果的なエージェントを意味し、次世代のアプリケーションはこれらによって動力を得るでしょう。時間が進むにつれて、次世代のアプリケーションがどれほど高度になり、どのようなパターンによって動力を得るのかがわかるでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「研究:社会的に意識した時間的因果関係デコーダー推薦システム」

エルタイエブ・アフメド(リサーチエンジニア)とサブラジット・ロイ(シニアリサーチサイエンティスト)によるGoogle Resear...

機械学習

なぜGPUはAIに適しているのか

GPUは人工知能の希少な地球の金属、さらには金そのものとも呼ばれています。それは、今日の生成的AI時代において基盤となる存...

人工知能

「クロードへの5つのプロンプトエンジニアリングのヒント」

多くの人々がChatGPTの代わりにClaudeを使い始めています... ここではClaudeの最大の利点を引き出す方法をご紹介します

人工知能

「ビジネスを拡大するための25のChatGPTプロンプト」

「25個のChatGPTテンプレートのプロンプトをコピーして貼り付けすることで、あなたのビジネス(および収入)を次のレベルに引...

機械学習

「PyTorchにおける複数GPUトレーニングとそれに代わる勾配蓄積」

この記事では、まず、データ並列化(DP)と分散データ並列化(DDP)アルゴリズムの違いを説明し、次に勾配蓄積(GA)が何であ...

機械学習

科学者たちは、AIと迅速な応答EEGを用いて、せん妄の検出を改善しました

うつ病を検出することは容易ではありませんが、それには大きな報酬があります。患者に必要な治療を迅速かつ確実に行うことで...