ドメイン固有アプリケーションのためのLLM細かい調整戦略

『ドメイン固有アプリケーションのLLM細かな調整戦略』

大規模言語モデル（Large Language Models、LLMs）は、人間の言語を理解し、人間のような応答を生成するために開発された高度な人工知能（AI）モデルです。これらは大量のテキストデータセットでトレーニングされ、トランスフォーマーモデルと呼ばれるニューラルネットワークの一種で構築されています。これらはチャットボットやバーチャルアシスタント、コンテンツ生成、要約、翻訳、コード生成などに使用されます。

LLMsの注目すべき特徴の1つは、微調整が可能であるということです。これらはさらにトレーニングされ、全体的なパフォーマンスを向上させ、新しい特殊なドメインに適応できるようにすることができます。これにより、その適応性と多目的性が示されます。

LLMの微調整とは何ですか？

大規模言語モデル（LLMs）は、さまざまなドメインの膨大なデータに基づいてトレーニングされた強力なAIモデルです。これらの事前トレーニング済みモデルは一般的なシナリオで良いパフォーマンスを発揮することができますが、特定のタスクやドメインに完璧に適しているわけではありません。微調整は、LLMを特定のドメインやタスクに適応させるための手法です。

ChatGPTは、ユーザーのクエリを理解し応答することができる汎用言語モデルとして考えてみましょう。ただし、Webサイトのアシスタントとして適用した場合、ChatGPTはウェブサイトの固有のコンテキストと要件のために常に関連性のある正確な回答を提供するわけではありません。ここで微調整が重要な役割を果たします。

• 「Amazon SageMaker Pipelines、GitHub、およびGitHub Actionsを使用して、エンドツーエンドのMLOpsパイプラインを構築する」
• 「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」
• マイクロソフトAIがLLMLinguaを発表：大型言語モデル（LLM）の高速推論のためのユニークなクイック圧縮テクニックでプロンプトを圧縮

微調整には、特定のドメインやタスクに特化したデータセットでLLMをトレーニングするという手順が含まれます。このデータセットには、望ましい応答の例が含まれており、LLMは特定のアプリケーションのニュアンスや期待を学ぶことができます。生成された出力をラベル付きの例と比較することで、LLMはパラメータを調整し、文脈に即した関連性のある正確な応答を生成する能力を徐々に洗練させます。

微調整プロセスは通常、次のステップで構成されます:

1. データの選択または生成: ドメインやタスクに特化したデータセットが選択または生成されます。このデータセットには、ユーザーのクエリの正しい回答やテキストのよくまとまった要約など、望ましい応答の例が含まれている必要があります。

2. データの分割: データセットはトレーニングセットとテストセットに分割されます。

3. モデルのトレーニング: トレーニングセットがLLMに入力され、モデルは現在の言語理解に基づいて出力を生成します。これらの出力は、対応するラベル付きの例と比較して差異またはエラーを計算するために使用されます。

4. パラメータの調整: LLMは計算されたエラーを使用して、内部の接続に関連するパラメータと重みを調整します。この調整プロセスは複数回の反復を経て行われ、LLMは徐々にドメイン固有のデータ内のパターンと関係性を学ぶことができます。

5. パフォーマンスの評価: 微調整されたLLMはテストセットで評価され、特定のドメインやタスクの扱いにおける改善度を評価します。

微調整は、LLMsのパフォーマンスと応用範囲を向上させるための重要な手法です。これらの強力なモデルを特定のドメインやタスクに適応させることで、そのフルポテンシャルを引き出し、さまざまな産業に革新をもたらすことができます。

ドメイン固有アプリケーションの微調整戦略

ドメイン固有アプリケーションのためのさまざまなLLM微調整戦略があります。いくつかの人気のある手法について詳しく説明します:

プロンプトエンジニアリング

プロンプトエンジニアリングの微調整戦略は、モデルのコンテキストウィンドウと緻密に作成されたプロンプトを使用して、モデルが望ましい出力を生成するように誘導します。この手法は、モデルの言語理解能力と推論能力を利用して、内部アーキテクチャを修正することなくタスク固有の出力を生成します。

ワンショット学習またはフューショット学習は、モデルが学習するためのプロンプトとともに例を提供するために使用できます。その後、モデルはこのデータに基づいて新しいプロンプトに対する出力を生成します。

これは非常に効率的で柔軟な微調整方法ですが、例を追加するには相当量のストレージが必要であり、したがって、小規模なモデルには適していない場合もあります。

フル微調整

フル微調整は、その名のとおり、基本モデルのすべてのパラメータをトレーニングして特定のタスクに適応させることを必要とします。その結果として得られるモデルは、パフォーマンスに優れた高度にカスタマイズされたものです。

この微調整手法は、リソースと計算のコストがかかるため、あまり使用されません。そのため、より少ないコストで同じような結果を得るために、他のモデルを使用して一部のパラメータをトレーニングすることができます。

インストラクションまたは監督されたファインチューニング

LLMモデルをファインチューニングする戦略の1つは、監督されたファインチューニングです。これは、プロンプトの例とそのプロンプトに対する応答を使用して機械学習モデルをトレーニングすることを含みます。これは、モデルに詳細な指示を与えることを目的としています。コンテキストウィンドウ内の範囲内ではなく、モデルに対して詳細な指示を与えます。

モデルが新しい情報を学習するとき、重みが更新され、最小化された重みによって一部の情報が失われることがあります。この現象は、カタストロフィックな忘却として知られています。私たちは、新しいことを学ぶときに、以前に学んだ情報を最小限に抑えることを目指しています。

パラメータ効率の良いファインチューニング（PEFT）

パラメータ効率の良い調整は、モデルの事前学習パラメータを保持または「凍結」し、ごく一部のパラメータのみをファインチューニングする方法です。これにより、カタストロフィックな忘却を最小限に抑えることができます。元のLLMは保持され、タスク固有のパラメータのみが調整されます。

これは、貴重な事前学習知識を保持しながら、少ないパラメータで特定のタスクに適応し、従来のファインチューニングに関連する計算およびストレージ費用を削減することのバランスです。

PEFTのもう1つの利点は、異なるモデルに対して通常別のモデルが割り当てられるタスクを達成するために、PEFTをモデル間でスワップできることです。

低ランク適応（LoRA）

LoRAはPEFTのバリエーションであり、ネットワークの重みパラメータに別のパラメータセットが追加されます。これらは通常のパラメータよりも低次元空間であり、重み以外のパラメータは凍結されます。

LoRAは、特異値分解（SVD）を使用して高ランク行列を低ランク行列に変換します。LoRAアダプタはモジュラーであり、異なるモデルで別々のモジュールとして保存および使用できます。

結論

LLMのファインチューニングは、大量のデータでモデルを事前トレーニングし、ドメイン固有の学習のためにモデルをファインチューニングする2段階のプロセスです。

プロンプトエンジニアリングは、モデルのコンテキストウィンドウを使用してプロンプトを生成し、目的の出力を生成する方法です。監督またはインストラクションのファインチューニングは、モデルに詳細な指示を与えるという点でプロンプトエンジニアリングに似ています。

フルファインチューニングはすべてのパラメータをトレーニングし、コストのかかる高度にカスタマイズされたモデルを結果とします。PEFTは事前学習されたパラメータを保持し、パラメータのごく一部のみを調整することにより、カタストロフィックな忘却のリスクを減らします。LoRAはPEFTのバリエーションであり、ネットワークの重みに追加のパラメータを追加することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!