「Huggingface 🤗を使用したLLMsのためのRLHFトレーニングパイプライン」

「美容とファッションの専門家が活用するRLHFトレーニングパイプライン」

Pythonハンズオンガイドを使って、独自のドメイン固有のLLMを開発する方法を学びましょう

著者

このブログ記事はMarcello PolitiとVijayasri Iyerによって書かれました。

はじめに

現在、誰もが生成型AIと大規模言語モデルについて話しています。ChatGPTやGrokなどのモデルは、今では一般的なネームとなり、多くの人がこれらのテクノロジーに基づいたソリューションを採用してビジネスを改善したいと望んでいます。

しかしながら、これらのモデルの言語能力は素晴らしいものの、まだ完全ではありません。未解決の大きな問題がたくさんあります。

LLM（大規模言語モデル）は、全ての機械学習/ディープラーニングモデルと同様に、データから学習します。したがって、ゴミ入れゴミ出しの法則を回避することはできません。つまり、低品質のデータでモデルを訓練すると、推論時の出力の品質も同じく低くなります。

• In this article, we will explore the fascinating world of NOIR, Stanford University’s mind-controlled AI robot.
• 「ChatGPT for Parents — 生産性を高めるために必要なプロンプト」
• 「物理的な制約が脳のようなAIの進化を促す」

このことが、LLMとの会話中に偏見や先入観のある回答が発生する主な理由です。

しかし、モデルのレスポンスが正確かつ一貫性があり、開発者とユーザーの観点から安全で倫理的かつ望ましいものとなるように、モデルの調整を保証するためのテクニックがあります。最も一般的に使用されるテクニックは、強化学習を使用することです

人間のフィードバックを用いた強化学習

人間のフィードバックを用いた強化学習（RLHF）は、最近注目を集め、特に大規模言語モデル（LLM）のNLP領域でRL技術の新しい革命を始めました。このブログでは、Huggingfaceライブラリを使ったLLMの完全なRLHFトレーニングパイプラインを学びます。

RLHFパイプラインは3つのフェーズで構成されます：

• ドメイン固有の事前トレーニング：Causalを使用して生のテキストに対して事前トレーニングされたLLMを微調整する…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!