NVIDIA AIがSteerLMを発表：大規模言語モデル（LLMs）の推論中にユーザーが応答をカスタマイズできる新たな人工知能（AI）メソッド

NVIDIA AIがSteerLMを発表：LLMの推論時にユーザーが応答をカスタマイズできる新たなAIメソッド

人工知能の絶えず進化する風景の中で、開発者やユーザーの双方を悩ませる課題があります: 大規模言語モデルからよりカスタマイズされたニュアンス豊かな応答が求められる需要です。Llama 2などのこれらのモデルは、人間のようなテキストを生成できますが、個々のユーザーの固有の要求に対応するために本当に柔軟な回答が必要です。現在のアプローチである教師あり fine-tuning（SFT）や人間のフィードバックからの強化学習（RLHF）には限界があり、機械的で複雑な回答につながる可能性があります。

NVIDIA Researchは、これらの課題に対応する画期的な手法であるSteerLMを発表しました。SteerLMは、大規模言語モデルの応答をカスタマイズする革新的かつユーザーセントリックなアプローチを提供し、ユーザーがモデルの振る舞いを指針とする主要属性を定義することにより、より多くの制御を提供します。

SteerLMは、大規模言語モデルのカスタマイズを簡素化する4段階の教師あり fine-tuningプロセスを介して動作します。まず、人間によって注釈付けされたデータセットを使用してAttribute Prediction Modelをトレーニングし、有用性、ユーモア、創造性などの品質を評価します。次に、このモデルを使用してさまざまなデータセットに注釈を付け、言語モデルがアクセスできるデータのバラエティを向上させます。その後、SteerLMは属性条件付きの教師あり fine-tuningを使用して、指定された属性（品質など）に基づいて応答を生成するようにモデルをトレーニングします。最後に、ブートストラップトレーニングを通じてモデルを洗練し、多様な応答を生成し、最適な合わせに向けて微調整します。

• 「Decafと出会う：顔と手のインタラクションのための革新的な人工知能単眼変形キャプチャフレームワーク」
• 「MindGPTとは、fMRI信号から察知された視覚刺激を自然言語に解釈する非侵襲的な神経デコーダーです」
• 「PIXART-αに会ってください：画像生成の品質が最先端の画像生成器と競争するTransformerベースのT2I拡散モデル」

SteerLMの素晴らしい機能の一つは、リアルタイムの調整可能性です。これにより、ユーザーは推論中に属性を微調整し、その場で特定のニーズに合わせることができます。この驚くべき柔軟性により、ゲーミングや教育、アクセシビリティなど、さまざまな潜在的な応用が可能となります。SteerLMにより、企業は1つのモデルから個別のアプリケーションごとにモデルを再構築する必要なく、複数のチームに対してパーソナライズされた機能を提供することができます。

SteerLMのシンプルさとユーザーフレンドリーさは、メトリクスとパフォーマンスにも明らかです。実験では、SteerLM 43BがChatGPT-3.5やLlama 30B RLHFなどの既存のRLHFモデルを凌駕し、Vicunaベンチマークで優れた結果を示しました。インフラやコードの最小限の変更で簡単な fine-tuningプロセスを提供することで、SteerLMは手間をかけずに優れた結果を提供し、AIカスタマイズの分野での重要な進展となっています。

NVIDIAは、SteerLMをNVIDIA NeMoフレームワーク内のオープンソースソフトウェアとして公開することで、高度なカスタマイズを民主化する大きな一歩を踏み出しています。開発者は、コードにアクセスしてこの技術を試す機会を得ることができます。Hugging Faceなどのプラットフォームで利用できるカスタマイズされた13B Llama 2モデルに関しても、詳細な手順が提供されています。

大規模言語モデルが進化し続ける中で、SteerLMのようなソリューションの必要性はますます重要となります。SteerLMを使用することで、よりカスタマイズ可能で適応性のあるAIシステムを提供し、ユーザーの価値観と一致した本当に助けになるAIを実現する方向に、AIコミュニティは大きな一歩を踏み出します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!