取りましょう NVIDIA NeMo SteerLMは、推論中にモデルの応答をカスタマイズすることができるようにします

NVIDIA NeMo SteerLMでモデルの応答を推論中にカスタマイズしましょう

開発者は、強力な大規模な言語モデル（LLMs）を自分たちの目的地に到達する際に、AIパワードステアリングホイールを利用して道路にしっかりと踏み入れることができます。

NVIDIA NeMo SteerLMは、会社がモデルの応答をプロダクション中にダイアルインするためにノブを定義することができるようにし、それを推論と呼ばれるプロセスとして実行できるようにします。LLMをカスタマイズするための現在の手法とは異なり、単一のトレーニングランは、何十も、または何百ものユースケースに対応できるモデルを作成し、時間とお金を節約することができます。

NVIDIAの研究者は、SteerLMを作成し、AIモデルにユーザーが関心を持つ内容、たとえば特定のユースケースや市場での従うべき道路標識やユーザー定義の属性を教えるために使用しました。これらの属性はほぼ何でも評価できます-例えば、モデルの応答の有用さやユーモアの程度などです。

1つのモデル、多岐にわたる用途

その結果、新たな柔軟性が生まれました。

• バイトダンスとキング・アブドゥッラー科学技術大学のAI研究者が、静止したポートレート写真の髪の毛を揺らすための新しいフレームワークを発表します
• スタンフォード大学の研究者たちは、MLAgentBenchを提案しました：AI研究エージェントのベンチマーキングのためのマシンラーニングタスクのスイート
• 「UCSDとByteDanceの研究者が、アクターズネルフ（ActorsNeRF）を発表：未知の俳優にも対応するアニメータブルな人間アクターネルフモデルで、フューショット設定の環境に汎化する」という意味です

SteerLMを使用すると、ユーザーは望む属性をすべて定義し、それらを1つのモデルに組み込むことができます。そして、モデルが実行されている間に、特定のユースケースに必要な組み合わせを選択することができます。

例えば、特定の会計、販売、またはエンジニアリング部門、または特定の市場の固有のニーズに合わせてカスタムモデルを調整することができます。

この方法は、継続的な改善サイクルも可能にします。カスタムモデルの応答は、将来のトレーニングランのデータとして使用でき、モデルをより有用なレベルに調整する際に役立ちます。

時間とお金の節約

これまで、特定のアプリケーションのニーズに合わせた生成型AIモデルの適合は、エンジンのトランスミッションを再構築するのと同等でした。開発者は、データセットに労力をかけてラベルを付け、たくさんの新しいコードを書き、ニューラルネットワークのパラメータを調整し、モデルを何度も再トレーニングする必要がありました。

SteerLMは、このような複雑で時間のかかるプロセスを次の3つの簡単なステップに置き換えます：

• 基本的なプロンプト、応答、および目的の属性を使用して、これらの属性のパフォーマンスを予測するAIモデルをカスタマイズする。
• このモデルを使用してデータセットを自動生成する。
• 標準の監督付き微調整技術を使用してデータセットでモデルをトレーニングする。

多岐にわたる企業のユースケース

開発者は、SteerLMをテキスト生成を必要とするほとんどの企業のユースケースに適応させることができます。

SteerLMを使用することで、会社はリアルタイムに顧客の態度、人口統計情報、または状況に合わせて調整できる単一のチャットボットを作成することができます。さまざまな市場や地域で提供される顧客に合わせた独自の新しい体験を提供するためのツールとして、SteerLMはすぐれています。

SteerLMはまた、1つのLLMが企業全体の柔軟な執筆補助として機能することも可能にします。

例えば、法律関係者は、法的なコミュニケーションに対して公式なスタイルを採用するために、推論の間にモデルを変更することができます。また、マーケティングスタッフは、対象とする観客に対してより会話的なスタイルを選択することができます。

SteerLMでゲームをエンジョイ

SteerLMの潜在能力を示すために、NVIDIAはそのクラシックアプリケーションの1つ、ゲームにおいてデモンストレーションを行いました(下記の映像をご覧ください)。

現在、いくつかのゲームには、プレーヤーが制御できないキャラクター、つまりユーザーや状況に関係なく機械的に事前録音されたテキストを繰り返す非プレイアブルキャラクターが数多く存在します。

SteerLMを使用することで、これらのキャラクターはより個性的で感情的にプレーヤーのプロンプトに応えるようになります。これは、ゲーム開発者がすべてのプレーヤーに対してユニークな新しい体験を提供するために使用できるツールです。

SteerLMの誕生

新しい手法の概念は予想外にやってきました。

“ある朝早くにこのアイデアが浮かび、飛び起きてそれをメモに書きました”、NVIDIAの応用研究科学者であるYi DongはSteerLMの開発を開始したことを思い出します。

プロトタイプを作成している間に、彼は人気のあるモデル調整の手法がメソッドの一部になることに気づきました。すべての要素が一緒になり、彼の実験が成功した後、チームはこの手法を4つの簡単なステップで説明するのに役立ちました。

これは、AI研究の中でも注目されているモデルのカスタマイズの最新の進化です。

「これは挑戦のある分野であり、人間の視点により近いAIを実現するための一種の聖杯です-そして、新しい挑戦が大好きです」と、この研究者は語りました。彼はジョンズ・ホプキンズ大学で計算神経科学の博士号を取得し、金融機関で機械学習アルゴリズムに取り組んだ後、NVIDIAに参加しました。

ハンズ・オン・ザ・ホイールを手に入れましょう

SteerLMは、開発者が今日試すことができるオープンソースのソフトウェアとして利用可能です。彼らはまた、SteerLMの方法を使用してカスタマイズされたLlama-2-13bモデルでの実験の詳細 details を得ることもできます。

フルのエンタープライズセキュリティとサポートを望むユーザー向けに、SteerLMは NVIDIA NeMo に統合されます。NVIDIA NeMoは、大規模な生成AIモデルを構築、カスタマイズ、展開するための豊富なフレームワークです。

SteerLMメソッドは、Llama-2やBLOOMなど、NeMoでサポートされているすべてのモデルに対応しています。

SteerLMについて詳しく知るためには、技術ブログをお読みください。

ソフトウェア製品情報に関する notice をご覧ください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!