LLMOps – MLOpsの次のフロンティア

「LLMOps – MLOpsの次のフロンティアを探る」

最近、IguazioのマーケティングVPであるSahar Dolev-Blitentalさんが、LLMOpsとMLOpsの次のフロンティアについてのライトニングインタビューに参加しました。約1時間にわたって、SahaさんはLLMOpsの定義からユースケースやベストプラクティスまで、この新興分野について多くの要素を議論しました。インタビューからのキーポイントを読み続けるか、こちらで完全なビデオをご覧いただくこともできます。

LLMOpsとは何ですか？

「[生成AI]の急速な進展と、みんながそれについて話しているという事実は、MLOpsとLLMOpsを今まで以上に重要にしています。」

大規模言語モデルは、さまざまな課題と複雑さを持っています。Saharさんによれば、LLMのスケールにはより多くのGPUが必要で、異なるリスクがあります。また、LLMにはより効率的にするための強い焦点があり、必要なリソースの量の増加を相殺します。それにもかかわらず、Saharさんは説明しますが、MLOpsとLLMOpsの基礎は同じです。異なるのは、モデルがライフサイクルを通じて展開される際のスケールです。

• 「カスタマイズされたLLMパワードAIアシスタントで研究を強化する」
• イノベーションと持続可能性のバランス：ジェネラティブAIの環境への影響を解明する
• 「Numexprを使用して多次元Numpy配列操作を最適化する方法」

LLMOpsの利用事例

「現在のアプリケーションのうち、Gen AIは2%に過ぎません。確かに90%の会話はGen AIについてですが、実際にはアプリケーションのうち約2%がGen AIによって駆動されています。だからまだ非常に早い段階だと思います…」

この分野はまだ幼稚な段階ですが、LLMOpsは生成AIアプリケーションを本番環境に導入するために使用されています。インタビューでは、Saharさんが2つの使用事例を探求しました: 専門分野のエキスパートとコールセンターの分析です。

専門分野のエキスパートは、ヘルスケアや小売業の分野でよく雇われ、指定されたトピックについてのエキスパートなチャットボットの形を取ります。たとえば、顧客が直接サポートを受けるためにウェブサイトに埋め込まれていることもあります。また、カスタマーサクセスチームのサポート役として使われることもあります。

コールセンターの分析では、これらのアプリケーションはセンチメント分析に使用され、話題の掘り下げやサポートが必要な従業員の特定に役立ちます。これらのケースでは、これらのアプリケーションは従業員がより良い仕事をするのを助け、満足度を向上させるために使用されています。

ベストプラクティス

「一番のヒントは、独自のLLMを作る必要はないということです。」

最後に取り上げる話題は、LLMsを導入することを検討している小規模組織やモデルの偏りを最小限にするためのベストプラクティスです。

コストの問題を抱える小規模組織に対しては、Saharさんはゼロから独自のLLMを作る代わりに既存のLLMを調査することをおすすめします。これにより、トレーニングのコストを削減することができます。また、LLMのユースケースの範囲を非常に狭く保つことも提案しています。これにより、LLMが価値を生み出さない作業にリソースを浪費するのを防ぎます。

偏見を避けるために、Sarahさんは非常に重要な2つのポイントを強調しています。まず、データの準備が不可欠です。データに偏りがあると、出力も偏ります。バイアスのないデータセットを作るためのいくつかの方法があります:

• さまざまな背景を持つ多様なチームを構築する
• 最初から多様なデータセットを提供する
• バイアスが見つかった場合には定期的にモニタリングし、再訓練をすることを約束する

結論

LLMsとLLMOpsについてさらに詳しく知りたい場合は、10月30日から11月2日までのODSC Westに参加してみてください。NLPとLLMsに特化した完全なトラックがあるので、この速く進化する分野に焦点を当てたトーク、セッション、イベントなどを楽しむことができます。

確認されたLLMセッションには、以下が含まれます:

• フィーチャーストアを使用したLLMの個別化
• 大規模言語モデルの評価技術
• オープンソースツールとLLMsを使用したエキスパート質問/回答ボットの構築
• 大規模モデルのランドスケープの理解
• ジョイントシステム最適化を使用したオープンソース大規模モデルの微調整の民主化
• LlamaIndexを使用したデータに基づくデータで動作するLLMパワードノリワーカーの構築
• data2vecを使用した一般的で効率的なセルフスーパーバイズドラーニング
• 解釈可能で言語に依存しないLLMsへの移行
• スラックメッセージに対するLLMの微調整
• デモやプロトタイプを超えて、オープンソースLLMを使用した本格的なアプリケーションの構築方法
• 言語モデルの導入にはリスク管理が必要です-こうすればできます
• 大規模言語モデルの接続-共通の落とし穴と課題
• LLMsの背景とPaLM 2への紹介: より小さく、より速く、より能力のあるLLM
• Apache Spark™の英語SDK
• 特徴エンジニアリングの自動化のための言語モデルの統合
• 文脈に即した正確なLLMsの提供方法
• Retrieval Augmented Generation（RAG）101: Llama 2、LangChain、およびPineconeを使用したオープンソースの「Data用ChatGPT」の構築
• Llama 2を使用した構築
• LLMのベストプラクティス: トレーニング、微調整、研究の最先端のトリック
• AIリスク管理の実践的な手法: NI

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!