DISC-FinLLMとは、複数の専門家のファインチューニングに基づいた中国の金融大規模言語モデル（LLM）です

「DISC-FinLLM：複数の専門家による調整に基づく、中国の大規模金融言語モデル（LLM）とは？」

“`

人工知能の分野で最大の進歩は、大規模言語モデル（LLM）の導入です。これらの自然言語処理（NLP）ベースのモデルは、大きく複雑なデータセットを処理するため、金融業界では独自の課題に直面しています。金融テキストの要約、株価予測、財務報告書の作成、ニュースの感情分析、金融イベントの抽出の分野では、従来の金融NLPモデルが進化しています。

金融データの量と複雑さが増えるにつれて、LLMは人間によるラベル付けされたデータの不足、金融に特化した専門知識の不足、複数のタスクの難しさ、数値計算の制約、リアルタイム情報の扱いの難しさなど、多くの課題に直面しています。GPT-4などのLLMは、強力な対話能力、コマンドの理解力、指示に従う能力で有名です。

ただし、中国の金融市場などの産業において、LLMは金融業界に対する深い理解が不足しており、さまざまなユーザータイプと状況設定に適したオープンソースの中国金融LLMの開発は重要です。この問題に対処するため、研究チームはDISC-FinLLMという包括的な中国金融LLMの作成方法を導入しました。

• 「Amazon SageMaker Model Registry、HashiCorp Terraform、GitHub、およびJenkins CI/CDを使用して、マルチ環境設定でのパイプラインの促進を行う」
• 「Azure OpenAI Studioを使用したNL2SQLシステムのセットアップ方法」
• 「組織のためのカスタマイズされたコーディングパートナー」

この手法の主な目的は、LLMに金融テキストを生成・理解する能力を持たせ、金融問題についてのマルチターンの対話を行い、プラグイン機能を介して金融モデリングや知識強化システムを支援することです。研究チームは、DISC-FIN-SFTと呼ばれる教師付きの指示データセットも開発しました。このデータセットの主なカテゴリは以下の通りです。

1. 金融コンサルティングの指示：これらの指示はオンライン金融フォーラムや金融Q&Aデータセットから開発されました。金融に関する問い合わせに答えたり、ガイダンスを提供したりすることを目的としています。

1. 金融タスクの指示：これらの指示はさまざまな金融業務のサポートに役立ちます。自己構築および利用可能なNLPデータセットから抽出されています。

1. 金融計算の指示：これらの指示は金融統計や計算、モデリングの問題の解決策を扱っています。

1. リトリーバル強化の指示：これらの指示は知識検索を容易にします。金融テキストから構築され、質問、参照情報、回答が生成されています。

研究チームは、DISC-FIN-SFT指示データセットがDISC-FinLLMの構築の基礎であることを公開しています。このモデルは、Multiple Experts Fine-tuning Framework（MEFF）を使用して構築されたLow-rank adaptation（LoRA）モジュールを4つ使用してトレーニングされています。金融のマルチラウンド対話、金融NLPジョブ、金融計算、リトリーバルに関する質問応答など、これらのモジュールはさまざまな金融シナリオに対応できるように作られています。これにより、システムは学生、開発者、金融専門家などの関連するユーザーグループにさまざまなサービスを提供することができます。この特定のバージョンでは、DISC-FinLLMの基礎となるのは一般ドメインの中国語のLLMであるBaichuan-13Bです。

研究者たちは、DISC-FinLLMの評価のために複数のアセスメントベンチマークを実施しています。実験結果は、DISC-FinLLMがすべての下流タスクで基礎モデルよりも優れたパフォーマンスを発揮することを示しています。MEFFアーキテクチャの利点によって、モデルがさまざまな金融シナリオやジョブで優れたパフォーマンスを発揮できるようになっています。

“`

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!