「FLM-101Bをご紹介します：1010億パラメータを持つ、オープンソースのデコーダのみのLLM」

Introducing FLM-101B LLM with open-source decoder only, with 10.1 billion parameters.

最近、大規模言語モデル（LLM）はNLPとマルチモーダルタスクで優れた成績を収めていますが、高い計算コストと公正な評価の困難さという2つの重要な課題に直面しています。これらのコストはLLMの開発を一部の主要プレーヤーに制限し、研究と応用を制約しています。この問題に対処するため、この論文では成長戦略を紹介し、LLMのトレーニング費用を大幅に削減することを重視しています。

トレーニングコストの課題に対処するため、研究者は成長戦略によって100BのLLMをトレーニングしています。成長とは、パラメータの数がトレーニングプロセスで固定されず、小さいサイズから大きなサイズに拡大することを意味します。大規模言語モデル（LLM）の知能を評価するために、研究者は包括的なIQ評価ベンチマークを開発しました。このベンチマークは、知能の以下の4つの重要な側面を考慮しています：

• シンボリックマッピング：シンボリックマッピングアプローチを使用して、LLMの新しい文脈への一般化能力がテストされます。これは、カテゴリラベルではなく記号を使用する研究と似ています。

• ルール理解：ベンチマークは、LLMが確立されたルールを理解し、適切なアクションを実行できるかどうかを評価し、人間の知能の重要な側面です。

• パターンマイニング：LLMは、帰納的および演繹的な推論を通じてパターンを認識する能力を評価されます。これは、さまざまなドメインでのパターンマイニングの重要性を反映しています。

• 抗干渉能力：この指標は、外部ノイズの存在下でLLMのパフォーマンスを維持する能力を測定し、干渉に対する抵抗力と関連する知能の核心的な側面を強調します。

この研究の主な貢献は次のように要約されます：

• iOSアプリの自然言語処理：機能、Siriの使用例、およびプロセス
• 「短期予測を改善したいですか？デマンドセンシングを試してみてください」
• 「場所の言語：生成AIのジオコーディング能力の評価」

• この研究は、成長戦略を用いて、予算がわずか10万ドルで1000億以上のパラメータを持つ大規模言語モデル（LLM）を成功裏にトレーニングするという先駆的な成果です。

• 研究者は、FreeLMトレーニング目標の改善、ハイパーパラメータの最適化のための有望な手法、および関数保存型成長の導入により、LLMトレーニングのさまざまな不安定性の問題に取り組んでいます。これらの方法論の改善は、広範な研究コミュニティに有望です。

• 包括的な実験が行われ、確立された知識指向のベンチマークだけでなく、新しい体系的なIQ評価ベンチマークも含まれています。これらの実験により、モデルは堅固なベースラインモデルと比較され、FLM-101Bの競争力のあるかつ頑強なパフォーマンスが示されます。

• 研究チームは、モデルのチェックポイント、コード、関連ツール、その他のリソースを公開することで、研究コミュニティに重要な貢献をしました。これらの資産は、1000億以上のパラメータを持つバイリンガルな中国語と英語のLLMのドメインでのさらなる研究を促進することを目的としています。

全体的に、この研究は、費用効果の高いLLMトレーニングの実現可能性を示すだけでなく、これらのモデルの知能を評価するためのより堅牢なフレームワークに貢献し、結果としてAGIの実現に一歩近づけることを目指しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!