MAmmoTHとは、一般的な数学問題解決に特化したオープンソースの大規模言語モデル(LLM)シリーズです

MAmmoTHは、数学問題解決に特化したオープンソースの大規模言語モデル(LLM)シリーズです

現代の大規模言語モデル(LLM)は、数学的な推論に大きく依存しており、それがこの研究の主な焦点です。最近の進歩にもかかわらず、クローズドソースのモデル(GPT-4、PaLM-2、Claude 2など)は、GSM8KやMATHなどの人気のある数学的な推論のベンチマークを支配しており、オープンソースのモデル(Llama、Falcon、OPTなど)は遠く及ばない状況があります。

このギャップを埋めるためには、2つの主要なアプローチがあります:

  • GalacticaやMINERVAなどの継続的な事前学習:この方法では、数学に関連するウェブデータの100Bトークン以上を用いてLLMをトレーニングしています。計算コストが高いですが、この方法によりモデルの科学的推論能力が一般的に向上します。
  • RFT(rejection sampling fine-tuning)やWizardMathなどのデータセットごとに特化したファインチューニング手法:これらの手法は、それぞれのドメイン内では効果的ですが、推論が必要な数学の他の領域には適用できません。

ウォータールー大学、オハイオ州立大学、HKUST、エディンバラ大学、IN.AIの最近の研究は、軽量かつ汎用性のある数学の指導調整技術を採用し、LLMの数学的推論能力を向上させる方法を模索しています(ファインチューニングタスクだけでなく一般的に)。 

現在のアプローチは、Chain-of-Thought(CoT)の方法論に大いに依存しており、数学の問題を自然言語のステップで解決する方法を説明しています。しかし、この方法は計算精度や難しい数学的・アルゴリズム的推論手法には対応しきれません。PoTやPALのようなコードベースの手法では、数学問題の解決手順を効率化するためにサードパーティのリソースを使用します。

この方法では、計算量の多いタスク(例:sympyを使用した二次方程式の解法やnumpyを使用した行列の固有値の計算など)を別のPythonインタプリタに委任することが推奨されます。一方、PoTはより抽象的な推論シナリオ(常識的な推論、形式論理、抽象代数など)を扱う際にはいくつかの制限があります、特に事前存在しないAPIの場合には。

CoTとPoTの両方の利点を活かすために、研究チームは数学のための新しいハイブリッドな指導調整データセット「MathInstruct」を提案しています。その主な特徴は次のとおりです:

  1. さまざまな数学的領域と複雑度レベルの包括的なカバレッジ
  2. ハイブリッドなCoT&PoTの根拠

6つの新たに選択されたデータセットと7つの既存のデータセットがMathInstructの数学的な正当化の基盤を提供しています。モデリングの観点から、研究者たちは入出力形式とデータソースの変動の影響を調べるために、約50のユニークなモデルをトレーニングおよび評価しています。

結果として得られたモデルは数学的な一般化能力において非常に優れています。

研究者たちは、MAmmoTHをGSM8K、MATH、AQuA-RAT、NumGLUEなどの様々なデータセットに対してテストしました。これらのモデルは、オープンソースのLLMの数学的な推論の効率を大幅に向上させ、最新のアプローチよりもOOD(ドメイン外)データセットに対してより一般化された性能を示します。人気のあるコンペティションレベルのMATHデータセットでの7Bモデルの結果は、WizardMath(オープンソースのMATHの最先端技術)よりも3.5倍(35.2%対10.7%)優れており、34BのMAmmoTH-Coder(Code Llamaで調整)の結果はCoTを使用したGPT-4よりも優れています。MAmmoTHとMAmmoTH-Coderの両方のモデルは、以前のオープンソースモデルよりも大幅に精度が向上しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

コード生成のための5つのChatGPTの代替手段:超高速開発へのハイパードライブ

「ChatGPT の代わりにコード生成を強化し、開発を加速させるための 5 つの強力な代替手段を見つけよう最高のツールをいくつか...

機械学習

「機械に学習させ、そして彼らが私たちに再学習をさせる:AIの構築の再帰的性質」

「建築デザインの選択が集団の規範にどのように影響を与えるかを探索し、トレーニング技術がAIシステムを形作り、それが再帰...

データサイエンス

GenAIにとっての重要なデータファブリックとしてのApache Kafka

ジェンAI、チャットボット、およびミッションクリティカルな展開での大規模言語モデルのリアルタイム機械学習インフラとして...

データサイエンス

「機械学習入門:その多様な形式を探索する」

最近、機械学習はどこにでもありますねもしもあなたがここにいるなら、機械学習が一体何なのかに興味を持ったのかもしれませ...

人工知能

プロンプトの旅:プロンプトエンジニアリングを通じた生成型AIシステムのライフサイクル

プロンプトエンジニアリングは、AIの応答を指導しますそのライフサイクルは倫理的な考慮事項を統合し、公正かつ透明なAIの未...

データサイエンス

「AIがキーストロークを聞く:新たなデータセキュリティの脅威」

ロンドン大学、ダラム大学、サリー大学の研究者によって開発された画期的なAIシステムは、データセキュリティの懸念を新たな...