大規模な言語モデルは本当に数学をできるのか？この人工知能AIの研究はMathGLMを紹介します：計算機なしで数学問題を解くための頑健なモデル

大規模な言語モデルの数学能力を検証するためのMathGLMの紹介

下流の自然言語処理（NLP）タスクにおいて、大規模言語モデル（LLMs）は非常に効果的であることが証明されています。GPT4やChatGPTなどの先駆的なモデルは、膨大な量のテキストデータで訓練され、一貫した文脈に即した応答を生成する能力を持っています。彼らのテキストの理解と生成能力により、彼らは幅広いNLPアプリケーションで非常に柔軟に使用できます。LLMsは、８桁以上の数字の掛け算や小数や分数を含む演算を正確に行うのに難しさを抱えていると一般的に考えられています。GPT-4は、さまざまなNLPタスクにおいて優れた能力を示していますが、数学的思考において同じ程度の熟練度を示すことはないかもしれません。

清華大学、TAL AI Lab、Zhipu.AIの研究者は、これらの誤った信念を払拭するために、LLMsの数学的スキルについて調査しています。彼らの最近の研究では、困難な算術演算を実行するために慎重に構築されたロバストなモデルであるMathGLMを提案しています。MathGLMは、GPT-4などの業界をリードするLLMsと比較して最高のパフォーマンスを実現しています。加算、減算、乗算、除算、冪乗などはすべて算術演算の例であり、括弧を使用して複数の種類の算術を組み合わせることも算術演算の一部です。彼らは「1つの原子操作」手順を実行し、他の手順と統合せずに単独で実行します。特に注目すべきは、MathGLMが整数、小数、分数、パーセンテージ、さらには負の数など、あらゆる数値型で算術演算を容易に実行できることです。

Ape210Kデータセットは、インターネット上から数学の問題を収集し、数学的な難しさの包括的な情報源を提供しています。このデータセットはMathGLMのトレーニングに役立ちます。オリジナルのデータセットは、明示的に計算された回答が含まれているという点でユニークです。しかし、チームは、MathGLMの回答のシンプルさによる重要な計算原則やパターンの認識の失敗の可能性があると指摘しています。

• 「量子ブースト：cuQuantumとPennyLaneによるスーパーコンピュータ上でのシミュレーション」
• 「研究者たちが、数千の変形可能な結び目を発見」
• 百度のAI研究者がVideoGenを紹介：高フレーム精度で高解像度のビデオを生成できる新しいテキストからビデオを生成する手法

研究者たちは、ステップバイステップのアプローチを使用してApe210Kデータセットを再構築し、この可能性のある欠点を克服し、MathGLMの数学的な問題解決能力を向上させます。MathGLMは、複雑な算術計算プロセスを一連の連続的なフェーズに分解することで、数学の問題の回答を高い精度で作成できます。

広範な試験と詳細な分析により、MathGLMはGPT-4よりも優れた数学的な推論能力を持つことが示されました。オリジナルのデータセットでのファインチューニングと比較して、MathGLMの回答の正確さは42.29%の絶対的な向上を達成します。GLM-10Bからファインチューニングされた後、MathGLMは5,000件の数学の問題データセットでGPT-4に非常に近いパフォーマンスを発揮します。算術ワード問題を構成要素のステップに分解することで、MathGLMは複雑な計算プロセスを完全に理解し、基礎となる計算ルールを学び、より信頼性の高い結果を生み出すことができます。

これらの研究結果は、LLMsが困難な算術タスクを処理できないという従来の常識に大きな挑戦を与え、彼らの数学的思考能力の非凡な能力を明らかにします。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!