「GPT-4は数学の問題を解くことができますが、すべての言語ではできません」

「GPT-4は数学の問題を解くことができますが、すべての言語には対応していません」

16種類の言語で数学の問題を解決するGPT-4のいくつかの実験

はじめに

数学は普遍的な言語であるといわれています。数学の概念、定理、定義は、言語に関係なく理解できる記号として表現できます。

この記事では、16種類の異なる言語でGPT-4の数学的な能力をテストします。

初期の実験では、GPT-4はSAT数学やAP計算のテストで高いスコアを獲得し、大学レベルの数学でも好成績を収めました。ただし、これらの実験の大部分はGPT-4の数学的な能力を英語でのみテストしています。GPT-4の英語以外での数学的な能力をよりよく理解するために、同じ数学の問題を他の15の言語でプロンプトします。

では、GPT-4は異なる言語でどの程度数学を解けるのでしょうか？理論上は、すべての言語で同じくらい優れている（または劣っている）はずですが、残念ながら（お察しの通り）、これは事実ではありません。 GPT-4は英語での数学の問題を解くのがずば抜けて得意です。言語によっては、GPT-4が一部の問題を解くことができます。ただし、ミャンマー語やアムハラ語などの資源が不足している伝統的な言語では、GPT-4は私が与えた問題を解くことができませんでした。

• サポートベクターマシンとScikit-Learn：フレンドリーな紹介
• 「解釈可能性のための神経基盤モデル」
• 「クラスの不均衡とオーバーサンプリング：形式的な紹介」

Project Eulerについて

私はGPT-4をテストするために、Project Eulerのウェブサイトから数学の問題を使用しています。（これはまた、今年の私のこの年の初めの記事の一つです。ここではChatGPTを使用したプロンプトエンジニアリングを使用していくつかのProject Eulerの問題を解決しました）。Project Eulerは、名前の由来となる数学者にちなんだウェブサイトで、難易度の異なる数学的なコンピュータプログラミング問題が数百問掲載されています。2001年に開始され、現在は850以上の問題（2023年10月現在）があり、ほぼ毎週新しい問題が公開されています。

Project Eulerの問題の素晴らしいところは、それぞれの問題に数値的に「正しい」答えがあることです。これにより、GPT-4の答えが客観的に正しいかどうかを簡単に確認することができます。また、これらの問題は高校や大学の数学の問題よりも複雑な場合が多いです。現時点では、GPT-4（または他の大規模な言語モデル）の数学に関する包括的な理解はありませんが…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!