人工知能の言語スキルを評価する：ChatGPTの言語形態スキルをさらに掘り下げて

「人工知能の言語スキルを評価する：ChatGPTの言語形態スキルをより詳しく解説」

研究者は、ChatGPTの形態能力を厳密に評価し、英語、ドイツ語、タミル語、トルコ語の4つの言語で比較します。ChatGPTは専門システムと比較して、特に英語では不十分な結果となりました。この分析は、ChatGPTの形態学的スキルの制約を明らかにし、人間のような言語能力の主張を挑戦しています。

大規模言語モデル（LLM）に関する最近の研究は、主に構文と意味に焦点を当てており、形態学を見落としています。既存のLLM文献は、より多くの言語現象に注目する必要があります。過去の研究では英語の過去形について探求されてきましたが、LLMの形態学的能力の包括的な分析が必要です。この手法では、Wugテストを使用してChatGPTの4つの言語での形態学的スキルを評価します。研究結果は、専門システムと比較してChatGPTの人間のような言語能力の主張に疑問を投げかけ、その制限を示しています。

GPT-4、LLaMA、PaLMなどの最近の大規模言語モデルは、言語能力において有望な成果を示していますが、それらの形態学的な能力（単語を体系的に生成するスキル）を評価する際には、注目すべきギャップがあります。過去の研究は主に構文と意味に焦点を当てており、形態学を見落としています。この手法は、Wugテストを使用してChatGPTの形態学的スキルを4つの言語で体系的に分析し、専門システムとのパフォーマンスを比較することで、この不足を解消します。

• 「AIとIMOの課題を結ぶ：形式的な平面幾何学システムにおける大発見」
• 「事実かフィクションかを超えて：GPT-4の高度な事実チェック能力の評価」
• AIの聴覚スキルを革命化する：清華大学とバイトダンスが、高度なオーディオ処理のための画期的なマルチモーダルニューラルネットワーク「SALMONN」を発表

提案された手法では、ChatGPTの形態学的能力をWugテストを通じて評価し、正解ベースラインと人間の注釈との出力を精度として比較します。ChatGPTへの事前露出がないように、ノンス単語のユニークなデータセットが作成されます。ゼロショット、ワンショット、フューショットの3つの提示スタイルが使用され、各スタイルに対して複数回実行されます。評価は話者間の形態学的な変動を考慮し、パフォーマンス評価のために英語、ドイツ語、タミル語、トルコ語の4つの言語を対象にしています。

研究結果は、ChatGPTが形態学的な能力を持つ専門システムがさらに必要であり、特に英語においてその必要性が強調されました。言語ごとのパフォーマンスは異なり、ドイツ語は人間レベルのパフォーマンスを達成しました。k（トップランクの回答数）の値が影響を与え、kが増えるにつれてベースラインとChatGPTのギャップが広がりました。ChatGPTは非現実的な曲げを生成する傾向があり、実在の単語に対するバイアスの影響を受けている可能性があります。研究結果は、大規模言語モデルの形態学的な能力についてさらなる研究の必要性を強調し、人間のような言語能力の急速な主張に注意を喚起しています。

研究では単一のモデル（gpt-3.5-turbo-0613）を使用し、他のGPT-3バージョンやGPT-4以降への一般化可能性を制限しています。限られた言語セットに焦点を当てることは、異なる言語やデータセットへの結果の一般化可能性についての疑問を呈するものです。言語の比較は制御されていない変数のため、難しいです。タミル語の限られた注釈付けツールと低い注釈付け者間の合意は信頼性に影響を及ぼす可能性があります。言語ごとのChatGPTのパフォーマンスの変動は、一般化の制約を示唆しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!