このAIの論文は「ミスからの学習（LeMa）：エラー駆動学習を通じた大規模言語モデルにおける数学的推論の強化」という題目です

「美とファッションのプロが贈る生き生きとした記事」

人間は、本質的には欠点のある存在として、成功と失敗によって特徴付けられる複雑な人生の旅を進んでいます。私たちの存在の大いなる織物の中で、間違いによって編み上げられる独自のパターンは、私たちの成長と発展に大きく寄与しています。間違いから学ぶことは、人間の経験にとって基本的であり、私たちの性格を形作り、抵抗力を育み、より啓発された未来に向かうための推進力となります。

LLMも間違いから学ぶことは可能でしょうか？可能です。GPT-3のような大規模な言語モデルは、正しい言語の使用例と誤った使用例を含む広範なデータから学習します。これらのモデルは、インターネット、本、記事などのさまざまなテキストを含む多様なデータセットでトレーニングされます。モデルはトレーニングデータのパターン、関係、文脈情報を認識します。文法、構文、意味、さらには言語の使用の微妙なニュアンスまで理解します。

このエラー駆動型学習プロセスを模倣することで、交通大学、北京大学、マイクロソフトの研究者は、GPT-4によって生成された間違い訂正データのペアを使用してLLMを微調整するLEMAを提案しています。彼らは、学生が間違いから学ぶ学習プロセスから着想を得たと述べています。

• フィリップスは、Amazon SageMakerをベースにしたMLOpsプラットフォームでAI対応のヘルスケアソリューションの開発を加速しています
• 「LoRAを使用してAmazon SageMakerでWhisperモデルを微調整する」
• 『Generative AIがサイバーセキュリティを強化する3つの方法』

彼らの方法は、間違い訂正のデータペアを生成し、その後訂正データを使用してLLMを微調整することです。彼らは、LLaMAやGPTシリーズのモデルなどの複数のLLMを使用して、不正確な推論パスを収集し、訂正データを生成します。生成された訂正には、元の解答の間違った手順に関する3つの情報、この手順がなぜ間違っているのかの説明、正しい最終的な答えに辿り着くために元の解答をどのように訂正するかが含まれています。

彼らは、最終的な答えが間違っている訂正を除外し、このプロセスが後続の微調整段階に適切な品質を示すと述べています。彼らは、各訓練セットの質問に対してさらに多くの推論パスを生成し、誤った最終的な答えを持つパスを選別します。これにより、LLMの拡張による強力な微調整ベースラインが構築され、微調整のためのデータサイズの制御に関するさらなる削除研究が容易になります。彼らは、質問合理的なデータのみでモデルを微調整します。

CoTデータのみで微調整する場合と比較して、LEMAはさまざまなLLMおよびタスクでパフォーマンスを一貫して向上させます。LLaMA-2-70Bを使用したLEMAは、GSM8Kでは83.5％、MATHでは25.0％を達成し、CoTデータのみで微調整するとそれぞれ81.4％、23.6％です。

LLMの最近の進歩により、彼らは段階的な問題解決アプローチを実行することができるようになりました。しかしこの段階的生成プロセスが、LLMが正確な理論の基礎となる論理とルールを本当に理解しているわけではなく、単に人間の論理の表面的な振る舞いを模倣しているだけであることを暗示してはいません。LEMAは、GPT-4をワールドモデルとして使用し、小さなモデルにステップバイステップの振る舞いを単に模倣するのではなく、論理とルールに従うように教えます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!