「新しいAI研究が、PanGu-Coder2モデルとRRTFフレームワークを提案し、コード生成のための事前学習済み大規模言語モデルを効果的に向上させる」というものです

新しいAI研究が、PanGu-Coder2モデルとRRTFフレームワークを提案し、コード生成のための言語モデルを向上させる

大規模言語モデル（LLM）は、最近の数ヶ月で非常に注目を集めています。これらのモデルは、関連する質問に答えることや、正確なコンテンツの生成、言語の翻訳、長いテキスト段落の要約、コードサンプルの補完など、人間を模倣することによって、多様なタスクを遂行します。LLMは急速に開発が進んでおり、優れたパフォーマンスを示す強力なモデルの定期的なリリースが行われています。研究者たちは、教師あり微調整、教示調整、強化学習など、事前学習済みのコードLLMの能力を向上させるために、さまざまな技術を調査しています。

最近の研究では、華為雲科技有限公司、中国科学院、北京大学の研究者チームが、コード生成のための事前学習済みの大規模言語モデルを効果的に向上させるための独自のフレームワークであるRRTF（Rank Responses to align Test&Teacher Feedback）を紹介しました。RRTFフレームワークは、Code LLMのパフォーマンスを向上させることを目的として開発されました。このフレームワークは、絶対的な報酬値ではなく、自然言語LLMの整列技術とフィードバックの評価を利用しています。

人間のフィードバックからの強化学習アプローチは、InstructGPTやChatGPTなどのモデルに対して、絶対的な報酬値ではなくランキングされた応答をフィードバックとして使用することで、よりシンプルかつ効果的なトレーニングアプローチを提供します。このノベルアプローチは、自然言語LLMの整列技術をCode LLMに適用するものであり、その結果として、チームはOpenAI HumanEvalベンチマークのトップ1位で驚異的な62.20%の合格率を達成したPanGu-Coder2モデルも導入しました。

• 「AIと脳インプラントにより、麻痺した男性の運動と感覚が回復する」
• UCバークレーの研究者が、Neural Radiance Field（NeRF）の開発に利用できるPythonフレームワーク「Nerfstudio」を紹介しました
• AIを使用してAI画像の改ざんを防ぐ

チームはStarCoder 15Bでこのアプローチを使用し、PanGu-Coderを上回り、すべての文書化されたCode LLMの中で最高のパフォーマンスを達成し、RRTFの有用性を証明しました。HumanEval、CoderEval、LeetCodeの3つのベンチマークの包括的な分析は、Code LLMが同等またはそれ以上のサイズの自然言語モデルを超えてコード生成のタスクで優れたパフォーマンスを発揮する可能性があることを示しています。この研究では、モデルが命令に従いコードを書く能力を向上させるために、高品質なデータの価値も強調されています。

チームは以下の貢献をまとめています：

1. モデルに中立的で、簡単で、データ効率の良いアプローチであるRRTF最適化パラダイムを導入しました。

1. PanGu-Coder2モデルも導入されました。PanGu-Coder2は元のモデルに比べて約30%改善されています。HumanEval、CoderEval、LeetCodeなどのベンチマークにおいても、この大幅な速度向上が示されています。

1. PanGu-Coder2は、コード生成の面で以前にリリースされたCode LLMすべてを凌駕し、新たな最先端の成果を達成しています。

1. チームは、コード生成のための良質なトレーニングデータの構築に関するアイデアと実践的な知識について議論しています。

1. PanGu-Coder2モデルはRRTFフレームワークを使用してトレーニングされており、チームはこのプロセスに関する有益な洞察を提供しています。

1. コード生成の効率を向上させるだけでなく、PanGu-Coder2が迅速な推論を保証するために使用する最適化手法も提案されています。効率的な推論は実世界のアプリケーションにおいて重要であるため、この分野の研究結果は現実的な展開シナリオの構築に役立ちます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!