このAIの論文では、プログラミング言語が指示調整を通じて互いを向上させる方法について説明しています

This AI paper explains how programming languages improve each other through instruction adjustment.

大型言語モデル(LLM)の導入は世界中で大きな話題となっています。これらのモデルは、人間のように独自で創造的なコンテンツを生成し、人間のように質問に答えることで知られています。また、これらのモデルは長い文章を要約したり、言語を翻訳したり、コードを補完することも可能です。最近、コード生成専用のLLMが急速に開発されています。これらのモデルの素晴らしいコード生成能力は、学術および産業界で大きな注目を集めています。CodeGeeX、StarCoder、CodeLlama、Codexなどは、最近導入された注目すべきコードLLMの一部です。

指示チューニングアルゴリズムの応用は、コードLLMの分野での興味深いブレークスルーです。最近の研究では、特定の指示に従う方法をLLMに教えることで、彼らのコード生成能力を向上させることが可能であるというアイデアが検討されています。最近の研究では、人間のプログラマが1つのプログラミング言語をマスターした後、2番目の言語を習得することがより簡単になる可能性があるという興味深いアイデアを探求しています。この研究の主な目標は、大型言語モデルが指示を微調整している間に、さまざまなプログラミング言語がお互いを補完できるかどうかを明らかにすることです。

この理論を探求し、調査するために、研究者のグループはPython、JavaScript、TypeScript、C、C++、Java、Go、HTMLの8つの人気プログラミング言語を使用した一連の大規模な実験を行いました。これらの言語は、HTMLのようなマークアップ言語からCやC++のようなシステムレベルの言語、PythonやJavaScriptのようなスクリプト言語まで、さまざまなプログラミングパラダイムとユースケースを含んでいます。これらのテストの主な目的は、1つのプログラミング言語での指示の微調整が他の言語と組み合わせた場合に、コードLLMのパフォーマンスを向上させるかどうかを確認することでした。これらのテストでは、使用されるコードLLMはStarCoderでした。

言語ごとの構文や要件に指示が準拠していることを確認するために、言語固有の指示を作成する方法は、初期のPythonベースのシード指示を詳細に進化させるか、HTMLの場合は広範な進化を行うことです。詳細な進化は、Pythonベースのシード指示から始めて、より複雑でターゲットの言語に合わせた言語固有の指示を生成する方法であり、言語固有のニュアンスを捉えます。一方、広範な進化は、Pythonベースの指示からではなく、HTML固有の指示を新たに作成する方法であり、Web開発のHTMLの独特な性質を認識しています。

実験の結果からは、いくつかの強力な結論が導かれました。コード作成の作業において、プログラミング言語は明らかに他の言語よりも優れたパフォーマンスを発揮することが示されました。例えば、HumanEval-Xベンチマークを使用してJavaコードでテストした場合、PythonデータでトレーニングされたCODEM-Python 15Bというコードモデルは、pass@1の正解率において驚異的な17.95%の絶対的な改善を示しました。この結果から、Pythonのような1つの言語の知識は、Javaなどの他の言語でのコード生成を大幅に改善することができるということが示唆されます。

さらに驚くべきことに、マークアップ言語であるHTMLのコーパスに使用された場合、CODEM-HTML 7Bはpass@1の絶対的な改善率15.24%を示しました。これは、HTMLのようなマークアップ言語とJavaのような従来のプログラミング言語など、根本的に異なる言語でも、お互いのコード生成能力を相互に向上させることができるということを意味します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「AIへの恐怖は迷信的なくだらないことだ」

「人工知能が私たちを皆殺しにすると恐れている人々は、200,000年にわたる宗教的な迷信のナンセンスと同じ間違いをしています」

機械学習

大規模な言語モデルにおけるコンテキストに基づく学習アプローチ

言語モデリング(LM)は、単語のシーケンスの生成的な尤度をモデル化することを目指し、将来の(または欠損している)トーク...

AI研究

日本からの新しいAI研究は、人間の表情の機械的特性を調査し、アンドロイドが感情をより効果的に認識する方法を理解することを目指しています

人工知能が人間の感情を再現するにつれて、本物の人間の表情の機械的な複雑さを徹底的に調査することが浮かび上がりました。...

AIニュース

Windows 12はAIの魔法機能を搭載:テクノロジーの未来への一端

Microsoft(マイクロソフト)は、次世代のWindows OSの大規模なアップデート「ハドソンバレー」と呼ばれるものを熱心に開発し...

機械学習

「GANが人工的なセレブリティのアイデンティティを作り出す方法」

イントロダクション 人工知能の時代において、驚くべき現象が展開されています――生成対抗ネットワーク(GAN)が創造的に人工...

AIニュース

「LangChainとOpenAI APIを使用した生成型AIアプリケーションの構築」

イントロダクション 生成AIは、現在の技術の最先端をリードしています。画像生成、テキスト生成、要約、質疑応答ボットなど、...