このAIの論文では、プログラミング言語が指示調整を通じて互いを向上させる方法について説明しています

This AI paper explains how programming languages improve each other through instruction adjustment.

大型言語モデル(LLM)の導入は世界中で大きな話題となっています。これらのモデルは、人間のように独自で創造的なコンテンツを生成し、人間のように質問に答えることで知られています。また、これらのモデルは長い文章を要約したり、言語を翻訳したり、コードを補完することも可能です。最近、コード生成専用のLLMが急速に開発されています。これらのモデルの素晴らしいコード生成能力は、学術および産業界で大きな注目を集めています。CodeGeeX、StarCoder、CodeLlama、Codexなどは、最近導入された注目すべきコードLLMの一部です。

指示チューニングアルゴリズムの応用は、コードLLMの分野での興味深いブレークスルーです。最近の研究では、特定の指示に従う方法をLLMに教えることで、彼らのコード生成能力を向上させることが可能であるというアイデアが検討されています。最近の研究では、人間のプログラマが1つのプログラミング言語をマスターした後、2番目の言語を習得することがより簡単になる可能性があるという興味深いアイデアを探求しています。この研究の主な目標は、大型言語モデルが指示を微調整している間に、さまざまなプログラミング言語がお互いを補完できるかどうかを明らかにすることです。

この理論を探求し、調査するために、研究者のグループはPython、JavaScript、TypeScript、C、C++、Java、Go、HTMLの8つの人気プログラミング言語を使用した一連の大規模な実験を行いました。これらの言語は、HTMLのようなマークアップ言語からCやC++のようなシステムレベルの言語、PythonやJavaScriptのようなスクリプト言語まで、さまざまなプログラミングパラダイムとユースケースを含んでいます。これらのテストの主な目的は、1つのプログラミング言語での指示の微調整が他の言語と組み合わせた場合に、コードLLMのパフォーマンスを向上させるかどうかを確認することでした。これらのテストでは、使用されるコードLLMはStarCoderでした。

言語ごとの構文や要件に指示が準拠していることを確認するために、言語固有の指示を作成する方法は、初期のPythonベースのシード指示を詳細に進化させるか、HTMLの場合は広範な進化を行うことです。詳細な進化は、Pythonベースのシード指示から始めて、より複雑でターゲットの言語に合わせた言語固有の指示を生成する方法であり、言語固有のニュアンスを捉えます。一方、広範な進化は、Pythonベースの指示からではなく、HTML固有の指示を新たに作成する方法であり、Web開発のHTMLの独特な性質を認識しています。

実験の結果からは、いくつかの強力な結論が導かれました。コード作成の作業において、プログラミング言語は明らかに他の言語よりも優れたパフォーマンスを発揮することが示されました。例えば、HumanEval-Xベンチマークを使用してJavaコードでテストした場合、PythonデータでトレーニングされたCODEM-Python 15Bというコードモデルは、pass@1の正解率において驚異的な17.95%の絶対的な改善を示しました。この結果から、Pythonのような1つの言語の知識は、Javaなどの他の言語でのコード生成を大幅に改善することができるということが示唆されます。

さらに驚くべきことに、マークアップ言語であるHTMLのコーパスに使用された場合、CODEM-HTML 7Bはpass@1の絶対的な改善率15.24%を示しました。これは、HTMLのようなマークアップ言語とJavaのような従来のプログラミング言語など、根本的に異なる言語でも、お互いのコード生成能力を相互に向上させることができるということを意味します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

「世界最大の広告主がAIの力を受け入れる:広告業界におけるパラダイムシフト」

広告業界を再構築する可能性を秘めた動きとして、世界でも有名な広告主の一部が生成型人工知能(AI)の可能性を活用していま...

人工知能

カートゥーンキャラクターの中間プロンプト

Midjourneyは、芸術的なスキルや背景がなくても、漫画キャラクターを作成するのに役立つ素晴らしいツールです

機械学習

PyTorchを使った効率的な画像セグメンテーション:Part 2

これは、PyTorchを使用してディープラーニング技術を使ってゼロから画像セグメンテーションをステップバイステップで実装する...

機械学習

「Googleバードを効果的に使用する5つの方法」

Google Bardで生産性を最大限に引き出すための5つの戦略をご紹介しますGoogle Bardはワークフローの再構築、意思決定の向上、...

機械学習

再帰型ニューラルネットワークの基礎からの説明と視覚化

再帰型ニューラルネットワーク(RNN)は、順次操作が可能なニューラルネットワークです数年前ほど人気はありませんが、重要な発...

データサイエンス

ユーザーフィードバック - MLモニタリングスタックの欠けている部分

「AIモデルを数ヶ月もかけて実装し、何百万円も投資してみたけれど、誰も使ってくれないことって経験ありますか?採用の課題...