SalesForce AIはCodeChainを導入：代表的なサブモジュールによる自己改訂の連鎖を通じたモジュラーコード生成のための革新的な人工知能フレームワーク

SalesForce AIがCodeChainを導入：革新的な人工知能フレームワークによるモジュラーコード生成の連鎖と自己改訂のための代表的なサブモジュール

“`html

人工知能の研究における重要な目標の一つは、困難な問題に対処するための有用なコンピュータプログラムを提供できるAIシステムの開発です。この方向性において、特に大規模な事前訓練済み大規模言語モデル(LLM)の驚異的な成功により、この分野での多くの進歩がなされています。これらのモデルは元々自然言語の理解のために作成されましたが、現在ではコードやテキストの生成と理解の能力も備えています。この開発の成果により、自然言語の問題の説明からコードを生成することで、コードの作成に関する notable な進展が達成されています。

LLMは、MBPPやHumanEvalなどのベンチマークでの成果からわかるように、簡単なプログラミングタスクの処理には既に成功しています。ただし、より困難で競争力のあるプログラミングタスクに取り組む際には、これらのモデルは重大な困難に直面します。彼らがコードの解決策を単一のブロックとして提供する傾向があり、論理的なサブタスクや再利用可能なサブモジュールに分解することができないためです。一方、複雑な問題に直面すると、熟練したヒューマンプログラマーは本能的にモジュラーで抽象的なコードを書きます。以前に作成されたモジュールを再利用することで、彼らは効果的に現在の専門知識を拡大することができます。

Salesforce Researchの研究チームが最近行った研究では、CodeChainという革新的なフレームワークがLLMと人間の開発者とのギャップを埋めることを紹介しています。このフレームワークは、以前のイテレーションで開発された代表的なサブモジュールによる連続的な自己修正のシーケンスを通じて、モジュール化されたコードの開発プロセスを改善することを目指しています。CodeChainは、チェーン思考アプローチを用いてLLMにモジュール化されたコードを書くように指示します。このアプローチにより、モデルは論理的なサブタスクとサブモジュールに基づいて問題解決をアプローチするように促されます。

• QLoRA：16GBのGPUで大規模な言語モデルの訓練を行う
• 大規模なMLライフサイクルの統治、パート1：Amazon SageMakerを使用してMLワークロードを設計するためのフレームワーク
• 「自己改善のための生成AIと強化学習の統合」

CodeChainの基盤となるのは、連続的な自己修正のシーケンスです。以下に2つのイテレーションフェーズを示します。

1. サブモジュールの抽出とクラスタリング: この段階では、LLMが生成したコードを分析してサブモジュールを見つけ、それらをクラスターに配置します。各クラスターから代表的なサブモジュールを選択します。これらの表現はより広く適用可能で再利用可能とされています。

1. プロンプトの拡張と再生成: 初期のチェーン思考プロンプトは、前の段階で選択されたモジュールの実装を統合して拡張・再生成されます。その後、LLMに対して再度新鮮なモジュール化された解決策を生成するよう指示されます。この結果、モデルは以前のイテレーションで得た情報と理解を効果的に拡大することができます。

CodeChainは、コード生成に大きな影響を与えています。チームは、LLMが既存の検証済みのサブモジュールを構築して再利用することで、生成されるソリューションのモジュラリティと正確性が大幅に向上することを共有しています。CodeChainフレームワークによるAPPSの相対的なpass@1の改善率は35%、CodeContestsでは驚異的な76%です。これらの成果は、WizardCoderやOpenAIからのオープンソースLLMを含むさまざまなLLMで示されています。CodeChainの成功に寄与した要素についての包括的な検証研究も行われており、プロンプテクニック、使用されるクラスターの数、LLMモデルのサイズ、生成されるプログラムの質などの要素が調査されています。これらの調査から得られた理解は、CodeChainがLLMによって生成されるコードの品質とモジュラリティを高めるのに非常に成功している理由を明らかにしています。

要約すると、CodeChainは大規模言語モデルのコード生成の分野における革命的な開発です。これにより、モジュール化が促進され、以前に作成されたサブモジュールを再利用することでLLMと経験豊富なヒューマンプログラマーとのギャップを埋めることが可能になります。

“`

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!