プリンストンの研究者たちは、革新的な軽量フレームワーク「InterCode」を導入しましたこれにより、人間のような言語からコード生成のための言語モデルの相互作用が効率化されました

プリンストンの研究者は、InterCodeという革新的な軽量フレームワークを導入し、人間のような言語からコード生成のための言語モデルの相互作用を効率化しました

ChatGPTは、OpenAIによって開発された最新のチャットボットであり、リリース以来話題になっています。このGPTトランスフォーマーアーキテクチャベースのモデルは、人間のように正確に質問に答えるだけでなく、ブログやソーシャルメディア、研究などのためのコンテンツを生成し、言語を翻訳し、長いテキスト段落を要点を保持しながら要約し、コードサンプルさえ生成します。GPT、BERT、PaLM、LLaMaなどの大規模言語モデルは、人工知能の分野の進歩に成功を収めています。これらのディープラーニングモデルは、自然言語処理と自然言語理解の可能性を効果的に活用しています。

近年では、自然言語仕様からコードを自動生成するモデルの開発が人気を集めています。これらのモデルは、数千のコードベースでの広範な事前学習により、静的ベンチマークで印象的なパフォーマンスを発揮していますが、タイプミス、コードの作成プロセスと実行の間のギャップ、限られた人間の関与など、特定の制限もあります。

これらの課題に対処するために、プリンストン大学のコンピュータサイエンス部の研究者は、インタラクティブなコーディングを標準的な強化学習（RL）環境として容易に行えるようにする軽量かつ柔軟なフレームワークであるInterCodeを提案しました。InterCodeでは、コードをアクションとして扱い、実行フィードバックを観測として考慮します。このRLベースの手法により、コーディングをより反復的に行うことができ、言語やプラットフォームに依存しないように設計されているため、多くのプログラミング言語や環境と使用することができます。

• 北京大学の研究者たちは、ChatLawというオープンソースの法律用の大規模言語モデルを紹介しましたこのモデルには、統合された外部知識ベースが搭載されています
• スタンフォード大学の研究者たちは、「HyenaDNA」という名前の遠距離ゲノム基盤モデルを導入しましたこのモデルは、シングルヌクレオチド解像度で最大1百万トークンのコンテキスト長を持っています
• NLPとエリシットを用いたジェンダー平等に関する研究の探索

InterCodeは、安全で繰り返し可能な実行を保証するために独立したDocker環境も使用します。これは従来のシーケンス対シーケンス（seq2seq）コーディング技術と互換性があり、現在の手法を簡単に採用および統合することができます。また、インタラクティブなコード生成に特化した新しいアプローチの開発を容易にすることも可能です。

評価のために、チームはBashとSQLをアクションスペースとして使用した2つのインタラクティブなコード環境を構築し、InterCodeの有用性を示しました。彼らはReActやPlan＆Solveなどのさまざまなプロンプティング手法を備えたいくつかの優れた言語モデルを、静的なSpiderとNL2Bashデータセットのデータを使用して訓練および評価しました。InterCodeの実験は、インタラクティブなコード生成の利点を示しながら、コード理解と生成能力の向上を目指す難しいベンチマークとしての潜在能力を強調しました。

チームは以下のように主な貢献をまとめています。

1. InterCodeは、新しい汎用的なインタラクティブコード生成フレームワークであり、使いやすさ、拡張性、安全性を提供します。ユーザーフレンドリーでアクセスしやすく、研究者が簡単に実験に利用できます。

1. InterCodeを使用して、いくつかの信じられないほど優れた最先端のモデルにアクセスし、評価し、潜在的な改善点を指摘しました。

1. InterCodeベンチマークは、インタラクティブなコード生成タスクの標準化された評価プラットフォームとして機能し、異なるモデルのパフォーマンスを共通のフレームワークを使用して比較することができます。これにより、静的なコードの新しいデータセットをインタラクティブな活動に変換することができます。

結論として、InterCodeは、人工知能の分野の進歩において有望なアプローチであり、インタラクティブなコード生成を大幅に進化させ、標準化された評価プラットフォームを提供し、この領域のさらなる研究と開発を促進します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!