スタンフォードの研究者たちは、Parselという人工知能(AI)フレームワークを紹介しましたこのフレームワークは、コードの大規模な言語モデル(LLMs)を使用して、複雑なアルゴリズムの自動実装と検証を可能にします

スタンフォードの研究者たちは、ParselというAIフレームワークを紹介しましたこのフレームワークは、コードの大規模な言語モデル(LLMs)を使用して、複雑なアルゴリズムの自動実装と検証を可能にします

最近の大規模言語モデル(LLM)の推論の進歩にもかかわらず、LLMは洗練されたプログラムを開発するなど、階層的な多段階の推論タスクには依然として難しさを抱えています。他のトークン生成器とは異なり、人間のプログラマーは(通常)難しいタスクを管理可能なコンポーネントに分解し、単独で動作する(モジュール化)コンポーネントと共同で動作する(構成的)コンポーネントを学習しています。さらに、人間が生成したトークンが関数に問題を引き起こす場合、そのソフトウェアの他の部分に影響を与えずにソフトウェアのその部分を書き直すことが可能であるべきです。対照的に、コードLLMはエラーのないトークンのシーケンスを生成することが望まれます。

これにより、最近のスタンフォード大学の研究では、LLMを問題の分解と構成的な解決策の構築に使用することが検討されました。彼らはParselというコンパイラを提案しており、関数の説明と実装された関数の望ましい動作を定義する制約を含む仕様を受け入れます。Parselを使用することで、コーダーはプレーンな言語でプログラムを記述し、競技レベルのコーディング問題に取り組むことができ、従来のSoTAを75%以上上回るパフォーマンスを発揮します。

コードLLMには、関数の説明と依存する関数のシグネチャが与えられ、関数の実装を生成するように求められます。制約が追加されると、コンパイラは動作する実装の組み合わせを探索し、可能な組み合わせを見つけるまで繰り返します。

従来の研究では、人間とは異なり、コード言語モデルは連続的に多数の小さなタスクを実行するプログラムを開発することができませんでした。Parselは分解と実装のプロセスを分割することでこの問題を解消します。自然言語のコーディングを可能にすることを目的としていたが、LLMもParselコーディングで優れたパフォーマンスを発揮することがわかりました。

抽象的な計画を自動的に解決できるように分解することは、人間の推論の一般的なパターンであり、Parselの生成と実装に反映されています。この構成的な構造は言語モデルにも有用です。この研究では、チームはLLMがわずかな数のインスタンスからParselを作成できることを示し、APPSデータセットの競技レベルの問題においてSoTAの方法よりも優れた解を提供することを実証しています。Parselを使用してLLMによって書かれたプランは、高レベルのジョブからステップバイステップのロボットプランを生成するという興奮を伴う結果として、ゼロショットプランナーベースラインの約2/3の精度を持っています。

Parselの効果を評価するために、経験豊富な競技プログラマーであるGabriel Poesia氏は、通常コーディングの競技で見られるAPPSの多くのチャレンジを解決するためにParselを使用しました。彼は6時間で10問のうち5問の解答を見つけましたが、その中にはGPT-3が以前に失敗した3問も含まれています。

研究者らは、Parselを一般的なフレームワークとして定式化することで、定理証明やアルゴリズムの推論を必要とする他の活動にも利用できることを示しています。

彼らは近い将来、自律的なユニットテストの生成を実装する予定です。特殊な状況を探し、既存のすべてのテストで合意している関数のグループが新しいテストでも合意しているかどうかを調べるアプローチが一つの方法です。指数的な実装の組み合わせの発展を回避し、自動的な分解を可能にすることができるでしょう。また、より重要なプログラムやプログラムのセクションでは、説明を明確かつ簡潔にする必要があるため、言語モデルの「信頼度のしきい値」を調整することも目指しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

ビデオ編集は、VideoCrafterとともに新しい時代へ高品質なビデオ生成のためのオープンディフュージョンAIモデル

VideoCrafterは新しいオープンソースのビデオ作成および編集スイートです。このスイートは機械学習モデル、拡散モデルによっ...

機械学習

中国のこのAI論文は、HQTrackというビデオ内のあらゆるものを高品質で追跡するためのAIフレームワークを提案しています

ビジュアルオブジェクトトラッキングは、ロボットビジョンや自動運転など、コンピュータビジョン内の多くのサブフィールドの...

AI研究

MITとUC Berkeleyの研究者は、最小限の努力で人間がロボットに望むことを素早く教えることができるフレームワークを提案しました

ニューヨーク大学とカリフォルニア大学バークレー校との共同研究により、MITの研究者たちは、人間が最小限の努力で家庭のタス...

AI研究

UCLとGoogleの研究者が提案する「AudioSlots:オーディオドメインの盲目的なソース分離のためのスロット中心の生成モデル」

最近、集合構造化データ上で動作するアーキテクチャにおけるニューラルネットワークの使用と、非構造化入力から集合構造化出...

データサイエンス

基本に戻ろう:プロビット回帰

「バイナリの結果を分析するタスクに取り組む際、私達はしばしばロジスティック回帰を手段として考えますそのため、バイナリ...