「LEVER(リーバー)とは、生成されたプログラムの実行結果を検証することを学習することで、言語からコードへの変換を改善するためのシンプルなAIアプローチです」

LEVERは、プログラムの実行結果を検証してコード変換を改善するためのシンプルなAIアプローチです

大規模言語モデル(LLM)は最近、大きな進歩を遂げました。これらのモデルは、人工知能の領域を大幅に向上させ、さまざまなタイプのタスクを完了するための非常に大きなポテンシャルを持っています。LLMは、質問に答えたり、コンテンツを作成したりすることで人間を模倣したり、テキストの段落を要約したり、言語を翻訳したりすることができます。仮想アシスタント、ロボティクス制御、データベースインターフェイス、その他のAIアプリケーションは、すべて自然言語の説明を実行可能なコードに変換する能力に依存しています。コードLLM、つまりコード上で事前にトレーニングされたモデルは、インコンテキストのフューショットラーニングにおいて優れたパフォーマンスを示していますが、これらのモデルのパフォーマンスは改善される可能性があり、最適化するには計算コストがかかる場合があります。

LLMは、フューショットの状況では精度に苦労するかもしれませんが、十分なサンプルが与えられるとき、つまりサンプルがスケールで描かれるときには、多数決とテストケースによるフィルタリングによってそのパフォーマンスを大幅に向上させることができます。データ型、値の範囲、変数のプロパティは、プログラムの正確性の強力な指標であり、モデルソリューションの豊かな意味論的要素です。最近の研究では、研究者チームがLearning to Verify(LEVER)という、コードLLMを使用した言語からコードへの生成手法を紹介しました。

LEVERは、自然言語の説明、プログラムの表面形式、実行結果の組み合わせ表現を使用して、検証者が誤ったプログラムを特定して拒否するためにトレーニングされます。検証確率とLLM生成確率は結合され、集計確率を作成するために、同じ実行結果を持つプログラムは周辺化されます。正しい結果を提供する最も可能性の高いプログラムが、再ランキングスコアとしてこの確率を使用して出力として選択されます。

LEVERは、LLMからサンプリングされたプログラムが正確であるかどうかを判断することによって、言語からコードの作成を改善するために提案されています。LEVERは、作成されたプログラムをチェックすることによって、出力の精度と正確性を向上させることを目指しています。評価のために、テーブルQA、数学QA、基礎的なPythonプログラミングを含む4つのデータセットで実験が実施され、コード-davinci-002を使用したパフォーマンスの利点は4.6%から10.9%まで範囲があり、結果は常にベースのコードLLMを上回りました。すべてのデータセットで、LEVERはまったく新しい最先端の結果を達成し、自然言語の説明から正確で文脈に即したコードを生成する優位性を示しています。

結論として、LEVER技術は、自然言語の説明を実行可能なコードに変換するためのコードLLMの能力を向上させます。この方法は、実行結果を考慮に入れる検証者を使用することで、より伝統的な実行エラーの剪定戦略よりも精度が向上します。その成果は、さまざまな言語からコードへのタスクにおける効率性を示し、データベースインターフェイス、ロボティクス制御、仮想アシスタントなど、さまざまなAIアプリケーションの向上の可能性を示唆しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「POCOと出会う:3D人体姿勢と形状推定のための画期的な人工知能フレームワーク」

写真や動画から3D人体のポーズと形状(HPS)を推定することは、現実世界の設定で人間のアクションを再構築するために必要です...

機械学習

「AIの力による消費者の支払い行動予測」

「AIが予測能力を活用して消費者の支払行動を理解し、予測する方法を発見し、事業に行動可能な洞察を提供する」

データサイエンス

FraudGPT AIを活用したサイバー犯罪ツールの驚異的な台頭

インターネットの暗く不気味な一角で、サイバー犯罪者たちは再び人工知能の力を利用して悪意ある目的を追求しています。悪名...

AI研究

黄さんの法則に留意する:エンジニアたちがどのように速度向上を進めているかを示すビデオ

話の中で、NVIDIAのチーフサイエンティストであるビル・ダリー氏が、モーアの法則時代後のコンピュータパフォーマンスの提供...

AIニュース

「AIのための機会の議題」

今日は、できる限り多くの人々に利益をもたらすための具体的な政策提言を提供するためのAI機会アジェンダを共有しています

人工知能

「ChatGPTの使い方:高度なプロンプトエンジニアリングの方法」

「ChatGPTからより良い結果を得たい場合は、より良いChatGPTプロンプトの書き方を学ぶ必要があります以下には7つの実行可能な...