「LEVER(リーバー)とは、生成されたプログラムの実行結果を検証することを学習することで、言語からコードへの変換を改善するためのシンプルなAIアプローチです」

LEVERは、プログラムの実行結果を検証してコード変換を改善するためのシンプルなAIアプローチです

大規模言語モデル(LLM)は最近、大きな進歩を遂げました。これらのモデルは、人工知能の領域を大幅に向上させ、さまざまなタイプのタスクを完了するための非常に大きなポテンシャルを持っています。LLMは、質問に答えたり、コンテンツを作成したりすることで人間を模倣したり、テキストの段落を要約したり、言語を翻訳したりすることができます。仮想アシスタント、ロボティクス制御、データベースインターフェイス、その他のAIアプリケーションは、すべて自然言語の説明を実行可能なコードに変換する能力に依存しています。コードLLM、つまりコード上で事前にトレーニングされたモデルは、インコンテキストのフューショットラーニングにおいて優れたパフォーマンスを示していますが、これらのモデルのパフォーマンスは改善される可能性があり、最適化するには計算コストがかかる場合があります。

LLMは、フューショットの状況では精度に苦労するかもしれませんが、十分なサンプルが与えられるとき、つまりサンプルがスケールで描かれるときには、多数決とテストケースによるフィルタリングによってそのパフォーマンスを大幅に向上させることができます。データ型、値の範囲、変数のプロパティは、プログラムの正確性の強力な指標であり、モデルソリューションの豊かな意味論的要素です。最近の研究では、研究者チームがLearning to Verify(LEVER)という、コードLLMを使用した言語からコードへの生成手法を紹介しました。

LEVERは、自然言語の説明、プログラムの表面形式、実行結果の組み合わせ表現を使用して、検証者が誤ったプログラムを特定して拒否するためにトレーニングされます。検証確率とLLM生成確率は結合され、集計確率を作成するために、同じ実行結果を持つプログラムは周辺化されます。正しい結果を提供する最も可能性の高いプログラムが、再ランキングスコアとしてこの確率を使用して出力として選択されます。

LEVERは、LLMからサンプリングされたプログラムが正確であるかどうかを判断することによって、言語からコードの作成を改善するために提案されています。LEVERは、作成されたプログラムをチェックすることによって、出力の精度と正確性を向上させることを目指しています。評価のために、テーブルQA、数学QA、基礎的なPythonプログラミングを含む4つのデータセットで実験が実施され、コード-davinci-002を使用したパフォーマンスの利点は4.6%から10.9%まで範囲があり、結果は常にベースのコードLLMを上回りました。すべてのデータセットで、LEVERはまったく新しい最先端の結果を達成し、自然言語の説明から正確で文脈に即したコードを生成する優位性を示しています。

結論として、LEVER技術は、自然言語の説明を実行可能なコードに変換するためのコードLLMの能力を向上させます。この方法は、実行結果を考慮に入れる検証者を使用することで、より伝統的な実行エラーの剪定戦略よりも精度が向上します。その成果は、さまざまな言語からコードへのタスクにおける効率性を示し、データベースインターフェイス、ロボティクス制御、仮想アシスタントなど、さまざまなAIアプリケーションの向上の可能性を示唆しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

人工知能

「ゲーミングからAIへ:NvidiaのAI革命における重要な役割」

Nvidiaは現在、Facebook、Tesla、Netflixよりも価値が高いですロイターによると、株価は過去8ヶ月で3倍になりましたしかし、...

AIニュース

DEF CONでハッカーたちがいたずらをしてAIの脆弱性を暴露

ラスベガスで開催されるDEF CONハッキングカンファレンスでは、知恵とテクノロジーの魅力的な衝突が行われます。ハッカーたち...

機械学習

NVIDIA H100 GPUがMLPerfベンチマークのデビューで生成型AIの標準を設定

主要のユーザーと業界標準のベンチマークによれば、NVIDIAのH100 Tensor Core GPUは特に生成型AIを駆動する大規模言語モデル...

AIニュース

需要を駆動するための新しいAIパワード広告ソリューションの紹介

GoogleとYouTubeの新しいAIパワードソリューションは、広告主が創造性を増幅し需要を生成するのを支援します

データサイエンス

2024年の予測17:RAG to RichesからBeatlemaniaとNational Treasuresへ

メリアム・ウェブスターの前に譲れ:今年、企業は年間のワードに追加するための多くの候補を見つけました。「生成的AI」と「...

データサイエンス

「GenAIのモデルの出力を改善する方法」

ジェネレーティブAIは、DLアルゴリズムのおかげで強力なコンテンツ生成器に進化しましたただし、より正確な結果を得るために...