「LEVER(リーバー)とは、生成されたプログラムの実行結果を検証することを学習することで、言語からコードへの変換を改善するためのシンプルなAIアプローチです」

LEVERは、プログラムの実行結果を検証してコード変換を改善するためのシンプルなAIアプローチです

大規模言語モデル(LLM)は最近、大きな進歩を遂げました。これらのモデルは、人工知能の領域を大幅に向上させ、さまざまなタイプのタスクを完了するための非常に大きなポテンシャルを持っています。LLMは、質問に答えたり、コンテンツを作成したりすることで人間を模倣したり、テキストの段落を要約したり、言語を翻訳したりすることができます。仮想アシスタント、ロボティクス制御、データベースインターフェイス、その他のAIアプリケーションは、すべて自然言語の説明を実行可能なコードに変換する能力に依存しています。コードLLM、つまりコード上で事前にトレーニングされたモデルは、インコンテキストのフューショットラーニングにおいて優れたパフォーマンスを示していますが、これらのモデルのパフォーマンスは改善される可能性があり、最適化するには計算コストがかかる場合があります。

LLMは、フューショットの状況では精度に苦労するかもしれませんが、十分なサンプルが与えられるとき、つまりサンプルがスケールで描かれるときには、多数決とテストケースによるフィルタリングによってそのパフォーマンスを大幅に向上させることができます。データ型、値の範囲、変数のプロパティは、プログラムの正確性の強力な指標であり、モデルソリューションの豊かな意味論的要素です。最近の研究では、研究者チームがLearning to Verify(LEVER)という、コードLLMを使用した言語からコードへの生成手法を紹介しました。

LEVERは、自然言語の説明、プログラムの表面形式、実行結果の組み合わせ表現を使用して、検証者が誤ったプログラムを特定して拒否するためにトレーニングされます。検証確率とLLM生成確率は結合され、集計確率を作成するために、同じ実行結果を持つプログラムは周辺化されます。正しい結果を提供する最も可能性の高いプログラムが、再ランキングスコアとしてこの確率を使用して出力として選択されます。

LEVERは、LLMからサンプリングされたプログラムが正確であるかどうかを判断することによって、言語からコードの作成を改善するために提案されています。LEVERは、作成されたプログラムをチェックすることによって、出力の精度と正確性を向上させることを目指しています。評価のために、テーブルQA、数学QA、基礎的なPythonプログラミングを含む4つのデータセットで実験が実施され、コード-davinci-002を使用したパフォーマンスの利点は4.6%から10.9%まで範囲があり、結果は常にベースのコードLLMを上回りました。すべてのデータセットで、LEVERはまったく新しい最先端の結果を達成し、自然言語の説明から正確で文脈に即したコードを生成する優位性を示しています。

結論として、LEVER技術は、自然言語の説明を実行可能なコードに変換するためのコードLLMの能力を向上させます。この方法は、実行結果を考慮に入れる検証者を使用することで、より伝統的な実行エラーの剪定戦略よりも精度が向上します。その成果は、さまざまな言語からコードへのタスクにおける効率性を示し、データベースインターフェイス、ロボティクス制御、仮想アシスタントなど、さまざまなAIアプリケーションの向上の可能性を示唆しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

オンラインで機械学習を学ぶ方法

導入 機械学習は現在高度に発展している技術の分野です。この技術により、コンピュータシステムは技術的なプログラミングなし...

AIニュース

スケーリングダウン、スケーリングアップ:モデルの量子化での生成AIのマスタリング

紹介 人工知能の進化する風景の中で、生成型AIは確実に革新の中核となってきました。これらの高度なモデルは、芸術の創造、テ...

人工知能

「人工知能の暗黒面」

この記事では、AIを恐れるべきなのか、あるいは有名人からの警告は根拠がないのかという問いについて探っています

人工知能

2023年に使用するための10の最高のAI画像生成ツール

2023年、最高のAI画像生成ツールは非常に複雑で高度であり、ユニークなデザインを育んでいます。デザイナーは時間制約やクリ...

データサイエンス

「機械学習と人工知能を利用した在庫管理の改善」

「人工知能(AI)は在庫管理システムの効果を大幅に向上させることができます需要予測をサポートし、在庫レベルを最適化し、...

機械学習

大規模言語モデル(LLM)の微調整

この投稿では、事前学習されたLLMをファインチューニング(FT)する方法について説明しますまず、FTの重要な概念を紹介し、具...