大規模言語モデルにおける推論力の向上:正確かつ転送可能なルールベース学習のための仮説から理論へ(HtT)フレームワークをご覧ください

大規模な言語モデルにおける推論力の向上:正確かつ転送可能なルールベース学習のための仮説から理論へ(HtT)フレームワークを紹介します


論理タスクの領域では、大規模言語モデル(LLM)は、例や中間ステップを提供された場合に、驚くべきパフォーマンスを示しました。ただし、LLM内に含まれる暗黙の知識に依存するアプローチは、時には誤った回答を生み出すことがあります。それには、暗黙の知識が不正確であるか、またはタスクに矛盾している場合です。

この問題に対処するために、Google、Mila – Québec AI Insitute、モントリオール大学、HECモントリオール、アルバータ大学、CIFAR AIチェアの研究チームが、LLMベースの推論のためのルールライブラリを取得するHypotheses-to-Theories(HtT)フレームワークを導入します。HtTは、誘導ステージと推論ステージの2つの主要なステージで構成されています。誘導ステージでは、LLMはまず、一連のトレーニング例に基づいてルールを生成し、検証することが求められます。

上記の画像は、Hypotheses-to-Theoriesを用いた9進算術問題のチェーンオブソートメソッドへの適用を示しています。簡潔さを保つため、フューショットの例は省略されています。誘導ステージでは、チェーンオブソート(CoT)技術を利用してルールを生成し、トレーニングサンプルを使用して検証します。

その後、生成されたルールを収集し、洗練されたルールライブラリを構築します。推論ステージでは、ルールライブラリから得られた知識を含んだCoTプロンプトを強化します。正しいルールは緑のマーカーで示され、間違ったルールは赤で表示されます。正しい答えに頻繁につながるルールは蓄積され、ルールライブラリが確立されます。推論ステージでは、LLMは取得したルールライブラリを利用して推論し、テストの質問に答えるように促されます。

HtTの評価では、研究者たちはチェーンオブソートや最小から最大へのプロンプティングなどの既存のフューショットの促進手法への改善としてHtTを統合しました。パフォーマンスは、現在のフューショットのプロンプティング手法にとって難しい2つの複雑な多段階推論問題で評価されました。

数値推論と関係推論の両方についての実験結果は、HtTが既存のプロンプティング手法を向上させ、精度が11%から27%向上することを示しています。さらに、取得したルールは異なるモデルや同じ問題のさまざまな形式に効果的に転送することができます。導入された方法は、LLMを用いたテキストの知識獲得の新たな手法への道を開きます。HtTは、LLMの分野におけるさまざまな応用を可能にし、さらなる研究の源泉となることが期待されています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

画像認識におけるディープラーニング:技術と課題

「人工知能の広大な領域において、特に画像認識の分野において、ディープラーニングはゲームチェンジャーとして登場しました」

人工知能

「Llama 2:ChatGPTに挑むオープンソースの深層ダイブ」

「プログラミングや創造的な文章作成などの特定の領域で有望な複雑な推論タスクをこなす大規模言語モデル(LLM)が存在します...

データサイエンス

デコード Transformersを平易な英語で説明します

コード、数学、またはキー、クエリ、値の言及なし

データサイエンス

テキストデータのチャンキング方法-比較分析

自然言語処理(NLP)における「テキストチャンキング」プロセスは、非構造化テキストデータを意味のある単位に変換することを...

機械学習

ショッピファイの製品推奨アプリに生成AIを導入する

ショッピファイの製品推薦アプリケーションであるSearch and DiscoveryにジェネレーティブAIがどのように実装されたかについ...

データサイエンス

自然言語処理のタクソノミー

「異なる研究分野と最近の自然言語処理(NLP)の進展の概要」