思考の木の探索 AIが探索を通じて理由付けを学ぶ方法の探求

思考の木の探索 AIの理由付け学習の探求

 

キーポイント

 

• 新しい論文では、「Tree of Thoughts」というフレームワークを提案し、より意図的な問題解決を可能にする
• 推論プロセスを、可能な「思考」の木を探索することとして表現する
• これらの思考を生成して評価するために、LLM自体を使用する
• 探索をガイドするために、古典的な探索アルゴリズムを使用する

 

• 「履歴書をよりスマートにする：仕事探しのためのAIパワードツール」
• 「犬レベルのAIから神レベルのAIへ向かって」
• 「AIはどこで起こるのか？」

イントロダクション

 

GPT-3などの大規模言語モデル（LLM）は、数学的な推論や常識的な知識などの領域で驚異的な能力を示してきました。しかし、彼らの基本的なテキスト生成方法である左から右へのトークン単位の方法は、戦略的な計画や探索に制約を加えることがあります。この論文では、このアプローチが数学パズルや創造的な執筆などの課題において、LLMの問題解決能力を大幅に向上させることを示しています。

 

ディスカッション

 

最近の論文、「Tree of Thoughts: Deliberate Problem Solving with Large Language Models」（邦題：大規模言語モデルを用いた意図的な問題解決）は、Shunyu Yao、Dian Yu、Jeffrey Zhao、Izhak Shafran、Thomas L. Griffiths、Yuan Cao、Karthik Narasimhanによって提案された「Tree of Thoughts」と呼ばれる新しいフレームワーク（ToT）によって、GPT-3やGPT-4などの大規模言語モデル（LLM）の問題解決能力を向上させることを提案しています。現在、LLMはテキスト生成時に左から右へのトークンレベルの意思決定に制限されており、より戦略的な計画や探索を必要とするタスクでは不十分です。

ToTでは、問題解決プロセスを木上の探索として表現し、各ノードが「思考」であり、中間の推論ステップを表すテキストの一貫したチャンクであるとします。これにより、LLMは複数の推論パスを探索し、問題の解決に向けた異なる思考の進捗を評価することができます。具体的には、以下のフレームワークが含まれます：

1. タスクの構造に基づいて問題を一貫した思考ステップに分解する
2. LLMを使用して、各ステップで複数の思考候補を生成する（前の思考に基づいて独立しているか、連続的に条件付けられているか）
3. 進捗状況を評価するための値の評価プロンプトを介して、異なる状態（部分解）の有望さをLLMに評価させる
4. LLMの値の推定値を使用して、木上で幅優先探索または深さ優先探索などの古典的な探索アルゴリズムを使用して、探索と刈り込みを行う

この意図的な探索により、LLMは先を見越し、戻り、必要に応じてよりグローバルな選択を行うことができます。このモジュラーなフレームワークはモデルに依存せず、思考のサイズ、生成、評価、探索のようなコンポーネントを問題の構造に柔軟に適応させることができます。

著者たちは、ToTを3つの新しいタスクでデモンストレーションしています。それらは「Game of 24」、「Creative Writing」、「Mini Crosswords」です。いずれの場合でも、ToTは標準のプロンプトベースラインに比べてGPT-4の問題解決性能を大幅に向上させます。たとえば、「Game of 24」では、チェーンオブソートのプロンプトでの成功率が4%からToTでの74%に向上しました。

全体として、ToTは古典的なAIの象徴的な計画と探索方法を現代のLLMと統合する方法を提供します。言語に基づく思考や熟考の解釈可能性は、より良い人間の合意を得るための機会を提供します。著者たちは、これをLLMのより一般的な問題解決能力を開発するための興味深い新たな方向性として提案しています。

 

研究Q&A

  「Tree of Thoughts」アプローチは、NeuroLogicデコーディングやLLM+Pフレームワークなど、シンボリックな計画や探索をニューラルモデルに組み込む他の手法と比較してどのような特徴がありますか？

ToTフレームワークは、別々のクラシカルなプランナー（LLM+P）やハードコーディングされたヒューリスティクス（NeuroLogic）に頼るのではなく、LLM自体が探索中にヒューリスティックなガイダンスを提供する点で異なります。言語に基づく思考表現は、シンボリックな計画言語よりも柔軟です。ただし、ToTはまだLLM+Pが示すようなLLMとプランナーコンポーネントの緊密な統合と双方向のコミュニケーションのレベルには達していません。

  「Tree of Thoughts」アプローチは、対話型の対話やストーリー生成などの自然言語タスクにも適用できるでしょうか？

現在の論文は推論タスクに焦点を当てていますが、思考の可能な継続を考える一般的なフレームワークは、より制約の少ない生成問題にも適用可能です。対話では、次に言う候補の思考がありますし、ストーリーではプロットポイントやキャラクターのアクションが思考になります。課題は、一貫した思考ステップの定義と効果的な評価プロンプトの開発です。

この研究の革新性は何ですか？

キーとなる革新は、言語モデルの推論を、左から右へのトークン生成ではなく、思考のツリー上での探索としてフレーム化することです。これにより、計画性が高まり、代替案の探索やグローバルな先読み/バックトラッキングが可能になります。思考を一貫した意味的な単位として表現することも、従来の検索方法と比較して革新的です。

この研究のより広範な影響は何ですか？

この研究により、LLM（Language and Logic Models）の問題解決能力と推論能力が大幅に向上し、コーディング、データ分析、ロボティクスなどのより複雑な実世界の応用に使用できるようになります。また、モデルの意思決定をより解釈可能にします。古典的な検索方法をニューラルモデルと統合することは、興味深い方向性です。

この研究の発表において、何らかの潜在的な問題や見落としはありますか？

探索されたタスクはまだ比較的単純です。アプローチがより開放的な問題にスケーリングするかどうかは、これから見極める必要があります。検索プロセスは、通常のサンプリングに比べて高い計算コストがかかる可能性があります。サブオプティマルな枝を刈るためのヒューリスティックは現在不完全です。

この研究からの論理的な次の研究ステップは何ですか？

重要な次のステップは、ToT（Tree of Thoughts）をより複雑な計画や意思決定のタスクに拡張し、外部の知識検索と統合し、学習済みのLLMだけに頼らずに、メタ学習や強化学習を用いてよりサンプル効率的にバリエーションを学習できるかどうかを調査することです。思考のサイズ、検索予算、パフォーマンスの相互作用の分析も開かれた問題です。

テイクアウェイ

• Tree of Thoughtsのパラダイムは、古典的な検索技術が現代のニューラルネットワークモデルと統合される方法を示しています。
• LLMが代替の推論経路を探索することで、意思決定がより解釈可能になります。
• この研究の方向性は、LLMの複雑な実世界の計画と分析タスクへの適用性を向上させることができます。
• 重要な次のステップは、制約の少ない問題にアプローチを拡張し、検索効率を改善し、このようなスキルがどのように学習できるかを研究することです。
• 全体として、Tree of Thoughtsの意図的で意味的な推論は、人工エージェントにとって刺激的な新しい機能を提供します。

Matthew Mayo（@mattmayo13）は、データサイエンティストであり、VoAGI（オンラインのデータサイエンスと機械学習の主要なリソース）の編集長です。彼の興味は自然言語処理、アルゴリズム設計と最適化、教師なし学習、ニューラルネットワーク、機械学習の自動化などです。Matthewはコンピュータサイエンスの修士号とデータマイニングの大学院ディプロマを持っています。彼にはeditor1 at VoAGI[dot]comで連絡することができます。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!