マイクロソフトリサーチと清華大学の研究者たちは、「思考の骨格（SoT）：LLMの生成を加速するための新しい人工知能の手法」という提案を行いました

マイクロソフトリサーチと清華大学の研究者たちによる「思考の骨格（SoT）：LLM生成の新たな人工知能手法」という提案

大型言語モデル（LLM）であるGPT-4やLLaMAなどは、技術的な風景を確実に変えました。しかし、処理速度の遅さは、広範な応用性を制限する繰り返しの課題です。その驚くべき能力にもかかわらず、LLMからの応答を得るためにかかる時間は、特にチャットボットや共同運転者、産業制御装置などのレイテンシ重視のアプリケーションにおいて、その効果を制限しています。この根本的な問題に対処する解決策の必要性に気付いたMicrosoft Researchと清華大学の研究者は、Skeleton-of-Thought（SoT）という革新的な手法を提案しました。

従来、LLMの速度を高速化するための取り組みには、モデルやシステム、ハードウェアの複雑な変更が含まれていました。しかし、研究チームはSoTで異なるアプローチを取っています。従来の方法とは異なり、SoTはLLMへの広範な変更を避け、代わりにブラックボックスとして扱います。焦点は、モデルの内部機能の変更から、出力コンテンツの組織の最適化に移ります。提案された解決策では、LLMにユニークな二段階のプロセスを実行するよう指示します。最初の段階では、LLMに回答の骨組みを導き出すよう指示します。その後、2つ目の段階では、LLMに骨格内の複数のポイントの並列拡張を行うよう指示します。このアプローチにより、モデルのアーキテクチャに複雑な調整を必要とせずに、LLMの応答時間を向上させる新しい手段が導入されます。

SoTの方法論は、コンテンツ生成プロセスを2つの異なる段階に分解することを含んでいます。まず、LLMに回答の骨組みを構築するよう促します。この初期段階は、ヒューマンで問題解決にアプローチする方法と一致しており、高レベルの構造を概説することで進められます。2番目の段階では、この骨格を利用して並列拡張が実行され、LLMが複数のポイントに同時に対応することが可能となります。驚くべきことに、このアプローチはLLaMAなどのオープンソースモデルやGPT-4などのAPIベースのモデルにも適用可能性を示しています。

• 複雑なAIモデルの解読：パデュー大学の研究者が、ディープラーニングの予測を位相マップに変換
• NVIDIA AI研究者が提案するTied-Lora 低ランクアダプテーション（LoRA）メソッドのパラメータ効率を向上させるための画期的な人工知能アプローチ
• マイクロソフトリサーチは、Florence-2という新しいビジョン基盤モデルを導入しましたこれは、さまざまなコンピュータビジョンやビジョン言語のタスクに対応する統一されたプロンプトベースの表現を持っています

SoTの効果を評価するために、研究チームはオープンソースおよびAPIベースのカテゴリにわたる12つの最近リリースされたモデルについて、広範なテストを実施しました。チームは、コーディング、数学、文書作成、ロールプレイなどのさまざまなドメインの質問を含むVicuna-80データセットを使用して、かなりの速度向上が観察されました。SoTでは、8つの12モデルで1.13倍から2.39倍の速度向上が実現されました。重要なことは、これらの速度向上を達成するために回答品質を犠牲にすることはありませんでした。チームはFastChatとLLMZooのメトリックを使用して、SoTの回答の品質を評価し、異なる質問カテゴリ全体で回答の品質を維持または向上させる能力を示しました。

結論として、SoTは遅いLLMの持続的な課題に対する有望な解決策として浮かび上がっています。研究チームの革新的なアプローチは、LLMをブラックボックスとして扱い、データレベルの効率最適化に重点を置くことで、コンテンツ生成の加速に対して新しい視点を提供しています。SoTでは、LLMに回答の骨組みを構築させ、それから並列拡張を実行させることで、効果的な応答時間の向上手段を導入しています。評価結果は、かなりの速度向上だけでなく、回答の品質を維持または向上させる能力を示し、効率と効果の二重の課題に取り組んでいます。この研究は、人工知能のダイナミックな思考プロセスにおける将来の探求の可能性を開き、より効率的で多様な言語モデルへのシフトを促すものとなります。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!