マイクロソフトの研究者がTable-GPTを紹介：二次元テーブルの理解とタスクで言語モデルを優れたものに

マイクロソフトの研究者がTable-GPTを紹介：二次元テーブル理解とタスクでの言語モデルの優れた性能

最近、人工知能の分野における最新の発展により、GPTやLLaMaなどの大規模言語モデルは、自然言語タスクの幅広いスペクトラムにおいて注目すべきパフォーマンスを持続的に示しています。これらのモデルは、さまざまなドメインで効果が証明され、自然言語処理の分野を大いに進歩させています。言語モデルは、人間の指示を受けてさまざまなタスクを実行することができます。ただし、この中には、テーブルの知識を必要とするタスクには困難が伴うという欠点があります。これは、彼らの主要なトレーニングが一次元の自然言語テキストである一方で、テーブルは二次元の構造であるためです。

そこで、研究チームは、この問題を解決するために、テーブルチューニングという革新的な手法を提案しました。この方法では、実際のテーブルから派生したさまざまなテーブル関連のタスクを用いて、既存の言語モデル（GPT-3.5やChatGPTなど）をさらにトレーニングまたは最適化することが求められます。これにより、これらの言語モデルのテーブル理解と操作の能力を向上させることが主な目的です。

テーブルチューニングによって生成されたTable-GPTモデルは、テーブルの理解能力が向上しています。これらのモデルは、幅広いテーブルベースのタスクにおいて、通常のGPT-3.5やChatGPTよりも一貫して優れたパフォーマンスを発揮しています。つまり、彼らは表形式のデータをより正確に解釈し操作することができます。テーブル-GPTモデルは、テーブルジョブに特化しているにもかかわらず、高度な一般化能力を保持しています。人間の指示に対して効果的に反応できるため、新しいテーブル関連の活動にも適応することができます。この柔軟性は、ChatGPTがさまざまな自然言語タスクや元のGPT-3.5を処理する能力と同様です。

• このAI研究では、「RAFA」という、証明可能なサンプル効率を持つ独立型LLMエージェントのための原則的な人工知能フレームワークを紹介します
• CMUとUCサンタバーバラの研究者は、心理療法における認知の歪み検出のための革新的なAIベースの「思考の診断」を提案しています
• 「UTオースティンの研究者が、LIBEROを導入：意思決定とロボット工学における知識移転を研究するためのライフロング・ロボット・ラーニング・ベンチマーク」

以下に主な貢献点をまとめました。

1. テーブルチューニングパラダイム：テーブルチューニングパラダイムを導入し、テーブルを用いたタスクの効率を改善するために言語モデルを再トレーニングします。これには、実際のテーブルから合成したさまざまなテーブルベースのジョブが使用されます。

1. データ拡張手法：タスクレベル、テーブルレベル、指示レベル、補完レベルのデータ拡張手法が異なるレベルで開発されました。これらの手法は、Table-GPTの汎化能力を維持し、オーバーフィッティングを防ぐために必要です。トレーニングセットに付加価値を与えることで、モデルを強化します。

1. テーブルタスクでのパフォーマンス：Table-GPTは、ゼロショットおよびフューショットの両方のシナリオで、テーブルベースのタスクにおいて卓越した能力を持っています。これは、モデルが専門的なトレーニングや例が少ない状況でも、これらのタスクを非常にうまく実行できることを示しています。

1. Table-GPTの適応性は、テーブルの基礎モデルとして使用するには適しています。タスクに特化したファインチューニングやプロンプトエンジニアリングなどのダウンストリームの単一タスク最適化に関して、バニラのGPTよりも優れた選択肢となることができます。これは、テーブル作業以外の様々な目的にとってどれほど有用かを示しています。

要約すると、提案されたテーブルチューニングパラダイムは、言語モデルに対してテーブルの使い方を教える難しさを克服する方法を提供します。これにより、これらのモデルは二次元データ構造の理解を改善し、既知のテーブル関連のジョブだけでなく、未知のジョブにおいても成功するためのツールを提供します。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!