このUCLAのAI研究によると、大規模な言語モデル(例:GPT-3)は、様々なアナロジー問題に対してゼロショットの解決策を獲得するという新たな能力を獲得していることが示されています

According to AI research at UCLA, large language models like GPT-3 have shown the ability to acquire zero-shot solutions for various analogy problems.

類推的な推論は、人間の知性と創造力の基盤となるものです。未知の課題に直面した際、個人は順序立ててそれらをより理解しやすいシナリオと比較することで、実行可能な解決策を頻繁に考案します。このアプローチは、日常の問題の解決から創造的な概念の育成、科学的発見の限界の押し上げまで、様々な活動において人間の思考の重要な役割を果たしています。

ディープラーニングと大規模言語モデル(LLM)の進化により、LLMは類推的な推論のテストと研究が広範に行われています。高度な言語モデルは、独立した思考と抽象的なパターン認識の能力を備えており、人間の知性の基本原理として機能しています。

UCLAの研究チームによる研究は、LLMの真の能力に光を当てました。この研究はその重要な発見のために注目を浴びています。これらの結果は最新号のNature Human Behaviorに掲載され、『Emergent Analogical Reasoning in Advanced Language Models』という記事で紹介されています。この研究では、大規模言語モデル(LLM)が人間のように考え、統計に基づいた思考を模倣していないことが示されています。

この研究では、人間の推論者と頑健な言語モデル(text-davinci-003、GPT-3のバージョン)との間で、様々な類推的な課題を比較しました。

研究者は、言語モデルGPT-3を、事前のトレーニングなしでさまざまな類推的な課題について調査し、人間の応答と直接比較しました。これらの課題は、Raven’s Standard Progressive Matrices(SPM)のルール構造に着想を得た、明確なテキストベースの行列推論の課題と、視覚的な類推の課題を含んでいます。

モデルの出発点は、実世界の言語データの大規模なウェブベースのコレクション(総トークン数4000億以上)でトレーニングされたベースバージョンでした。このトレーニングプロセスは、次のトークンの予測目標によってガイドされ、モデルが与えられたテキストのシーケンスで最も確率の高い次のトークンを予測することを学習しました。

この評価では、以下の4つの異なる課題カテゴリを包括的に調査し、類推的な推論のさまざまな側面を探求しました:

  1. テキストベースの行列推論の課題
  2. 文字列の類推
  3. 四項目の言語的な類推
  4. ストーリーの類推

これらのドメインを横断して、モデルのパフォーマンスと人間のパフォーマンスを直接比較し、人間の類推的な推論に近い条件の範囲内でのエラーのパターンと全体的な効果を調べました。

GPT-3は、抽象的なパターンを把握する能力において、さまざまなシナリオでしばしば人間と同等またはそれ以上のパフォーマンスを発揮しました。GPT-4の初期試験も非常に有望な結果を示すようです。これまでのところ、GPT-3のような大規模言語モデルは、幅広い類推パズルを自発的に解く才能を持っているようです。

さらに、彼らはtext-davinci-003が類推的な課題において輝いていることを発見しました。興味深いことに、以前のモデルバージョンも特定のタスクシナリオで自らの力を発揮し、text-davinci-003の類推的な推論の才能を向上させる要因の組み合わせを示唆しています。

GPT-3は、事前のトレーニングなしに文字列の類推、四項目の言語的な類推、およびストーリー内の類推を扱う能力において印象的なスキルを示しました。これらの結果は、これらの高度な言語モデルが実際に類推による推論を行う能力を既に備えている可能性を示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「Pythonで簡単に実装するマルチクラスSVM」

この物語では、一般的なソフトマージンとカーネル化された形式でサポートベクターマシンの学習アルゴリズムを実装しますSVMの...

機械学習

「Amazon SageMaker JumpStartを使用して、2行のコードでファウンデーションモデルを展開して微調整する」

「Amazon SageMaker JumpStart SDKのシンプル化されたバージョンの発表をお知らせすることを楽しみにしていますこのSDKを使用...

機械学習

「サポートベクターマシン(SVM)とは何ですか?」

サポートベクターマシン(SVM)は、機械学習の分野で利用される教師あり学習アルゴリズムです。主に分類や回帰などのタスクを...

機械学習

Amazon BedrockとAmazon Transcribeを使用して、生成AIを使用して録音のサマリーを作成します

「会議のメモは共同作業の重要な一部ですが、しばしば見落とされてしまいます討論を主導し、注意深く聞きながらメモを取るこ...

コンピュータサイエンス

「このディスインフォメーションはあなたのためだけです」

生成AIは単にインターネットをより多くの嘘で満たすだけではありません-それはまた、特定のグループや個人をターゲットにした...

AI研究

「NTUシンガポールの研究者たちは、テキストから3D生成のための新しいプラグアンドプレイなリファインメントAIメソッドであるIT3Dを提案しています」

テキストから画像への領域で注目すべき進歩があり、研究コミュニティ内で3D生成への拡大に対する熱意の急増が起きています。...