このUCLAのAI研究によると、大規模な言語モデル(例:GPT-3)は、様々なアナロジー問題に対してゼロショットの解決策を獲得するという新たな能力を獲得していることが示されています

According to AI research at UCLA, large language models like GPT-3 have shown the ability to acquire zero-shot solutions for various analogy problems.

類推的な推論は、人間の知性と創造力の基盤となるものです。未知の課題に直面した際、個人は順序立ててそれらをより理解しやすいシナリオと比較することで、実行可能な解決策を頻繁に考案します。このアプローチは、日常の問題の解決から創造的な概念の育成、科学的発見の限界の押し上げまで、様々な活動において人間の思考の重要な役割を果たしています。

ディープラーニングと大規模言語モデル(LLM)の進化により、LLMは類推的な推論のテストと研究が広範に行われています。高度な言語モデルは、独立した思考と抽象的なパターン認識の能力を備えており、人間の知性の基本原理として機能しています。

UCLAの研究チームによる研究は、LLMの真の能力に光を当てました。この研究はその重要な発見のために注目を浴びています。これらの結果は最新号のNature Human Behaviorに掲載され、『Emergent Analogical Reasoning in Advanced Language Models』という記事で紹介されています。この研究では、大規模言語モデル(LLM)が人間のように考え、統計に基づいた思考を模倣していないことが示されています。

この研究では、人間の推論者と頑健な言語モデル(text-davinci-003、GPT-3のバージョン)との間で、様々な類推的な課題を比較しました。

研究者は、言語モデルGPT-3を、事前のトレーニングなしでさまざまな類推的な課題について調査し、人間の応答と直接比較しました。これらの課題は、Raven’s Standard Progressive Matrices(SPM)のルール構造に着想を得た、明確なテキストベースの行列推論の課題と、視覚的な類推の課題を含んでいます。

モデルの出発点は、実世界の言語データの大規模なウェブベースのコレクション(総トークン数4000億以上)でトレーニングされたベースバージョンでした。このトレーニングプロセスは、次のトークンの予測目標によってガイドされ、モデルが与えられたテキストのシーケンスで最も確率の高い次のトークンを予測することを学習しました。

この評価では、以下の4つの異なる課題カテゴリを包括的に調査し、類推的な推論のさまざまな側面を探求しました:

  1. テキストベースの行列推論の課題
  2. 文字列の類推
  3. 四項目の言語的な類推
  4. ストーリーの類推

これらのドメインを横断して、モデルのパフォーマンスと人間のパフォーマンスを直接比較し、人間の類推的な推論に近い条件の範囲内でのエラーのパターンと全体的な効果を調べました。

GPT-3は、抽象的なパターンを把握する能力において、さまざまなシナリオでしばしば人間と同等またはそれ以上のパフォーマンスを発揮しました。GPT-4の初期試験も非常に有望な結果を示すようです。これまでのところ、GPT-3のような大規模言語モデルは、幅広い類推パズルを自発的に解く才能を持っているようです。

さらに、彼らはtext-davinci-003が類推的な課題において輝いていることを発見しました。興味深いことに、以前のモデルバージョンも特定のタスクシナリオで自らの力を発揮し、text-davinci-003の類推的な推論の才能を向上させる要因の組み合わせを示唆しています。

GPT-3は、事前のトレーニングなしに文字列の類推、四項目の言語的な類推、およびストーリー内の類推を扱う能力において印象的なスキルを示しました。これらの結果は、これらの高度な言語モデルが実際に類推による推論を行う能力を既に備えている可能性を示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

コンピュータサイエンス

オラクルクラウドインフラストラクチャは、新たなNVIDIA GPUアクセラレートされたコンピュートインスタンスを提供しています

生成的AIと大規模な言語モデル(LLM)による画期的なイノベーションを実現するために、トレーニングと推論の計算上の要求が急速...

AI研究

「LLMはナレッジグラフを取って代わるのか? メタリサーチャーが提案する『ヘッド・トゥ・テイル』:大規模言語モデルの事実知識を測るための新たな基準」

大規模言語モデルは、その超すばらしい能力によって多くの評価を集めています。彼らは人間を模倣し、人間のようにコンテンツ...

データサイエンス

このAI論文は、TreeOfLife-10Mデータセットを活用して生物学と保護のコンピュータビジョンを変革するBioCLIPを紹介しています

生態学、進化生物学、生物多様性など、多くの生物学の分野が、研究ツールとしてデジタルイメージおよびコンピュータビジョン...

データサイエンス

ドキュメント指向エージェント:ベクトルデータベース、LLMs、Langchain、FastAPI、およびDockerとの旅

ChromaDB、Langchain、およびChatGPTを活用した大規模ドキュメントデータベースからの強化された応答と引用されたソース

コンピュータサイエンス

72歳で亡くなったダグラス・レナット氏、人間に似たAIを作ろうとした人

彼は数十年間、人工知能に取り組み、日常の感覚を再現できるコンピュータを作り出すことに努めました