このUCLAのAI研究によると、大規模な言語モデル(例:GPT-3)は、様々なアナロジー問題に対してゼロショットの解決策を獲得するという新たな能力を獲得していることが示されています

According to AI research at UCLA, large language models like GPT-3 have shown the ability to acquire zero-shot solutions for various analogy problems.

類推的な推論は、人間の知性と創造力の基盤となるものです。未知の課題に直面した際、個人は順序立ててそれらをより理解しやすいシナリオと比較することで、実行可能な解決策を頻繁に考案します。このアプローチは、日常の問題の解決から創造的な概念の育成、科学的発見の限界の押し上げまで、様々な活動において人間の思考の重要な役割を果たしています。

ディープラーニングと大規模言語モデル(LLM)の進化により、LLMは類推的な推論のテストと研究が広範に行われています。高度な言語モデルは、独立した思考と抽象的なパターン認識の能力を備えており、人間の知性の基本原理として機能しています。

UCLAの研究チームによる研究は、LLMの真の能力に光を当てました。この研究はその重要な発見のために注目を浴びています。これらの結果は最新号のNature Human Behaviorに掲載され、『Emergent Analogical Reasoning in Advanced Language Models』という記事で紹介されています。この研究では、大規模言語モデル(LLM)が人間のように考え、統計に基づいた思考を模倣していないことが示されています。

この研究では、人間の推論者と頑健な言語モデル(text-davinci-003、GPT-3のバージョン)との間で、様々な類推的な課題を比較しました。

研究者は、言語モデルGPT-3を、事前のトレーニングなしでさまざまな類推的な課題について調査し、人間の応答と直接比較しました。これらの課題は、Raven’s Standard Progressive Matrices(SPM)のルール構造に着想を得た、明確なテキストベースの行列推論の課題と、視覚的な類推の課題を含んでいます。

モデルの出発点は、実世界の言語データの大規模なウェブベースのコレクション(総トークン数4000億以上)でトレーニングされたベースバージョンでした。このトレーニングプロセスは、次のトークンの予測目標によってガイドされ、モデルが与えられたテキストのシーケンスで最も確率の高い次のトークンを予測することを学習しました。

この評価では、以下の4つの異なる課題カテゴリを包括的に調査し、類推的な推論のさまざまな側面を探求しました:

  1. テキストベースの行列推論の課題
  2. 文字列の類推
  3. 四項目の言語的な類推
  4. ストーリーの類推

これらのドメインを横断して、モデルのパフォーマンスと人間のパフォーマンスを直接比較し、人間の類推的な推論に近い条件の範囲内でのエラーのパターンと全体的な効果を調べました。

GPT-3は、抽象的なパターンを把握する能力において、さまざまなシナリオでしばしば人間と同等またはそれ以上のパフォーマンスを発揮しました。GPT-4の初期試験も非常に有望な結果を示すようです。これまでのところ、GPT-3のような大規模言語モデルは、幅広い類推パズルを自発的に解く才能を持っているようです。

さらに、彼らはtext-davinci-003が類推的な課題において輝いていることを発見しました。興味深いことに、以前のモデルバージョンも特定のタスクシナリオで自らの力を発揮し、text-davinci-003の類推的な推論の才能を向上させる要因の組み合わせを示唆しています。

GPT-3は、事前のトレーニングなしに文字列の類推、四項目の言語的な類推、およびストーリー内の類推を扱う能力において印象的なスキルを示しました。これらの結果は、これらの高度な言語モデルが実際に類推による推論を行う能力を既に備えている可能性を示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

「機械学習における確率的要素の本質を明らかにする」

導入 機械学習は、データから学習し知的な判断を行うことを可能にする分野です。様々な概念と技術を含んでいます。そのうちの...

データサイエンス

クラウドの保護:クラウドセキュリティのフロンティアを航海する

この記事では、クラウドセキュリティについて、重要な考慮事項、ベストプラクティス、およびクラウド上のデータを保護するた...

機械学習

「AIの学び方」 AIを学ぶ方法

初心者の一般的な誤解は、最新のアルゴリズムを実装したいくつかのチュートリアルからAI/MLを学べるということですそのため、...

データサイエンス

「Google CloudとNVIDIAが協力を更に進展させる」

生成AIと大規模言語モデル(LLMs)が革新を推進する中で、トレーニングと推論のためのコンピューティング要件は驚異的なペー...

AI研究

「このAI研究は微生物学者が細菌を識別するのを助けます」

新しいAI研究がマイクロバイオロジーの研究所での菌叢の同定と解析のための包括的なフレームワークであるDeepColonyを提案し...

機械学習

FastAPI、AWS Lambda、およびAWS CDKを使用して、大規模言語モデルのサーバーレスML推論エンドポイントを展開します

データサイエンティストにとって、機械学習(ML)モデルを概念実証から本番環境へ移行することは、しばしば大きな課題を提供...