このUCLAのAI研究によると、大規模な言語モデル(例:GPT-3)は、様々なアナロジー問題に対してゼロショットの解決策を獲得するという新たな能力を獲得していることが示されています

According to AI research at UCLA, large language models like GPT-3 have shown the ability to acquire zero-shot solutions for various analogy problems.

類推的な推論は、人間の知性と創造力の基盤となるものです。未知の課題に直面した際、個人は順序立ててそれらをより理解しやすいシナリオと比較することで、実行可能な解決策を頻繁に考案します。このアプローチは、日常の問題の解決から創造的な概念の育成、科学的発見の限界の押し上げまで、様々な活動において人間の思考の重要な役割を果たしています。

ディープラーニングと大規模言語モデル(LLM)の進化により、LLMは類推的な推論のテストと研究が広範に行われています。高度な言語モデルは、独立した思考と抽象的なパターン認識の能力を備えており、人間の知性の基本原理として機能しています。

UCLAの研究チームによる研究は、LLMの真の能力に光を当てました。この研究はその重要な発見のために注目を浴びています。これらの結果は最新号のNature Human Behaviorに掲載され、『Emergent Analogical Reasoning in Advanced Language Models』という記事で紹介されています。この研究では、大規模言語モデル(LLM)が人間のように考え、統計に基づいた思考を模倣していないことが示されています。

この研究では、人間の推論者と頑健な言語モデル(text-davinci-003、GPT-3のバージョン)との間で、様々な類推的な課題を比較しました。

研究者は、言語モデルGPT-3を、事前のトレーニングなしでさまざまな類推的な課題について調査し、人間の応答と直接比較しました。これらの課題は、Raven’s Standard Progressive Matrices(SPM)のルール構造に着想を得た、明確なテキストベースの行列推論の課題と、視覚的な類推の課題を含んでいます。

モデルの出発点は、実世界の言語データの大規模なウェブベースのコレクション(総トークン数4000億以上)でトレーニングされたベースバージョンでした。このトレーニングプロセスは、次のトークンの予測目標によってガイドされ、モデルが与えられたテキストのシーケンスで最も確率の高い次のトークンを予測することを学習しました。

この評価では、以下の4つの異なる課題カテゴリを包括的に調査し、類推的な推論のさまざまな側面を探求しました:

  1. テキストベースの行列推論の課題
  2. 文字列の類推
  3. 四項目の言語的な類推
  4. ストーリーの類推

これらのドメインを横断して、モデルのパフォーマンスと人間のパフォーマンスを直接比較し、人間の類推的な推論に近い条件の範囲内でのエラーのパターンと全体的な効果を調べました。

GPT-3は、抽象的なパターンを把握する能力において、さまざまなシナリオでしばしば人間と同等またはそれ以上のパフォーマンスを発揮しました。GPT-4の初期試験も非常に有望な結果を示すようです。これまでのところ、GPT-3のような大規模言語モデルは、幅広い類推パズルを自発的に解く才能を持っているようです。

さらに、彼らはtext-davinci-003が類推的な課題において輝いていることを発見しました。興味深いことに、以前のモデルバージョンも特定のタスクシナリオで自らの力を発揮し、text-davinci-003の類推的な推論の才能を向上させる要因の組み合わせを示唆しています。

GPT-3は、事前のトレーニングなしに文字列の類推、四項目の言語的な類推、およびストーリー内の類推を扱う能力において印象的なスキルを示しました。これらの結果は、これらの高度な言語モデルが実際に類推による推論を行う能力を既に備えている可能性を示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIニュース

Amazon SageMaker Model Cardの共有を利用して、モデルのガバナンスを向上させる

MLガバナンスの一環として利用可能なツールの1つは、Amazon SageMaker Model Cardsですこのツールは、モデルのライフサイクル...

人工知能

音楽作曲における創造的なジェネレーティブAIの交響曲

はじめに 生成型AIは、教科書、画像、音楽などの新しいデータを生成できる人工知能です。音楽作曲では、生成型AIは作曲家に新...

機械学習

このAI論文では、アマゾンの最新の機械学習に関する情報が大規模言語モデルのバグコードについて明らかにされています

プログラミングは複雑であり、エラーのないコードを書くことは時には難しいです。コードの大規模言語モデル(Code-LLMs)はコ...

データサイエンス

「分散データパラレル(DDP)の包括的ガイド」

みなさんこんにちは!私はメタの研究科学者、フランソワです新しいチュートリアルシリーズ「素晴らしいAIチュートリアル」の...

機械学習

「CLAMPに会ってください:推論時に新しい実験に適応できる分子活性予測のための新しいAIツール」

数十年にわたり、化学構造に基づいて分子の化学的、巨視的、または生物学的な特性を予測するタスクは、重要な科学的な研究課...

データサイエンス

このAI研究では、優れた画像分類のためにランダムスライスデータ拡張(RSMDA)を提案します:ニューラルネットワークの精度と堅牢性を向上させるための新しいアプローチ

データ拡張は深層学習における重要な技術であり、既存のサンプルを変更して新しいトレーニングデータを作成することを含みま...