認知的燃焼の引火：認知アーキテクチャとLLMの融合による次世代コンピュータの構築

Cognitive Combustion Ignition Building Next Generation Computers through Fusion of Cognitive Architecture and LLM.

「システムはその部分の合計ではなく、相互作用の産物です」ラッセル・アッコフ。

私たちは最新のガジェットやアルゴリズムに固執しがちですが、単独の技術だけでは現実世界の変化を起こすことはできません。真の進歩は、技術をソリューションに組み込むシステムに依存しています。個々のツールは手段であり、システム自体が目的です。

この例を考えてみましょう。私たちは燃焼の力を何世紀にもわたって利用してきましたが、その真の可能性を解き放つには、内燃機関という複雑なダンスを構築する必要がありました。この内燃機関は爆発を発生させ、クランクを回転させ、ピストンを駆動させるためのものです。エンジンの部品は劇的に進化しましたが、概念的な設計はその部分が達成できる範囲をはるかに超える結果を生み出すため、変わらないものです。

• 認知的な燃焼を引き起こす：認知アーキテクチャとLLMの融合による次世代コンピュータの構築
• 「チップメーカーは、AIを推進するためにレゴブロックのように’チップレット’を積み重ねる」
• 「A.I. Doomerismの白熱の中心に入ってみよう」

同様に、コンピューティングにおいても進歩はシステム思考によるものです。1945年、数学者のジョン・フォン・ノイマンはメモリ、入力、出力、制御、処理を統合したアーキテクチャを構築し、計算問題を解決するためのものとしました。このシステムこそが、現代のコンピューティングの基礎となりました。78年後の今日、技術は非常に異なっているものの、フォン・ノイマンの原則はほぼそのままです。よりパワフルなコンピュータは、アーキテクチャが実際の問題解決方法を形作るため、その1940年代の祖先と構造的に似ています。

私たちは再び考え直しの最中ですが、今回は言語モデルの台頭によるものです。しかし、それに入る前に、私たちが取り組んでいることを見てみましょう。

シンボリックとサブシンボリック

私たちの多くにとって、技術とは、コード、数字、言語などのシンボルに基づく論理的で説明可能なシステムを意味します。私たちはコンピュータに明示的なシンボルの指示を与え、彼らは私たちのレシピに従って決定論的に予測可能な結果を生み出します。これらのルールベースのシステムは、混沌で構造化されていないサブシンボリックなシステムの陰の存在です。

サブシンボリックなシステム（ニューラルネットワークなど）は、生物学的なニューロンの分散的かつ並列的な性質を模倣します。個々のノードの非協調な活動から答えが浮かび上がります。これはアリが単純なパターンに従って集団を形成するのと同様です。シンボリックなシステムは人間の論理によって作り出されますが、サブシンボリックなシステムは自らパターンを認識し、ぼんやりとした関連性を見出します。彼らの結果は、シンボリックで透明なプロセスと比べて、魔法のように思えるかもしれませんが、不透明です。

それでも、陰陽のシンボルのように、私たちの心はこれらの二つのモードを結びつけます。シンボリックな能力によって、私たちはルールを作り、それに従い、論理的な議論を構築し、明確に言語を通じて意思疎通することができます。サブシンボリックな能力によって、私たちは顔を認識し、感情を感じ取り、混沌とした物理的な世界をスムーズに移動することができます。

四角い穴。丸いくぼみ。

私たちの規則に縛られた世界は、手に負えない異質な存在、大規模な言語モデル（LLM）と出会いました。私たちは技術が論理的に振る舞い、一貫した結果を生み出すことを求めますが、LLMは確率的に考え、私たちが行き詰まりと考えるところで可能性を見出します。私たちは彼らの創造性を幻覚的だとして無視し、シンボリック思考の四角いレンズを通じて判断します。しかし、未来では、シンボリックとサブシンボリックの両方を点火し、認知的な燃焼を引き起こすエンジンが必要です。それによって、計算の新たな高みに向かうことができます。

幸いなことに、科学者たちは長い間この問題に取り組んできました。だれもが機械を人間のように行動させる方法の暗号を解読したいと思わないでしょうか？

認知アーキテクチャ

1950年代以来、研究者たちは「認知アーキテクチャ」と呼ばれるシステムを追求してきました。これらのシステムは、広範に理論を展開し、洞察を得ること、変化に適応すること、自らの思考に反省することができます。

数十年にわたる研究の結果、認知アーキテクチャは300以上の提案に広がりました。コステルバとツォツォスによるレビューでは、84のアーキテクチャを分析し、それらを分類しました。それらは生物学に着想を得たニューラルネットワークから堅牢なシンボリックルールシステムまで、さまざまなハイブリッドが存在することがわかりました。

認知の共通モデル

ありがたいことに、これらのモデルをすべて解析する必要はありません。2017年、ジョン・レアードと同僚は「心の標準モデル」を提案し、これらのアーキテクチャを議論するための共通のフレームワークを提供しました。彼らのモデルは、3つの先駆的なアーキテクチャからのキーコンセプトを統合しています：

• 1976年以来、ジョン・アンダーソンが開発したACT-Rは、手続き的および宣言的メモリを介して認知をモデル化しています。手続き的メモリはスキルやルーティンをエンコードし、宣言的メモリは事実を格納します。ACT-Rは、「～ということを知っている」と「～を知っている」の相互作用が知的な行動を可能にする方法を示しています。
• 1980年代にジョン・レアードによって作成されたSoarは、知覚、学習、計画、問題解決、意思決定にわたる統一されたルールベースのシステムを提供します。「プロダクション」は、作業メモリ上で動作する条件-アクションルールとして知識を表します。Soarは、プロダクションを動的に追跡することにより、柔軟で目標指向の能力をシミュレートします。
• 1988年にポークとニューウェルが考案したSigmaは、心を非同期の行動の社会と見なします。精神モジュールは他の行動をトリガーするメッセージを送信し、欲求が満たされるか放棄されるまで続けます。この「行動生成と管理」ループによって、複雑で適応的な行動が生まれます。

心の標準モデルは、3つのインタラクティブなメモリシステムで構成されています：

宣言的メモリは、意識的に宣言できる事実や概念を格納する知識ベースです。好きな色、歴史的な出来事、交通標識、語彙などの情報を保持します。宣言的メモリは、他のシステムが利用する思考の原料を提供します。

手続き的メモリは、行動を可能にする「方法」の知識でスキルやルーティンをエンコードします。自転車の乗り方、靴の結び方、楽器の演奏などが含まれます。手続き的メモリは、知識を行動に翻訳します。

作業メモリは、一時的に情報を保持し操作するメンタルな作業空間です。計画立案、問題解決、意思決定を可能にします。数学の問題を解く場合、作業メモリは数値、演算、中間ステップを保持し、解決策が出るまで統合します。宣言的メモリと手続き的メモリからの知識のアクセスと適用を統合します。

このモデルでは、コントローラは存在せず、代わりに「認知サイクル」によって駆動されます。コンピュータのクロックサイクルのように、この「認知サイクル」は目標達成のための手続きを実行することでシステムの動作を駆動します。

たとえば、車を運転する場合には、次のものが必要です：

• 交通標識、コントロール、経路に関する宣言的知識
• 運転のための手続き的スキル
• 瞬時の状況を監視し反応するための作業メモリ

言語モデルを心の標準モデルに統合する

標準モデルは、現在の言語モデルのブーム前にキーコンポーネントを述べています。まだ初期段階ですが、現在のエージェントフレームワーク（AutoGPT、BabyAGIなど）はこれらの機能の一部を実現しています。

これらのフレームワークでは、独立したメモリモジュールではなく、ベクトル検索を介して外部の知識源にアクセスします。知覚やモーターのモジュールはAPIコールやプラグインとして実装されています。言語モデルのコンテキストウィンドウは一時的な作業メモリとなります。

重要なギャップは、頑健な学習です。現在のシステムは経験から持続的に知識とスキルを蓄積するメカニズムを欠いています。代わりに、プロンプトやモデルのチューニングに頼っています。次のブレイクスルーは、相互作用からの持続的な学習を可能にするメカニズムを統合することです。これにより、知識とスキルが人間の心のように逐次的に蓄積されます！

進歩のための新しいレシピ？ 認知アーキテクチャの作成

今日、私たちは言語モデル、ベクトル検索、APIなどの新しい材料と、認知アーキテクチャからの知能の古いレシピとともにいます。これらが1つの部分を超えた能力を持つ新しいシステムに混ぜられるかどうかはまだわかりません。フォン・ノイマンの計算フレームワークや内燃機関のように、進化し続けるレシピの例が歴史にはあります。しかし、先見の明のあるレシピがある一方で、失敗した調合は数多くありました。

一つはっきりしていることは、この新しい「認知エンジン」を見つけ出すと、これまでのどんな技術よりも進歩を大きく推進するでしょう。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!