次元性の祝福？！（パート1）

次元性の祝福？！驚きの美容＆ファッショントレンド（パート1）

比較的新しいコンピューティング技術がMLの風景を革新しています

ダートマスからLISPへ

「もし選りすぐりの科学者の集団が夏季に一緒に取り組むなら、これらの問題のいずれかで重要な進展が達成されると考えています」という提案が述べました。ジョン・マッカーシーと彼の同僚たちはその行を書きながら知らず知らずのうちに、彼らの短い夏のプロジェクトが人類が今まで目にした中でも最も偉大な技術革命の一つを引き起こすことになるとは。

多くの面で、1956年のダートマス夏季プロジェクトは人工知能（AI）の誕生の場と考えられます。創設以来、AIを理解し、知的システムを創造するためのそれぞれ異なるアプローチを持つ2つの学派が生まれています。

シンボリックAI：最初の学派

おそらく、2つのうち「古代」にあたるのはシンボリックAI（もう一つはコネクショニストAI）と呼ばれるものです。非常に単純に言えば、このアプローチは次のようなものです。

• オブジェクト（例：動物）の大きなデータベースを作成する
• これらのオブジェクトを操作するためのルールを定義する（動物を哺乳類、爬虫類、昆虫にするものは何か？）
• 最初の2つのステップを使用して論理的な推論を行う（「猫は昆虫ですか？」）

より正式には、シンボリックAIのアプローチは、シンボルとルールを使用して知識を表現し、操作することを重視しています。人間の脳の構造をヒントにしたコネクショニストAIと異なり、シンボリックAIは概念と関係の明示的な表現に焦点を当てています。

• Principal Components Analysis（主成分分析）が好きですか？新しい論文が「ファントム振動」というアーティファクトを生成できることを報告しています
• より良いOCRパフォーマンスを得るためのEasyOCRの微調整方法
• 「2023年のトップ8のAIトレンド：年間レビュー」

シンボリックAIシステムでは、知識はオブジェクト、アクション、または抽象的な概念を表すシンボルの形式でエンコードされます。これらのシンボルは推論のルールを使用して操作され、システムは結論を導き出し、意思決定を行うことができます。このルールベースの推論により、シンボリックAIシステムは論理的かつ構造化された方法で問題を解決することができます。

非常にシンプルな例

1. 次の動物に関するデータベースの事実をAIにロードすることができます：名前、種類、および特徴a. 動物（猫、哺乳類、毛、四本の脚）。b. 動物（魚、水生、鱗、脚なし）。c. 動物（鳥、鳥類、羽、二本の脚）。d. 動物（ヘビ、爬虫類、鱗、脚なし）。
2. 次に、次のような分類のためのルールをプログラムすることができます：a. 哺乳類（X）：- 動物（X、哺乳類、毛、四本の脚）。b. 水生（X）：- 動物（X、水生、鱗、脚なし）。c. 鳥類（X）：- 動物（X、鳥類、羽、二本の脚）。d. 爬虫類（X）：- 動物（X、爬虫類、鱗、脚なし）。
3. これに続いて、異なるクエリに応答できるシンプルなエキスパートシステムが得られます。例えば、[a] クエリ：哺乳類（猫）。# 猫が哺乳類かどうかを尋ねています。予想される応答：true[b] クエリ：哺乳類（魚）。予想される応答：false。

こちらからシンボリックAIシステムの詳細なプライマーをご覧いただけます

シンボリックAIは、推論と計画が必要な領域（エキスパートシステムやゲームプレイなど）で特に成功しています。成功例には、以下のものがあります：

• Shakey the Robot（最初の図を参照）は、SRIインターナショナル、すなわちスタンフォード研究所で開発されました[5]。
• スタンフォード大学で人間の感染症の診断と治療に使用するために開発された、ルールベースのAIである「MYCIN」などのエキスパートシステム。
• MITでジョセフ・ワイゼンバウムによって作成された最初の自然言語処理プログラムの一つであるELIZA。

象徴的なAIは、少なくとも最初は非常に成功し、さまざまなアプリケーションで使用されました。実際に、LISP（1950年代）などの形式言語の一族がAIシステムの思考とコーディングを容易にするために作成されました[3]。しかし、このAIシステムの考え方には非常に基本的な欠点がいくつかあります。

Symbolic AIのいくつかの問題

• 不確実性の扱い– 象徴的AIシステムは、不確実性の表現と推論に苦労します。- 現実の状況では、不完全または曖昧な情報が含まれることが多く、従来の象徴的なアプローチは不確実性を効果的に扱うのに苦労することがあります。- 医療診断や自然言語理解など不確実性が固有のドメインでは、象徴的AIは過度に決定論的または不正確な結果を提供する可能性があります。
• (関連) 知識表現と獲得– 象徴的AIシステムは、記号や規則の形での明示的な知識の表現に依存しています。- これは、現実の世界の広範かつ微妙な知識をキャプチャするのに課題を提供します。- たとえば、自律走行といった非常に複雑なタスクは、単なる「もし〜なら〜を行う」という命令のセットとして表現することはできません。何十億ものような条件をAIエージェントにどのように組み込むのでしょうか？
• 学習と適応の不足– 新しいデータや経験から学ぶ方法がありません！- AIエージェントは、プログラマがコードに組み込んだものだけを行います。現実の世界のデータは、プログラマの対象世界の動作に関する知識としてエージェントに注入されるだけです。これは非常に限定的でバイアスのかかった知識かもしれません。

これらを含むいくつかのかなり深刻な障害により、象徴的AIの進展は非常にイライラする試みとなりました。しかし、これとは別に、ミンスキーとパパートによるパーセプトロン分類器へのXORの死の鐘に応えて、「まだ終わっていない！」と言いたつ研究者たちによって、静かに別の考え方が開発されていました。

Connectionist Nationに攻撃が加えられたとき、すべてが変わりました…

AIへのConnectionistアプローチは、最近の自動運転のWaymoキャブ、Appleの顔認識システム、感謝祭ディナーでおじさんボブが教えてくれたロボット軍団に関するニュースでよく耳にするものです。

Connectionistアプローチの人工知能（AI）は、神経細胞の相互接続を模倣することで、知的なシステムを作成することを目指して、人間の脳の構造と機能からインスピレーションを得ています。象徴的AIが明示的な規則と表現に依存しているのに対し、コネクショニストAIは「人工ニューラルネットワーク」（ANN）と呼ばれるコンピュータプログラムを使用してデータを学習し、決定を行います。

ANNは、相互に接続された人工ニューロンの層で構成され、それぞれが入力信号を受け取り、その信号を処理し、他のニューロンに出力信号を送信します。たとえば、図4の右側では、各円（青、緑、黄）が1つの「ニューロン」を表しています。これらの接続（または重み）は学習というプロセスを通じて調整され、ANNはデータのパターンや関係を識別することができます。この学習能力により、コネクショニストAIシステムは、明示的なプログラミングなしでも新しいデータに基づいて複雑な問題を解決し、予測することができます。

詳細には立ち入らずに（そして本当に詳細すぎますが）、1990年頃には、勾配降下法とバックプロパゲーションは、つながり主義的なアプローチに対する一般的な関心の不足を考慮しても[4、16]驚くほどうまく発展していました。ただし、つながり主義的なアプローチを使用してより複雑な現実世界の問題を解決しようとする試みは、（1）コンピューティングハードウェアの不十分さと（2）トレーニングデータの不足によって妨げられました。

モーアとリによる救出

2000年代後半には、モーアの法則のおかげで、コンピューティングの問題の解決に非常に大きな進展がありました。同様に、Fei Fei Liなどの研究者は、オンラインで利用可能な膨大な量の画像データを利用して、巨大なデータセットを作成し、ANNのトレーニングを支援しました（余談ですが、LiによるImageNetデータセットの作成は、独自の記事を書くほどエキサイティングな物語です😉）。そして、AIがLiのImageNetチャレンジを解決したとき、つながり主義が明らかな勝者となりました。

2012年9月30日

「アレックスネットの瞬間」として有名になった出来事の後、（[17、15]を参照するか、Pieter Abbeelの話を5分間聴くだけでも）ANNは脚光を浴び、数年で自然言語処理、医学、ロボティクスなど、極めて異なる分野を革命化しました（Abbeelの研究室は多くのロボティクスの突破口を生み出してきたことで有名です）。しかし、つながり主義のAIは決して万能ではありません。

つながり主義のAIの問題点

前のアプローチをまさに「混乱したAI」として一蹴する前に、後者を悩ませるいくつかの問題を見てみましょう。

1. 説明の欠如 [18]– 前の図に示されるANNを、11枚のディスクではなく1750億枚のディスクでイメージしてみてください。この巨大なものの考え方を理解するためには、どうやって始めるのでしょうか？多くの推定によると、GPT 3.5には約1750億個のパラメータがあります。- 複雑なアーキテクチャと大量のパラメータのため、ニューラルネットワークはしばしば「ブラックボックス」と見なされます。- 明らかに、意思決定の背後にある根拠を理解することが重要な応用（例：医療診断、ファイナンス）では、説明の欠如はつながりモデルの採用を制限する可能性があります。
2. メモリ、計算、電力– ANNは学習フェーズと通常の運用の両方で膨大な電力と計算資源を必要とします。- 現在のこの問題は非常に深刻であり、最大のANNのほとんどは私企業がトレーニングと運用を行っています。なぜなら、大学では巨大な電気料金や十分なプロセッサを購入することができないためです。
3. バインディング問題 [8]- 人間の脳では、色、形状、動きなどの様々な側面を異なる領域が処理します。- バインディング問題は、脳がこれらの異なる特徴を統合して統一的なオブジェクトやシーンの知覚を形成する必要があるため起こります。- たとえば、緑の野原を転がる赤いボールを見るとき、脳は色、形状、動きに関する情報をシームレスに組み合わせて、転がる赤いボールの統一的な知覚を形成します。- つながりモデルでは、異なる特徴は複数のニューロンの活性化パターンによってエンコードされる分散表現がよく使用されます。これにより並列処理と柔軟性が可能になりますが、特定の特徴を明示的にリンクさせることは困難です。- この問題に対応するためにアテンションなどの手法が使用されていますが、まだ解決からは程遠く、つながり主義アプローチの主な欠点の一つです。

簡潔さを保つために、上記の問題に限定します。後で少し再訪します。つながりアプローチの欠点の詳細な議論については、[9、セクション2.1.2]をご覧ください。

したがって、研究者が以下のような主張をするのは驚くことではありません：

私たちの見解では、記号処理をニューラルネットワークに統合することは、人間レベルのAIを実現するために基本的な重要性があり、解決するために共同の取り組みが必要です。[8]

両方の要素のマスターであるHDCは私たちを救えるのか？

ハイパーディメンショナルコンピューティング（HDC）またはベクトルシンボリックアーキテクチャ（VSA）は、上記のアプローチの両方からのアイデアを統合し、私たちが議論したいくつかの問題を軽減するために組み合わせています。このAIの第3のアプローチにおける基本的な数量は、「ハイパーベクトル」と呼ばれるもので、非常に高次元（R¹⁰⁰⁰⁰など）の空間上のベクトルです。

結合、束縛、および順列 [7, 19]

簡単に言えば、これらのハイパーベクトルは、オブジェクトとそれらのオブジェクト間の関係を表すために使用されます（これが鳴るなら、符号的に話しているので、合っています）。たとえば、私たちは「オレンジ」という単語についての10,000次元のハイパーベクトルαと「カラー」という単語についての10,000次元のハイパーベクトルβを持っているとしましょう。そして、要素ごとの乗算によって得られた10,000次元のベクトル、γ = α ⊗ β は「オレンジカラー」を表しています。この操作は、HDC用語では「バインディング」と呼ばれています。

このようなバインディング操作の2つ以上の出力をバニラベクトル加算を通じて組み合わせることで、複数の特徴を重ね合わせることができます。たとえば、γとδがそれぞれ「オレンジカラー」と「丸い形」を表す場合、γ+δ は「オレンジカラーと丸い形」を表します。もちろん、私たちはオレンジ（🍊）の象徴的な表現を作り上げているわけです。この操作は「バンドリング」と呼ばれています。

第3の操作である「順列」は、ハイパーベクトルの要素を並び替えることを意味します。たとえば、ベクトルx = [a,b,c] が与えられた場合、xの一つの順列は Πx = [b,c,a] になります。この操作は、時間の順序のような順序を維持するために主に使用されますが、これは初心者向けの記事の範囲外です。

象徴的なものと接続主義という真の子

この手続きを使用して、私たちの場合は果物のオブジェクトを十分に豊かに表現すると、後でクエリに応答するために使用できる「データベース」のHDC相当品を持つことになります。これは一般的なHDCプロセスの説明であり、かなりゆるやかで形式化する必要があります。それについては、この記事のパート2で行います。今のところ、10,000個のエントリの中に「オレンジネス」と「形状」がどこに保存されているのかは？ANS記述に似ていて、答えは複数の座標に分散しています。「ホログラフィック表現」と呼ばれるこの情報の分散型ストレージにより、HDCは非常にエラートラブルであるために非常に堅牢です。なぜなら、10,000個のエントリの重要な割合を誤って破損することは非常に難しいからです。10,000次元のベクトルに非常に高次元なベクトルに移行するもう一つの理由は、「直行性」を保持するためです。これは少し難しいトピックですが、この記事の第II部で詳細に取り上げます。

10,000個のエントリのγの中に「オレンジネス」と「形状」がどこに保存されているのか？ANS記述に似ていて、答えは複数の座標に分散しています。

さらに、パート2で見るように、これらの特徴を表現するハイパーベクトル（γ+δ）は、データだけで構築することができます。したがって、HDCはデータと経験から学習することができます。

最後に、HDCはANNよりもはるかに少ない操作（特に非線形操作）を必要とするため、電力、計算力、およびメモリの消費量がはるかに少なくなります。精度の損失も十分に受け入れられます。ただし、応用が非常にパフォーマンス重視の場合（自動運転車やロボット手術など）には適していません。

そのため、このタイトル…

数十年にわたり、機械学習コミュニティは、次元削減のためのツールの一握りを開発してきました。主成分分析、因子分析、独立成分分析などの技術は、データを高次元の空間から低次元空間に移動させて、利用可能なデータに基づいてより高いテスト精度を保証するために定期的に使用されます。

HDCにおいては、哲学がまさに逆の方向に進んでいるように思われます！私たちは低次元空間からデータポイントを取り、非常に高次元の多様体にマッピングします。しかし、以前に見たように（そして第II部でより明確に見ることになりますが）、このアプローチには2つの非常に重要な利点があり、高次元性を真の祝福に変えます。

実用的な代替案？

HDCは、画像分類、音声認識、人間の活動検出など、非常にさまざまな機械学習（ML）データセットでテストされ、ニューラルネットワークやサポートベクターマシンなどの標準的なMLアルゴリズムと競争力を持つことが示されています [9,10,14,20 および参考文献]。

ただし、HDCは明らかにシンボリックAIとコネクショニストAIの多くの利点を組み合わせていますが、そのパワーや計算力の改善のほとんどは、比較的小さなデータセットや簡単なタスクでのみ実証されています。実際、HDCは操作や内部アーキテクチャの単純さのために、トランスフォーマーなどの重厚なコネクショニストアーキテクチャの代替とはなることはほとんどありません。

それにもかかわらず、このパラダイムは探究の余地があり、有望な新しい方向性です。人工神経回路網の低消費電力の代替手段には、ワイヤレスセンサーネットワークなど、いくつかの重要な応用領域があります。

次回予告

この記事は、2010年代後半以降に再注目されているかなり風変わりな技術について読者の好奇心を引き起こすことを意図していました。次のパートでは、実際に分類を行うために採用される正確なHDC手順を見ていきます。

執筆スタイルについての注意事項

読みやすさを向上させるために、私は意図的に半公式の執筆スタイルを選びました。必要な場合に限り参考文献を含めることはせず、通常の研究論文の形式を避けました。これはこの記事の他のパートでも使用するスタイルです。学者の方々には少し不安に感じるかもしれませんが、意図は調査記事を作成することではありません。

参考文献

1. McCarthy, John, et al. “A proposal for the dartmouth summer research project on artificial intelligence, august 31, 1955.” AI magazine 27.4 (2006): 12–12.
2. Grace Solomonoff, “The Meeting of Minds That Launched AI,” IEEE Spectrum, May 6th, 2023.
3. Edwin D. Reilly, “Milestones in computer science and information technology,” 2003, Greenwood Publishing Group. pp. 156–157.
4. Rumelhart, David E., Geoffrey E. Hinton, and Ronald J. Williams. “Learning representations by back-propagating errors.” nature 323.6088 (1986): 533–536.
5. SRI International Blogpost, “75 Years of Iinnovation: Shaky the Robot,” Link: https://www.sri.com/press/story/75-years-of-innovation-shakey-the-robot/ April 3rd, 2020.
6. Minsky, Marvin L., and Seymour A. Papert. “Perceptrons.” (1969).
7. Kanerva, Pentti. “Hyperdimensional computing: An introduction to computing in distributed representation with high-dimensional random vectors.” Cognitive computation 1 (2009): 139–159.
8. Greff, Klaus, Sjoerd Van Steenkiste, and Jürgen Schmidhuber. “On the binding problem in artificial neural networks.” arXiv preprint arXiv:2012.05208 (2020).
9. Kleyko, Denis, et al. “A Survey on Hyperdimensional Computing aka Vector Symbolic Architectures, Part I: Models and Data Transformations.” ACM Computing Surveys 55.6(2023)
10. Kleyko, Denis, et al. “A survey on hyperdimensional computing aka vector symbolic architectures, part II: Applications, cognitive models, and challenges.” ACM Computing Surveys 55.9 (2023)
11. Chen, Hanning, et al. “DARL: Distributed Reconfigurable Accelerator for Hyperdimensional Reinforcement Learning.” Proceedings of the 41st IEEE/ACM International Conference on Computer-Aided Design. 2022.
12. Ma, Dongning, and Xun Jiao. “Hyperdimensional Computing vs. Neural Networks: Comparing Architecture and Learning Process.” arXiv preprint arXiv:2207.12932 (2022).
13. Hernández-Cano, Alejandro, et al. “Reghd: Robust and efficient regression in hyper-dimensional learning system.” 2021 58th ACM/IEEE Design Automation Conference (DAC). IEEE, 2021.
14. Hernández-Cano, Alejandro, et al. “Onlinehd: Robust, efficient, and single-pass online learning using hyperdimensional system.” 2021 Design, Automation & Test in Europe Conference & Exhibition (DATE). IEEE, 2021.
15. Wikipedia contributors. “ImageNet.” Wikipedia, The Free Encyclopedia. Wikipedia, The Free Encyclopedia, 6 Nov. 2023. Web. 26 Nov. 2023.
16. Widrow, Bernard, and Michael A. Lehr. “30 years of adaptive neural networks: perceptron, madaline, and backpropagation.” Proceedings of the IEEE 78.9 (1990): 1415–1442.
17. Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. “Imagenet classification with deep convolutional neural networks.” Advances in neural information processing systems 25 (2012).
18. Zhang, Yu, et al. “A survey on neural network interpretability.” IEEE Transactions on Emerging Topics in Computational Intelligence 5.5 (2021): 726–742.
19. Ananthaswamy, Anil. “A New Approach to Computation Reimagines Artificial Intelligence,” Quanta Magazine, April 2023.
20. Imani, Mohsen, et al. “Revisiting hyperdimensional learning for fpga and low-power architectures.” 2021 IEEE International Symposium on High-Performance Computer Architecture (HPCA). IEEE, 2021.
21. Shalev-Shwartz, Shai, and Shai Ben-David. Understanding machine learning: From theory to algorithms. Cambridge university press, 2014.

脚注

1. ここでは、「解決された」という言葉を非常に相対的な意味で使用しています。それは単に、AlexNetがこれまでの試みに比べて分類精度が非常に向上したことを指しています。
2. 現在のANNが処理できる最大に対しての相対的な比較。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!