「ニューラルネットワークの多様性の力を解き放つ：適応ニューロンが画像分類と非線形回帰で均一性を上回る方法」

Unlocking the power of neural network diversity A method for adaptive neurons surpassing uniformity in image classification and non-linear regression

ニューラルネットワークは、人間の脳に触発された方法でデータを処理するための人工知能の手法です。ニューラルネットワークは、人間の脳に似た層状の構造で相互に接続されたノードまたはニューロンを使用します。人工ニューロンは層に配置され、パターン認識、分類、回帰などのさまざまなタスクに使用されるニューラルネットワークを形成します。これらのニューロンは、トレーニングセッション中に数値の重みとバイアスを変更することで堅固な接続を形成します。

これらのニューラルネットワークの進歩にもかかわらず、それらには制限があります。それらは類似したタイプの多数のニューロンで構成されています。同一のニューロン間の接続の数と強度は、ネットワークが学習するまで変更される可能性があります。しかし、一度ネットワークが最適化されると、これらの固定された接続がそのアーキテクチャと機能を定義し、変更することはできません。

そのため、研究者たちは人工知能の能力を向上させる方法を開発しました。これにより、人工知能は自己の構造を内部から見ることができ、自己のニューラルネットワークを微調整することができます。研究によると、活性化関数の多様化は制限を克服し、モデルが効率的に動作することを可能にすることが示されています。

• 「本番環境での機械学習モデルのモニタリング：なぜ必要であり、どのように行うか？」
• 「機械学習の公衆の認識に関する問題」
• 効率の向上：私がテックMLEとして毎日使用する10のデコレーター

彼らは多様性に関してAIをテストしました。ノースカロライナ州立大学の物理学教授であり、NC Stateの非線形人工知能研究所（NAIL）の所長であるウィリアム・ディット氏は、彼らは非人間の知能である人工知能（AI）のテストシステムを作成し、AIが多様性を選ぶかどうか、その選択がAIのパフォーマンスを向上させるかどうかを確認するために使用したと述べました。さらに、彼はAIに自己の学習方法を見ることを許すことが鍵であると述べました。

ニューラルネットワークは、ニューロンが自律的に活性化関数を学習することを許すものは、画像分類や非線形回帰などのタスクにおいて、多様化が急速に進み、均質な対応物よりも優れたパフォーマンスを発揮する傾向があります。一方、ディット氏のチームは、AIにニューラルネットワーク内のニューロンの数、構成、および接続強度を自律的に決定する能力を与えました。このアプローチにより、学習が進むにつれて、さまざまなニューロンタイプと接続強度からなるサブネットワークを作成することが可能となりました。

ディット氏は、彼らはAIに内部を見る能力を与え、自己のニューラルネットワークの構成を変更する必要があるかどうかを決定する能力を与えました。基本的に、彼らはAIの脳の制御つまみを与えました。つまり、問題を解決し、結果を見て、最も有利なものを見つけるまで、人工ニューロンのタイプと混合物を変更できるのです。彼はこれをAIのメタ学習と呼びました。彼らのAIは多様なニューロンまたは均質なニューロンの選択をすることもできました。さらに、彼はAIがパフォーマンスを向上させるために常に多様性を選択することを発見したと述べました。

研究者たちは、このシステムを標準的な数値分類タスクに適用し、ニューロンの数と多様性の増加とともにシステムの精度が向上することを見つけました。研究者たちは、均質なAIは数字の識別において57％の精度を達成しましたが、メタ学習による多様なAIは素晴らしい70％の精度を達成しました。

研究者たちは、将来的にはハイパーパラメータを調整することにより学習された多様性の最適化を改善することに焦点を当てるかもしれないと述べました。さらに、獲得した多様性を回帰および分類のさまざまなタスクに適用し、ニューラルネットワークの多様性とパフォーマンスをさまざまなシナリオで評価する予定です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!