エッジにおける生涯学習

'Lifelong Learning at the Edge')

.fav_bar { float:left; border:1px solid #a7b1b5; margin-top:10px; margin-bottom:20px; } .fav_bar span.fav_bar-label { text-align:center; padding:8px 0px 0px 0px; float:left; margin-left:-1px; border-right:1px dotted #a7b1b5; border-left:1px solid #a7b1b5; display:block; width:69px; height:24px; color:#6e7476; font-weight:bold; font-size:12px; text-transform:uppercase; font-family:Arial, Helvetica, sans-serif; } .fav_bar a, #plus-one { float:left; border-right:1px dotted #a7b1b5; display:block; width:36px; height:32px; text-indent:-9999px; } .fav_bar a.fav_de { background: url(../images/icons/de.gif) no-repeat 0 0 #fff } .fav_bar a.fav_de:hover { background: url(../images/icons/de.gif) no-repeat 0 0 #e6e9ea } .fav_bar a.fav_acm_digital { background:url(‘../images/icons/acm_digital_library.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_acm_digital:hover { background:url(‘../images/icons/acm_digital_library.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_pdf { background:url(‘../images/icons/pdf.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_pdf:hover { background:url(‘../images/icons/pdf.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_more .at-icon-wrapper{ height: 33px !important ; width: 35px !important; padding: 0 !important; border-right: none !important; } .a2a_kit { line-height: 24px !important; width: unset !important; height: unset !important; padding: 0 !important; border-right: unset !important; border-left: unset !important; } .fav_bar .a2a_kit a .a2a_svg { margin-left: 7px; margin-top: 4px; padding: unset !important; }

Connectionist deep neural networks (DNN)は、膨大なデータベースを学習するために長い時間を費やし、その知識をネットワークのエッジで展開可能な固定推論エンジンに絞り込みます。もし新しいタスクを推論エンジンに追加する必要がある場合、従来は初期の中央データベースに追加して学習プロセスを繰り返し、それから再展開する必要がありました。なぜなら、既に訓練された深層ニューラルネットワークで学習を「オン」にしたままにすることは、接続主義ネットワークにおいて既存の推論エンジンの一部を上書きするため、「忘れる」という望ましくない副作用が生じるからです。これは、ベルギーのリエージュ大学のRobert Frenchが彼の画期的な研究「接続主義ネットワークにおける壊滅的な忘却」で述べているところです。

今回、南カリフォルニア大学（USC）、インテルラボ、中国の深セン先端技術研究院の研究者たちは、Catastrophic forgettingのリスクがないまま、エッジエージェント間で新しい知識を獲得し、それを任意の数の他のエッジエージェントと共有できるオープンソースアーキテクチャであるShared Knowledge Lifelong Learning（SKILL）を達成したと主張しています。

「エッジでの学習は非常に重要です。現在、インターネットデータの25〜30%がエッジセンサーから来ているという推定値があり、エッジでの学習は必要不可欠です」と、ペンシルバニア州立大学（Penn State）のイノベーション副学部長およびロバート・ノール教授のVijaykrishnan Narayananは研究に関与していませんが述べています。「これらの研究者は、今まで試されていなかった方法で知識を共有することで、エッジでの学習の扉を開くための基盤となる研究を行っています。2つの貢献が特筆されます。まず、彼らは複数のタスクで段階的に学習することができる分散ライフロングラーニングを実現しました。つまり、忘れることを避けるために最初からやり直す必要がありません。2つ目は、SKILLデータセットには、同じ分散エージェントによる102の異なるタイプの学習が含まれていることです。例えば、異なる昆虫の型を学びながら、影の動きを学ぶなどです。このデータセットは、単なるオブジェクト分類よりもはるかに挑戦的です。これはオープンソースのレビューでも指摘されています。

• 「タコ」の複雑な細胞は彼らの高い知能の鍵です
• スタートアップに参加する前に、データエンジニアが尋ねるべきトップ5の質問
• 「あらゆるプロジェクトに適した機械学習ライブラリ」

確かに、多くの他の研究者が、分散システムにおける終身学習における重大な忘却を伴わない方法に取り組んできました。これには、構造的可塑性、メモリリプレイ、カリキュラムおよび転移学習、内在的動機付け、多感覚統合など、人間の脳がそれをどのように行うかを模倣しようとする試みも含まれます。これは、ドイツ・ハンブルク大学のGerman Parisi氏（ドイツ）、ニューヨーク州ロチェスター工科大学およびエディンバラのヘリオット・ワット大学の同僚と共同で執筆された「ニューラルネットワークを用いた終身学習：レビュー」で説明されています。しかし、これらの脳のようなアプローチのいずれも、ネットワークのエッジにある小さな（しばしばバッテリー駆動の）エージェント間で完全に分散した学習を統合するという今日の問題を解決しようとはしていません。

他のグループも同じエッジでの学習目標を探求していますが、競合するすべての手法は、複数のエージェント間で行われる自律的な独立学習を統合し配布するために、集中型のスマートデータベースを使用しています。これにより、高帯域幅の通信機能の負担と集中型アーキテクチャへの依存が発生し、新たな個々のエージェントが追加されるとSKILLの線形加速度にはほど遠い結果となります。

これらの研究者によれば、SKILLの唯一の成功の鍵は、各エージェントが製造時に組み込まれる固定された共通のコア認識エンジンと、新しいタスクを学習する際に各エージェントが作成し、ネットワークに接続されているエージェントと共有するタスク固有のモジュールを組み合わせたアーキテクチャです。各エージェントの固定コアには、新たに獲得したタスクが追加され、新たな分類ニューロンが追加されることで実現されます。

コンピュータサイエンスのUSC教授であるLaurent Itti氏は、「この研究は、個々のエージェントの完全に分散した社会がお互いの学習からメリットを得ながら、個々のスキルを保持し、ほぼ完璧な並列化を実現する方法を初めて示しています」と述べています。

ニューラルネットワークは、中間層を使用して入力層に提示されたオブジェクトから特徴（色、形状など）を抽出することによって機能します。最終層は、各分類カテゴリニューロンで構成されており、独自の抽出特徴ニューロンの一意のセットによって活性化されます。SKILLは、入力、中間、最終層のニューロンおよび調整されたシナプスをそのままにしておくことで学習を進めます。その代わり、新しいタスクごとに新しい分類ニューロンを追加することで新しいカテゴリを学習します。新しいニューロンは、永続的な中央コアの特徴層ニューロンに重み付けされたシナプスに接続されます。

したがって、任意のエージェント（同一の中央コアを持つ）は、新たに追加された分類カテゴリを他の個別のエッジエージェントにブロードキャストすることができます。これは、オリジナルのエッジ学習エージェントと同じ方法で、新しい分類ニューロンを共有の特徴認識ニューロンに接続することによって行われます。エージェントのネットワーク全体が、オリジナルのコア認識エンジンによって認識されるカテゴリを忘れることなく、またはエージェント間で共有される新たなカテゴリを忘れることなく、終身学習能力を獲得します。

SKILLアーキテクチャの概念証明のために、Googleのオープンソースの深層ニューラルネットワークが、ImageNetデータセットの約1,000のオブジェクトクラスを学習しました。このデータセットは、ImageNetの1,281,167のトレーニング画像（50,000のバリデーション画像および100,000のテスト画像を含む）から抽出されました。このDNNは、各エッジエージェントの固定コアとしてROMに焼き込まれました。

次に、エッジエージェントは、2,041,225の例からなる複合データセットから100以上の新しいタスクを学習し、元の22,000のニューロンと2.9百万のシナプスを持つ共通のコアDNNに接続された5,033のカテゴリに配置しました。中間特徴抽出層の出力は、新しい知識タスクが追加された場合にシナプスに接続される新しい出力ニューロンを介して追加される2,048の特徴ベクトルでした。SKILLは、100以上の新しいパターン認識タスクを正常に学習し、その知識を複数のエージェントに転送することに成功しました。Itti氏は、現在のアーキテクチャでは最大500の新しい分類タスクを学習することができると主張しています。

現在のアーキテクチャを超えて500以上の新しいタスクにスケールするための最大の障害は、新たな知識を元のコア知識と区別するためのタスクマッパーの必要性です。研究者たちは、将来のアーキテクチャでこの制限を解消することを望んでいます。また、高度に差別化された画像カテゴリ間（例えば、花と心臓のX線の間）の認識には、新しいタスクカテゴリに切り替える際にニューロンへのバイアス入力を微調整するアルゴリズムが現在必要です。

Itti氏は、SKILLの多重独立エージェント学習プロトタイプが現在の競合手法を上回り、追加されたエージェントごとにほぼ線形の学習速度向上を実現し、将来のアップグレードに期待が持てると主張しています。この研究は、米国国防高等研究プロジェクト局（DARPA）、半導体研究コープ、および米国陸軍研究局の支援を受けて行われました。

R. Colin Johnsonは、技術ジャーナリストとして20年以上の経験を持つ京都賞フェローです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!