次世代の終わりのない学習者のベンチマーク化

'Endless learner benchmarking for the next generation'

30年のコンピュータビジョン研究に基づいて知識を積み重ねる方法を学ぶ

わずか数年で、大規模な深層学習(DL)モデルは、タンパク質構造の予測から自然言語処理、ビジョンまで、さまざまな領域で前例のない成功を収めています[1, 2, 3]。機械学習エンジニアや研究者は、強力な新しいハードウェアのおかげで、モデルをスケールアップし、より多くのデータでトレーニングすることができるようになり、これらの成功をほとんど成し遂げました。

スケールアップは素晴らしい能力をもたらしましたが、DLモデルはリソースを消費する場合もあります。たとえば、大規模なモデルが展開されると、1つのタスクで学んだことが次のタスクの学習を促進するためにほとんど利用されません。さらに、新しいデータやより多くの計算リソースが利用可能になると、大規模なモデルは通常、ゼロから再トレーニングされます – 高価で時間のかかるプロセスです。

これは、これらの大規模モデルの効率とパフォーマンスのトレードオフを改善できるかどうかという問題を提起します。その答えの1つは、時間とともに知識を蓄積し、新しい状況や新しいタスクにより効率的に適応できるモデルの開発を促進することです。

NEVIS’22の紹介

私たちの新しい論文、NEVIS’22:30年のコンピュータビジョン研究からサンプリングされた100のタスクストリームは、制御可能で再現可能な環境で効率的な知識転送の問題を研究するための遊び場を提案しています。Never-Ending Visual classification Stream(NEVIS’22)は、評価プロトコル、初期ベースライン、オープンソースのコードベースを備えたベンチマークストリームです。このパッケージは、モデルが将来のタスクをより効率的に学習する方法を研究する機会を提供します。

NEVIS’22は、実際には過去30年間の主要なコンピュータビジョン会議のオンライン論文集からランダムに抽出された106のタスクで構成されています。それぞれのタスクは教師あり分類タスクであり、機械学習で最も理解されているアプローチです。そして重要なことに、タスクは年代順に配置されており、より困難で広範なものになり、関連するタスクの成長するセットから知識を転送する機会が増えます。課題は、有用な知識を次のタスクに自動的に転送する方法で、より良いまたはより効率的なパフォーマンスを達成することです。

私たちの論文の付録Hで参照されているデータセットから派生したいくつかの画像を以下に示します:

NEVIS’22は再現性があり、最新の学習アルゴリズムをテストするのに十分なスケールがあります。ストリームには、光学文字認識やテクスチャ解析から人数のカウント、シーン認識まで、さまざまなタスクが含まれています。タスクの選択プロセスはランダムに行われたため、特定のアプローチを好むわけではなく、単にコンピュータビジョンコミュニティが時間の経過とともに興味深いと考えたものを反映しています。

NEVIS’22はデータに関するだけでなく、学習モデルの訓練と評価に使用される方法にも関係しています。私たちは、エラーレートと計算リソース(後者は浮動小数点演算の数で測定される)の間のトレードオフによって、学習者を評価します。たとえば、NEVIS’22でより低いエラーレートを達成しても、それが合理的な計算コストである場合には十分ではありません。代わりに、モデルが正確かつ効率的であることを奨励しています。

初期の結果と開かれた課題

私たちの初期の実験では、より良いトレードオフを実現するモデルは、タスク間で共有される構造を活用し、いくつかの形式の転移学習を採用しているものです。特に、巧妙な微調整手法は、大規模な事前学習済みモデルと組み合わせた場合でも非常に競争力があります。この後者の発見は、大規模モデルの一般的な表現をさらに改善する可能性を示しており、完全に新しい研究の道を開いています。私たちは、NEVIS’22が効率的で効果的な絶え間ない学習モデルの開発を目指していく中で、コミュニティにとってエキサイティングな新たな課題を提供すると考えています。

私たちの論文を読んで、コードをダウンロードして、NEVIS’22についてさらに詳しく知ってください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AIテクノロジー

2023年の最も人気のあるプロフェッショナルコース

専門的なコースを通じて新しいスキルと知識を習得することの重要性は前例のないレベルに達しています詳しくはこちらをご覧く...

AIテクノロジー

2024年に注目すべきAIを活用したヘルスケア業界のトップ8企業

2024年における人工知能(AI)が医療を変革する方法を、リーディングカンパニー8社が牽引する様子を探検してくださいAIが医療...

AIテクノロジー

「勉強ルーティンにおけるワードウォールの創造的な活用法トップ10」

「ワードウォールは、勉強を効果的に進め、学習成果を高めるための素晴らしいツールです通常は小学校の教室で使用されますが...

AIテクノロジー

「ファイナンシャルアドバイザーがAIを活用してより多くの価値を引き出す方法」

人工知能は、金融アドバイザリー業界を含むあらゆる分野に革命をもたらしていますデータ分析から自動取引まで、AIの広範な能...

AIテクノロジー

「2024年のトップ5大学の証明書」

「大学の証明書が技術セクターに特化した知識と専門知識の扉を開く方法を探索してください」

AIテクノロジー

「AIライティング革命のナビゲーション:ChatGPTの影響についての考察」

ChatGPT デジタル時代における文章作成の変革 今となっては、私はよく問われます「AI Time Journalの記事を書くためにChatGP...