清華大学の研究者たちは、メタラーニングの枠組みの下で新しい機械学習アルゴリズムを紹介しました

Researchers at Tsinghua University introduced a new machine learning algorithm under the framework of meta-learning.

深層学習の教師ありタスクにおける最近の成果は、大量のラベル付きトレーニングデータの利用可能性によるものです。しかし、正確なラベルを収集するには多大な労力と費用がかかります。実際のコンテキストでは、トレーニングデータの一部しかラベルが付いていないことがよくあります。半教師あり学習(SSL)は、ラベル付きおよびラベルなしの入力を使用してモデルの性能を向上させることを目指しています。ディープラーニングに適用される多くの効果的なSSL手法は、ラベルなしデータを使用するために教師なしの一貫性正則化を行います。

最新の一貫性ベースのアルゴリズムは通常、優れたパフォーマンスを達成していても、いくつかの設定可能なハイパーパラメータを導入します。最適なアルゴリズムのパフォーマンスを得るために、これらのハイパーパラメータを最適な値に調整するのが一般的な方法です。残念ながら、多くの現実世界のSSLシナリオでは、医用画像処理、ハイパースペクトル画像分類、ネットワークトラフィック認識、文書認識などのように、注釈付きデータが少ないため、ハイパーパラメータの検索は頼りないことがよくあります。ハイパーパラメータの値によってアルゴリズムのパフォーマンスが影響を受けることは、この問題をさらに深刻にします。また、ハイパーパラメータの数に関連して探索空間が指数関数的に増加するため、最新のディープラーニングアルゴリズムでは計算コストが制御不能になる可能性があります。

清華大学の研究者は、Meta-Semiというメタ学習ベースのSSLアルゴリズムを導入し、ラベル付きデータをより活用します。Meta-Semiは、さらに1つのハイパーパラメータを調整することで、多くのシナリオで優れたパフォーマンスを発揮します。

研究チームは、適切に「疑似ラベル」の付いた未注釈の例を使用してネットワークを成功裏にトレーニングできる可能性に気付きました。具体的には、オンライントレーニングフェーズでは、ネットワークの予測に基づいて未注釈データに対して疑似ソフトラベルを生成します。次に、信頼性の低いまたは不正確な疑似ラベルを持つサンプルを削除し、残りのデータを使用してモデルをトレーニングします。この研究では、正確な「疑似ラベル」データの分布はラベル付きデータの分布と比較可能であるべきだと示されています。ネットワークが前者でトレーニングされる場合、後者の最終的な損失も最小限に抑えられるべきです。

研究者たちは、最終的な損失を最小化するために最適な重み(本論文では常にニューラルネットワークのパラメータを指すのではなく、各ラベルなしサンプルを再重み付けするために使用される係数を指す)を選択することで、メタリウェーティング目標を定義しました。この問題を最適化アルゴリズムを使用して解決する際に、研究者たちは計算上の困難に直面しました。

そのため、彼らは閉形式の解が導かれる近似式を提案しています。理論的には、各トレーニングイテレーションは近似解を達成するために単一のメタ勾配ステップのみを必要とすることを示しています。

結論として、彼らは以前に疑似ラベル付けされたサンプルに0-1の重みを再重み付けする動的な重み付けアプローチを提案しています。その結果、このアプローチは最終的な教師あり損失関数の安定点に到達することが示されています。人気のある画像分類ベンチマーク(CIFAR-10、CIFAR-100、SVHN、およびSTL-10)では、提案手法が最新のディープネットワークよりも優れたパフォーマンスを発揮することが示されています。難しいCIFAR-100とSTL-10のSSLタスクでは、Meta-SemiはICTやMixMatchなどの最新のSSLアルゴリズムよりもはるかに高いパフォーマンスを発揮し、CIFAR-10ではそれらよりもわずかに優れたパフォーマンスを発揮します。さらに、Meta-Semiは一貫性ベースの手法に有用な追加要素です。一貫性正則化をアルゴリズムに組み込むことで、パフォーマンスがさらに向上します。

研究者によると、Meta-Semiはトレーニングに少し時間がかかるという欠点があります。彼らは将来的にこの問題を調査する予定です。

この研究に関する論文と参考記事をご覧ください。この研究のすべてのクレジットはこのプロジェクトの研究者に帰属します。また、最新のAI研究ニュース、クールなAIプロジェクトなどを共有している26k+ ML SubRedditDiscord ChannelEmail Newsletterにぜひご参加ください。

Tensorleapの説明可能性プラットフォームでディープラーニングの秘密を解き放つ

この記事はMarkTechPostに掲載されたものです。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「Transformerの簡略化:あなたが理解する言葉を使った最先端のNLP — part 3 — アテンション」

「トランスフォーマーは、AIの分野で、おそらく世界中で重大な影響を与えていますこのアーキテクチャはいくつかのコンポーネ...

AI研究

UCSFとUC Berkeleyの研究者たちは、脳幹の脳卒中による重度の麻痺を持つ女性がデジタルアバターを通じて話すことができるようにする脳-コンピューターインタフェース(BCI)を開発しました

人工知能は今日では音声と顔の認識に重要な役割を果たしています。これらの信号は脳の信号によって記録・合成され、AIの劇的...

データサイエンス

クラウド移行のマスタリング:成功させるためのベストプラクティス

「クラウド移行のプロセスはどれも同じではありません各システムには独自の要件があります始めるには、この記事をチェックし...

AIニュース

「GPT-4と説明可能なAI(XAI)によるAIの未来の解明」

はじめに 常に進化し続ける人工知能(AI)の世界で、GPT-4は人間のようなテキスト生成の驚異です。それはまるで自分の言語を...

データサイエンス

DataFrameを効率的に操作するためのloc Pandasメソッドの使い方

データに含まれるカラムや、生データの種類、データの記述統計量を把握することは、今後のデータ処理において正しく取り組む...

AIニュース

KubernetesでのGenAIアプリケーションの展開:ステップバイステップガイド

このガイドは、高い可用性のためにKubernetes上でGenAIアプリケーションを展開するための包括的で詳細な手順を提供します