ディープネットワークの活性化関数の構築

ディープネットワークの活性化関数構築

深層ニューラルネットワークの基本的な要素は、活性化関数（AF）です。活性化関数はネットワーク内のノード（「ニューロン」）の最終出力を形成する非線形関数です。一般的な活性化関数には、シグモイド、双曲線正接（tanh）、および整流線形ユニット（ReLU）があります。

ほとんどの場合、ネットワークビルダーは新しい学習アルゴリズムやアーキテクチャなどを考案しながら、標準的な活性化関数を使用し続けます。

最近の2つの研究では、活性化関数に焦点を当て、それらを変更した場合に何が起こるかを調べました。

• 「Human Sketchesが物体検出にどのような役割を果たすことができるのか？スケッチベースの画像検索に関する洞察」
• 機械学習におけるクラスタリングの評価
• AWSのエミリー・ウェバーによる大規模言語モデルの事前学習について

「ニューラルネットワークにおけるアクティベーション関数のアラカルト選択」という論文では、複数の既知の活性化関数を成功したネットワークアーキテクチャに組み合わせました。これは、最新の自動ハイパーパラメータ最適化ソフトウェアフレームワークであるOptunaを使用して行いました。

では、ハイパーパラメータとはどのような関係があるのでしょうか？実際には、ハイパーパラメータの定義はコーダーであるあなたに依存します。私はPyTorchの48の可能な活性化関数のリストをOptunaに「与えました」。

これらのうち、一部は「公式に」活性化関数として定義されています（たとえばReLUやSigmoidなど）、他のものはテンソル上の数学的な関数です（たとえばAbsやSinなど）。更に、私は研究文献で見つけた4つの新しい活性化関数も組み合わせに加えました。

Optunaには、これらのリストをハイパーパラメータとして処理するようにしました。具体的には、5層ニューラルネットワークと10層ニューラルネットワークでOptunaを実行し、それぞれ5つまたは10個の活性化関数の最も優れたリストを見つけることがOptunaのタスクでした。

この方法は、ReLU隠れユニットとsoftmax出力ユニットで構成される標準的なネットワークと比較して、25の分類問題でより優れた結果をよく生み出すことができることを示しました。

私の卒業生であるRaz Lapidと共に執筆した「Deep Learningを基盤とした画像分類のためのアクティベーション関数の進化」という論文では、新しい活性化関数を生成する方法について調査しました。私たちは遺伝的プログラミングという強力な進化アルゴリズムを使用し、グラフが自然選択による進化をシミュレートするプロセスで進化させました。

たとえば、次のグラフはよく知られたシグモイド活性化関数を表しています。

進化アルゴリズムには、新しい活性化関数を構成するためのプリミティブのセットが与えられました。

基本的なビルディングブロックとして、標準的な活性化関数や基本的な数学関数を使用し、進化によって新しい可能性のある組み合わせを発見するために進化を進めました。これらの新しい組み合わせが新しい活性化関数です。

また、共進化として知られる方法を使って、進化する活性化関数の3つの集団を使用しました。これは、入力層用の活性化関数の集団、出力層用の活性化関数の集団、およびすべての隠れ層用の活性化関数の集団を保持するというものです。私たちは、ニューラルネットワークに関与する場合にはこれが意味があると考えました。

私たちは4つの画像データセットでこの方法をテストし、共進化（および「通常の」進化）が実際にうまく機能し、標準的な活性化関数と比較してネットワークのパフォーマンスを向上させる良い活性化関数を見つけることができることを発見しました。さらに、異なるネットワークステージで異なる活性化関数を使用することが有益であることも示しました。

進化についてもっと詳しく知りたい場合は、私の他のVoAGIの記事を参照してください。

進化アルゴリズム、遺伝的プログラミング、および学習

進化アルゴリズムは、（ダーウィニアンの）自然界の進化過程に触発された検索アルゴリズムの一族です…

VoAGI.com

深層ネットワークへの進化的敵対攻撃

一方で、最近の研究では、深層ニューラルネットワーク（DNN）が脆弱性を持っていることが示されています…

VoAGI.com

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!