活性化関数と非線形性：ニューラルネットワーク入門

ビューティーとファッションの世界への招待：美とファッションへの豊富な知識を持つエキスパートによる鮮やかで活気ある記事

ニューラルネットワークが（ほぼ）何でも学べる理由を説明する

背景

前の記事では、多層パーセプトロン（MLP）を紹介しました。MLPは単なる積み重ねられた相互接続されたパーセプトロンのセットであり、パーセプトロンとMLPについてはこの記事で詳しく説明します。

イントロ、パーセプトロン＆アーキテクチャ：ニューラルネットワーク入門

ニューラルネットワークとその構成要素の紹介

levelup.gitconnected.com

次のような2つの隠れ層を持つMLPの例を以下に示します：

• SAPシステムとのデータ統合のマスタリングと迅速なエンジニアリング
• 「不確定性pyと混沌pyを用いた多項式混沌展開による混沌の秩序化」
• マシンラーニングにおいて未分類データを活用するための3つの画期的なテクニック

しかし、MLPの問題は、線形分類器しか適合できないことです。なぜなら、個々のパーセプトロンはステップ関数を活性化関数として持っており、それは線形です：

そのため、パーセプトロンを積み重ねているように見えても、それは今日のニューラルネットワークとはあまり変わらず、通常の線形回帰とそれほど変わりません！

別の問題は、全体の定義域で完全に微分可能ではないことです。

それでは、どうすればいいでしょうか？

非線形活性化関数が必要です！

なぜ非線形性が必要なのか？

線形性とは何ですか？

まず、文脈を作るために線形性の定義を簡単に述べましょう。数学的には、以下の条件を満たす関数は線形と見なされます：

もう一つの条件もあります：

しかし、このデモンストレーションでは、先程の式を使用します。

非常に単純な場合を考えてみましょう：

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!