線形代数4：行列方程式
美しさとファッションの専門家が解説する、『魅力あふれる美とファッション』
行列の方程式 Ax = b の解法
前書き
マシンラーニングの基礎数学である線形代数の基本に関する私の連載の第4版へようこそ。以前の記事では、ベクトル、線形結合、およびベクトルの範囲について紹介しました。このエッセイでは、行列方程式 Ax = bを見て、線形方程式の解法と行列方程式がどのように関連しているかを確認します。
この記事は、David C. Lay、Steven R. Lay、Judi J. McDonaldによる線形代数とその応用を読んだ上で、最もよく読者に役立つでしょう。このシリーズを補完するリソースと考えてください。
思考、質問、批評を自由に共有してください。
直感
前回は、線形結合について学習しましたが、それが重要な意味を持つことを約束しました。ベクトル v₁, v₂, … vₐ とスカラー（重みとも呼ばれる）c₁, c₂, … cₐが与えられた場合、線形結合はスカラーの倍数の和、c₁v₁ + c₂v₂ + … + cₐvₐで定義されるベクトルです。¹
ベクトル b がベクトル v₁, v₂, .. vₐₚ の一連のベクトルの線形結合である場合、c₁, c₂, … cₐ（解）のセットが存在し、c₁v₁ + c₂v₂ + … + cₐvₐ = b が真であることを意味します。
与えられたベクトル v₁, v₂, .. vₐ の中から b が線形結合であるかどうかを確認するために、ベクトルを線形方程式のシステムに整理し、方程式の拡張行列を作成し、行の簡約化操作を使用して行列を簡約階梯形にまで簡約しました。簡約階梯形に矛盾がある場合、つまり、行が [0, 0, … | m]のようになっていて、 m ≠ 0 の場合、ベクトル b はベクトルの線形結合ではないため、方程式 c₁v₁ + c₂v₂ + … + cₐvₐ = b のために存在する重みのセットが存在しないことを意味します。
<pそのような矛盾がない場合は、上記の例のように、ベクトル b と等しい場合、計算が正しく行われ、b は確かに線形結合となります。
この検証プロセスは、行列方程式 Ax = b の姿を変えただけです！
Ax = b
A が m × n の行列であり、x が Rⁿ 上にある場合（次のセクションでそれが重要である理由を見ることになります）、Ax は行列 A のベクトル（列）の線形結合であり、x の対応するスカラーを使用しています。
注意して欲しいのは、これらのいずれも新しい素材ではなく、前の記事で線形結合を検証する際にすでに無意識にAxを計算していたことです。しかし、Ax = bの行列方程式は依然として基礎的であり、これらを簡潔な表記に形式化し、新しい方法で再出現します。
今や、m x n行列Aとxが与えられ、行列積Axを計算し、それがbと等しい場合、bはAのベクトル（列）とxのスカラー/エントリーの線形結合として書くことができます。したがって、要約すると：Ax = bの方程式は、Aの列の線形結合でbを書ける場合にのみ解（x）を持ちます。
行列の乗算
Ax = bを行列の積として紹介しましたが、行列の乗算（それがAxであるもの）についてまだ説明していません！
行列の乗算は、2つの行列を乗算してその積を得る操作です。私たちはすでに2つの行列の加算を見てきましたが、2つの行列を加算するためには、加算されている2つの行列である行列Aと行列Bが同じサイズである必要があります。同様に、行列の乗算にも要件があります。行列Aと行列Bを乗算してABを作成するには、行列Aの列の数が行列Bの行の数に等しくなければなりません。行列AとBの積である行列Cのサイズは、行列Aの行数（m）と行列Bの列数（p）に依存します。行列Cはm行（行列Aの行数）とp列（行列Bの列数）を持ちます。
<pでは、行列の乗算はどのように機能するのでしょうか？行列aとbを乗算する場合、行列積のi番目の行、j番目の列のエントリは、行列aのi番目の行と行列bのj番目の行の内積です。
今のところ、あなたが知っておく必要があるのは、内積は2つのベクトルの対応するエントリの積の総和であり、同じエントリの数を持つ場合にのみ定義されるということです。この説明は内積の本当の幾何学的直感を捉えるには到底及びませんが、完全な直感的な説明は後で保存します。
簡潔さのために、2 x 2の行列の行列の積を計算しましたが、行列の積が定義される要件を満たしていない場合、それらの積は未定義になります。
行列の乗算の性質
A、B、Cがn x n行列であり、c、dがスカラーである場合、次の性質が成り立ちます。³
- AB ≠ BA（一般的に非可換）
- (AB)C = A(BC)（結合則）
- A(B+C) = AB + ACおよび(B+C)A = BA + CA（分配法則）
- 0A = 0（乗法の零の性質）
行列の乗算が可換ではないことに注意してください。この性質は、実数での可換性に直感的に慣れているため、時間がかかるかもしれません。
これらの性質は、行列の積を計算する際に役立ちます。これは、一次代数学全体にわたり繰り返されるテーマです。
結論
行列の積は、ニューラルネットワークのコア機能であるフィードフォワードおよびバックプロパゲーションの基礎となる、基本的な数学的操作です。
ニューラルネットワークのフィードフォワードフェーズでは、データが各層を通過し、行列の積がこの操作の中心に位置しています。ニューラルネットワークの各層は、重み付けされた入力の和として表されるニューロンで構成されています。これらの重み付けされた和は、行列の積を使用して計算されます。
バックプロパゲーションのパスでは、ニューラルネットワークが間違いから学習します。ニューロンの重みを調整し、予測と実際の出力の誤差を最小化します。再び、行列の積はこのプロセスの重要な部分であり、特に勾配の計算において使用されます。勾配は、誤差を最小化するために各重みをどれだけ調整するかを示します。
数学を学ぶことはそれ自体で興味深い冒険ですが、理論と並行して線形代数の応用を学ぶことで、険しい学習カーブをより魅力的にしていくことができます。
まとめ
この章では、次のことを学びました：
- 線形結合および行列積 Ax = b の直感: 行列積は新しい概念ではなく、既に使用していた手続きを形式化したものです！
- Ax = b: 行列積は、Aのベクトル（列）の集合の線形結合である場合に、解 x を持ちます。
- 行列の積: 機械学習のアプリケーションで広く使用されるAx = bの操作。具体的な例としては、ニューラルネットワークが挙げられます。
- 行列の積の特性: 非可換性、結合法則、分配法則、および零の乗法的性質。
注釈
*すべての画像は、特に記載されていない限り、著者によって作成されました。*前回の続きに時間がかかってしまい、申し訳ありません。現在、期末試験中です（線形代数の試験も含まれています！）¹線形結合の定義は、「Linear Algebra and Its Applications 6th Edition」（David C. Lay、Steven R. Lay、Judi J. McDonald著）から引用されました²行列積の特性の定義は、「Linear Algebra and Its Applications 6th Edition」（David C. Lay、Steven R. Lay、Judi J. McDonald著）から引用されました³行列の特性についての参考文献：src。
</pでは、行列の乗算はどのように機能するのでしょうか？行列aとbを乗算する場合、行列積のi番目の行、j番目の列のエントリは、行列aのi番目の行と行列bのj番目の行の
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
