「PCAを基礎から構築する」

PCAの基礎構築

ステップバイステップの導出で主成分分析の理解を強化する

主成分分析（PCA）は、次元削減によく使われる古い技術です。データサイエンティストの間ではよく知られたトピックですが、PCAの導出はしばしば見落とされ、データの性質や微積分、統計学、線形代数との関係についての貴重な洞察が失われることがあります。

この記事では、思考実験を通じてPCAを導き出し、2次元から任意の次元に拡張します。各導出を進めるにつれて、異なるように見える数学の分野が調和していることがわかり、優雅な座標変換に至ります。この導出により、PCAのメカニズムが明らかになり、数学的な概念の魅力的な相互関係が明らかになります。さあ、PCAとその美しさを探求する、この啓発的な旅に出かけましょう。

2次元でウォーミングアップ

私たちは3次元の世界に住む人間として、通常は2次元の概念を理解しています。この記事では、2次元から始めます。2次元から始めることで、最初の思考実験を簡素化し、問題の性質をよりよく理解することができます。

理論

次のようなデータセットがあります（各特徴は平均0、分散1にスケーリングされている必要があります）：

• 「UVeyeの共同設立者兼CEO、アミール・ヘヴェルについてのインタビューシリーズ」
• 「Ami Hever、UVeyeの共同創設者兼CEO – インタビューシリーズ」
• 「Pythonを使用してネパールの地形図を作成する」

このデータは、x1とx2で表される座標系に存在し、これらの変数は相関しています。私たちの目標は、データの共分散構造に基づいて情報が含まれた新しい座標系を見つけることです。特に、最初の基底ベクトルは、元のデータをその上に射影する際に、分散の大部分を説明するべきです。

最初にやるべきことは、元のデータをベクトルに射影する際に、最大限の分散が保持されるようなベクトルを見つけることです。言い換えれば、理想的なベクトルは、最大の分散の方向を指すべきです。そのベクトルは…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!