直線回帰、カーネルトリック、リニアカーネル

直線回帰、カーネルトリック、リニアカーネルの美容とファッションへの応用

カーネルトリックは時として無力です。

この記事では、最初は明らかではなかった興味深い結果を示したいと思います。それは次のとおりです：

正則化のない線形回帰と線形カーネルリッジ回帰は等価です。

実際には、ここには多くの概念と技術が関わっています。したがって、それぞれを個別に確認し、最後にこれを説明するためにすべてを使用します。

まず、古典的な線形回帰を確認します。そして、カーネルトリックと線形カーネルについて説明し、最後に上記の文に対する数学的証明を示します。

• 線形代数の鳥瞰図：地図の尺度—行列式
• TensorFlow Recommendersを使用した暗黙のフィードバックからのレコメンダーシステム
• Embedchainの紹介- LLM向けのデータプラットフォーム

古典的な線形回帰のちょっとしたリマインダー

線形回帰の数学

古典的な（通常最小二乗法と呼ばれる）線形回帰は次の問題です：

ここで：

• Yは長さnのベクトルで、線形モデルの目標値で構成されます
• betaは長さmのベクトルであり、モデルが「学習」する未知の値です
• Xはデータ行列で、n行m列の形状をしています。ここでは、m次元の空間にn個のベクトルが記録されていると言います

したがって、目標は、二乗誤差を最小化するbetaの値を見つけることです：

この問題には実際に閉形式解があり、最小二乗法問題として知られています。解は次のとおりです：

解がわかると、フィット済みモデルを使用して、新しいX値に対応する新しいY値を計算することができます：

線形回帰のPython

scikit-learnを使って数学を確認しましょう：以下は、sklearnの線形回帰器およびnumpyベースの回帰の例を示すPythonコードです

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!