Google AIは、スケールで事前に訓練されたニューラルネットワークを剪定するための最適化ベースのアプローチ、CHITAを紹介します

Google AI introduces CHITA, an optimization-based approach for pruning pre-trained neural networks at scale.

今日のニューラルネットワークの成果は、言語、数学、ビジョンなど、さまざまな分野で驚くべきものです。ただし、これらのネットワークは通常、実行にリソースを多く必要とする複雑な構造を利用しています。ウェアラブルやスマートフォンなどのリソースが限られた環境では、このようなモデルをユーザーに提供することは実用的ではありません。事前学習済みのネットワークをプルーニングすることで、推論コストを下げるために重みの一部を削除します。典型的なニューラルネットワークの各重みは、2つのニューロン間のリンクを指定します。重みを削減することにより、入力はより管理しやすいリンクのサブセットを通過し、必要な処理時間を短縮します。

MITとGoogleの研究者グループによって開発されたCHITA（組合わせヘシアンフリー反復しきい値アルゴリズム）フレームワークは、大規模なネットワークのプルーニングにおける効果的な最適化ベースの戦略です。この方法は、2次ヘシアンの局所二次関数を使用して損失関数を近似する以前の研究に基づいています。他の取り組みとは異なり、彼らはヘシアン行列を計算および保存せずに最適化問題を解決するための単純で重要な洞察を活用しており、効率的に大規模なネットワークに対処します（したがって、「Hessian-free」はCHITAの名前の一部です）。

回帰の再定式化をさらに簡略化するために、彼らはアクティブセット戦略、改善されたステップサイズ選択、およびその他のテクニックを使用した新しい手法を提案して収束を加速します。スパースな学習文献で広く使用されている反復ハードしきい値技術と比較して、提案された手法は大幅な利益をもたらします。このフレームワークは、4.2Mのパラメータを持つネットワークを20%にまで削減することができます。

• 大規模な言語モデルを使用した自律型の視覚情報検索
• 「Lineが『japanese-large-lm』をオープンソース化：36億パラメータを持つ日本語言語モデル」
• この中国のAI論文では、「物理的なシーンの制約を持つ具体的な計画におけるタスクプランニングエージェント（TaPA）」が提案されています

以下は貢献の要約です：

損失関数の局所二次近似に基づいて、研究者はネットワークのプルーニングのための最適化フレームワークであるCHITAを提案します。

大規模で密なヘシアンの保存に関連するメモリオーバーヘッドを排除するために、彼らは制約付きの疎な回帰の再定式化を提案します。

CHITAは、疎な回帰の高品質な解を得るための新しいIHTベースの手法に大きく依存しています。問題の構造を利用することで、重みのサポートの重みの迅速な更新や効果的なステップサイズ選択など、収束を加速し、プルーニングのパフォーマンスを向上させる解決策を提供します。標準的なネットワークのプルーニングアルゴリズムと比較して、これによりパフォーマンスが最大1000倍向上することがあります。

研究者によってモデルとデータセットのパフォーマンスの改善も示されています。

計算のための効率的なプルーニングの定式化

元のネットワークから一部の重みのみを保持することで、さまざまなプルーニング候補が導かれます。kはユーザーによって設定される保持する重みのパラメータを表します。すべての潜在的なプルーニング候補（つまり、k個の重みのみを持つ重みの部分集合）の中から、損失が最も小さい候補が選ばれます。これは、最良の部分集合選択（BSS）問題としてプルーニングを論理的に定式化したものです。

CHITAは、ヘシアン行列を明示的に計算せずに、そのすべての情報を利用することで、プルーニング問題（二次損失のBSS）の再定式化バージョンを使用します。これは、経験的フィッシャー情報行列が低ランクであるという事実を利用しています。この新しい形式は、ネットワーク内のニューロンの重みが回帰係数を表す、疎な線形回帰問題と考えることができます。

スケーラブルな最適化のアルゴリズム

回帰係数のうち最大k個の（絶対値が最も大きい）係数を超えるものは、IHTの勾配降下法の各更新後にゼロになります。ほとんどの場合、IHTは重み全体を最適化しながら潜在的なプルーニングの代替手段を反復的に調査することによって、満足のいく解を提供します。

結論として、研究者は、ヘシアンフリー制約回帰の唯一の形式化と組合わせ最適化技術に基づくネットワークプルーニングフレームワークであるCHITAを提案しました。シングルステージのアプローチは、ランタイムとメモリの使用を大幅に改善しながら、以前の手法と同等の結果を得ることができます。さらに、マルチステージ戦略は、シングルステージの手法を基にしているため、モデルの精度を向上させることができます。また、既存の徐々にプルーニングするフレームワークにプルーニング手法を追加することで、最新の精度を持つスパースネットワークを実現できることも示しています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!