「大規模な言語モデルがコンパイラ最適化のメタAI研究者を驚かせる!」

Large language models surprise compiler optimization researchers!

「これは、LLMの明らかな不備についての論文だと思っていましたが、将来の賢いアイデアの動機づけとなるものとして役立つものです。しかし、私たちは非常に驚いたことに、十分に訓練されたLLMは、入力コードに最適な最適化を予測するだけでなく、コンパイラを使わずに直接最適化を行うことができることが多いことがわかりました!」。- Meta AIの研究者

Meta AIの研究者は、通常のコンパイラ(LLVMなど)が行うようなコードの最適化を、大規模な言語モデル(LLM)に行わせようとしていました。LLVMの最適化は非常に複雑であり、C++プログラミング言語で1百万行以上のコードに書かれた数千のルールとアルゴリズムがあります。

彼らは、LLMがこのような複雑さに対応できるとは思っていませんでした。なぜなら、LLMは通常、言語の翻訳やコードの生成などのタスクに使用されるからです。コンパイラの最適化には、さまざまな種類の思考、数学、複雑な技法が必要であり、LLMが得意であるとは思っていませんでした。しかし、手法の後、結果は驚くべきものでした。

上記の画像は、訓練と推論中にモデルの入力(プロンプト)と出力(回答)を示す方法論の概要を示しています。プロンプトには最適化されていないコードが含まれます。回答には最適化パスのリスト、命令の数、および最適化されたコードが含まれます。推論中、最適化パスのリストのみが生成され、それがコンパイラにフィードされ、最適化されたコードが正しいことを保証します。

彼らのアプローチはシンプルで、スクラッチから初期化された70億パラメータの大規模言語モデル(LLM)アーキテクチャを使用します。モデルは、各アセンブリごとに検索プロセスを通じて決定された最適なコンパイラオプションと、それらの最適化を適用した結果のアセンブリコードとペアになった数百万のLLVMアセンブリの例から成る広範なデータセットで訓練されます。これらの例だけで、モデルは驚くほど精度の高いコードの最適化能力を獲得します。

彼らの研究の注目すべき貢献は、LLMをコードの最適化のタスクに初めて適用したことにあります。彼らは、コンパイラの最適化に関して特に設計されたLLMが、2.5億回のコンパイルで5.0%の改善を達成する検索ベースのアプローチと比較して、単一のコンパイルで3.0%のコードサイズ削減を実現することを示しています。一方、最新の機械学習アプローチは回帰を引き起こし、数千回のコンパイルが必要です。研究者はまた、LLMがコードの推論における可能性と限界をより包括的に理解するための補足的な実験とコード例を提供しています。全体的に、彼らはこの文脈でのLLMの効果を非常に優れたものと見なし、その結果が広いコミュニティの関心を引くと考えています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

Magic123とは、高品質で高解像度の3Dジオメトリとテクスチャを生成するために、二段階の粗-細最適化プロセスを使用する新しい画像から3Dへのパイプラインです

2次元の世界しか見ることができないにもかかわらず、人間は3次元の環境でナビゲーションしたり、思考したり、相互作用したり...

機械学習

メタAIが効率的なSAMを紹介します:パラメータ数が20分の1でランタイムが20倍速いSAMの弟です

ビジョンにおいて、Segment Anything Model (SAM) は、ゼロショットオブジェクト提案生成、ゼロショットインスタンスセグメン...

機械学習

CoDiに会おう:任意対任意合成のための新しいクロスモーダル拡散モデル

ここ数年、テキストからテキスト、画像、音声など、別の情報を生成する堅牢なクロスモーダルモデルが注目されています。注目...

機械学習

「トランスフォーマーの単純化:あなたが理解する言葉を使った最先端の自然言語処理(NLP)— パート1 — イントロ」

「トランスフォーマーは、AIの進歩に大きく貢献したディープラーニングのアーキテクチャですそれはAIとテクノロジー全体の範...

AI研究

ディープラーニングシステムは、外部から材料の内部を探索します

新しい方法では、外部条件に関するデータだけで、内部構造、空洞、亀裂に関する詳細な情報を提供することができます

機械学習

「脱拡散を用いたLLMsにおける強力なクロスモーダルインターフェースのための情報豊富なテキストの生成」

世界的な現象であるLLM(Large Language Model)製品の例として、ChatGPTの広範な採用が注目されています。LLMは自然言語会話...