「大規模な言語モデルがコンパイラ最適化のメタAI研究者を驚かせる!」

Large language models surprise compiler optimization researchers!

「これは、LLMの明らかな不備についての論文だと思っていましたが、将来の賢いアイデアの動機づけとなるものとして役立つものです。しかし、私たちは非常に驚いたことに、十分に訓練されたLLMは、入力コードに最適な最適化を予測するだけでなく、コンパイラを使わずに直接最適化を行うことができることが多いことがわかりました!」。- Meta AIの研究者

Meta AIの研究者は、通常のコンパイラ(LLVMなど)が行うようなコードの最適化を、大規模な言語モデル(LLM)に行わせようとしていました。LLVMの最適化は非常に複雑であり、C++プログラミング言語で1百万行以上のコードに書かれた数千のルールとアルゴリズムがあります。

彼らは、LLMがこのような複雑さに対応できるとは思っていませんでした。なぜなら、LLMは通常、言語の翻訳やコードの生成などのタスクに使用されるからです。コンパイラの最適化には、さまざまな種類の思考、数学、複雑な技法が必要であり、LLMが得意であるとは思っていませんでした。しかし、手法の後、結果は驚くべきものでした。

上記の画像は、訓練と推論中にモデルの入力(プロンプト)と出力(回答)を示す方法論の概要を示しています。プロンプトには最適化されていないコードが含まれます。回答には最適化パスのリスト、命令の数、および最適化されたコードが含まれます。推論中、最適化パスのリストのみが生成され、それがコンパイラにフィードされ、最適化されたコードが正しいことを保証します。

彼らのアプローチはシンプルで、スクラッチから初期化された70億パラメータの大規模言語モデル(LLM)アーキテクチャを使用します。モデルは、各アセンブリごとに検索プロセスを通じて決定された最適なコンパイラオプションと、それらの最適化を適用した結果のアセンブリコードとペアになった数百万のLLVMアセンブリの例から成る広範なデータセットで訓練されます。これらの例だけで、モデルは驚くほど精度の高いコードの最適化能力を獲得します。

彼らの研究の注目すべき貢献は、LLMをコードの最適化のタスクに初めて適用したことにあります。彼らは、コンパイラの最適化に関して特に設計されたLLMが、2.5億回のコンパイルで5.0%の改善を達成する検索ベースのアプローチと比較して、単一のコンパイルで3.0%のコードサイズ削減を実現することを示しています。一方、最新の機械学習アプローチは回帰を引き起こし、数千回のコンパイルが必要です。研究者はまた、LLMがコードの推論における可能性と限界をより包括的に理解するための補足的な実験とコード例を提供しています。全体的に、彼らはこの文脈でのLLMの効果を非常に優れたものと見なし、その結果が広いコミュニティの関心を引くと考えています。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

ビジネスにおける機械学習オペレーションの構築

私のキャリアで気づいたことは、成功したAI戦略の鍵は機械学習モデルを本番環境に展開し、それによって商業的な可能性をスケ...

AI研究

「このAppleのAI研究は、ジェンダーステレオタイプに関するLLMsの振る舞いの既知の問題を調査します」

大規模言語モデル(LLM)は、ここ数ヶ月で非常に進歩し、さまざまな分野で最先端のベンチマークを押し上げてきました。大規模...

機械学習

「効果的なマーケティング戦略開発のための機械学習の活用」

マーケティングアトリビューションモデルは、マーケティング戦略を構築するために広く使用されていますこれらの戦略は、顧客...

機械学習

2023年に検討すべきトップのAutoMLフレームワーク

AutoMLフレームワークは、データアナリストや機械学習の専門家にとって強力なツールであり、データ前処理、モデル選択、ハイ...

データサイエンス

企業がOpenAIのChatGPTに類似した自社の大規模言語モデルを構築する方法

最近の数年間で、言語モデルは大きな注目を集め、自然言語処理、コンテンツ生成、仮想アシスタントなど、さまざまな分野を革...

機械学習

ゲーム業界の皆様へ!もう奇妙な鏡は不要です、Mirror-NeRFが登場しました!

NeRF(ニューラル・ラディアンス・フィールド)は、RNNとCNNの組み合わせを使用して、形状、材質、テクスチャなどの物体の物...