Search Results ML

「インテルCPU上での安定したディフューションモデルのファインチューニング」

拡散モデルは、テキストのプロンプトから写真のようなリアルな画像を生成するというその驚異的な能力によって、生成型AIの普及に貢献しました。これらのモデルは現在、合成データの生成やコンテンツ作成などの企業のユースケースに取り入れられています。Hugging Faceハブには、5,000以上の事前学習済みのテキストから画像へのモデルが含まれています。Diffusersライブラリと組み合わせることで、実験や画像生成ワークフローの構築がこれまで以上に簡単になりました。 Transformerモデルと同様に、Diffusionモデルをファインチューニングしてビジネスニーズに合ったコンテンツを生成することができます。初期のファインチューニングはGPUインフラストラクチャー上でのみ可能でしたが、状況は変わってきています！数か月前、インテルはSapphire Rapidsというコードネームの第4世代のXeon CPUを発売しました。Sapphire Rapidsは、ディープラーニングワークロードのための新しいハードウェアアクセラレータであるIntel Advanced Matrix Extensions (AMX)を導入しています。私たちはすでにいくつかのブログ記事でAMXの利点を実証しています：NLP Transformerのファインチューニング、NLP Transformerの推論、およびStable Diffusionモデルの推論。この投稿では、Intel Sapphire Rapids CPUクラスター上でStable Diffusionモデルをファインチューニングする方法を紹介します。わずかな例の画像のみを必要とするテキスト反転という技術を使用します。たった5つの画像だけです！さあ、始めましょう。クラスターのセットアップ Intelの友人たちが、最新のIntelプロセッサとパフォーマンス最適化されたソフトウェアスタックを使用したIntel®最適化デプロイメント環境でのワークロードの開発と実行を行うためのサービスプラットフォームであるIntel Developer Cloud（IDC）にホストされた4つのサーバーを提供してくれました。各サーバーには、2つのIntel…

データサイエンティストのためのDockerチュートリアル

データサイエンスのためにDockerを学びたいですか？数分でDockerの基礎を学び、データサイエンスアプリをコンテナ化しましょう

Data science

「データ分析のためのトップ10のAIツール」

ビジネスデータは日々複雑化しており、それを理解するためには高度な手法が必要です。従来のデータ分析手法は、手作業に依存し、計算能力も限られていました。しかし、AIツールの登場により新たな時代が訪れました。これらの先進的なツールは、機械学習やディープラーニングのアルゴリズムの力を活用して、貴重な洞察を抽出し、繰り返しのタスクを自動化し、広範なデータセットに潜む隠れたパターンを明らかにします。AIを活用することで、データアナリストは複雑な問題に効率的かつ高精度に取り組むことができ、データ分析の分野を革新しています。本記事では、データ分析のトップ10のAIツールを紹介します。 AIデータ分析とは何ですか？ AIデータ分析とは、人工知能（AI）の技術とアルゴリズムを使用して、大規模かつ複雑なデータセットから意味のある洞察を抽出し、解釈し、導き出すことを指します。機械学習、ディープラーニング、およびその他のAI技術を使用して、分析を自動化し、パターンを特定し、予測や分類を行います。AIデータ分析により、組織は広範なデータから貴重な情報を効率的かつ正確に抽出することができます。自然言語処理、画像認識、異常検知などのAIの機能を活用することで、企業はより深い理解を得て、データに基づいた意思決定を行い、成長と最適化のための隠れた機会を開拓することができます。 AIをデータ分析にどのように活用するか？以下の手順に従うことで、データアナリストはAIツールの力を活用して貴重な洞察を得ること、情報に基づいた意思決定を行うこと、イノベーションと成長を推進することができます：目標の定義データ分析プロジェクトの目標を明確に定義します。AIによる分析を通じて達成したい具体的な洞察や結果を特定します。データの収集と準備さまざまなソースから関連データを収集し、分析に適したクリーンで構造化されたデータであることを確認します。これにはデータのクリーニング、変換、正規化が含まれる場合があります。 AI技術の選択分析の目標に最も適したAI技術とアルゴリズムを決定します。データの性質と分析の要件に基づいて、機械学習アルゴリズム、ディープラーニングモデル、自然言語処理、またはコンピュータビジョン技術を考慮します。モデルのトレーニングと評価ラベル付きまたは過去のデータを使用してAIモデルをトレーニングします。適切な評価指標を使用してモデルのパフォーマンスを評価し、必要に応じてトレーニングプロセスを繰り返します。特徴の抽出とエンジニアリングデータから関連する特徴を抽出するか、新しい特徴を作成してモデルの予測能力を向上させます。このステップでは次元削減、特徴のスケーリング、新しい変数の作成などが行われる場合があります。モデルの展開トレーニング済みのAIモデルを新たな入力データを分析するプロダクション環境に展開します。モデルが既存のインフラストラクチャとシステムとシームレスに統合されていることを確認します。結果の解釈と検証 AIモデルの出力を分析し、結果を解釈します。ドメイン知識と照らし合わせて結果を検証し、正確性と信頼性を確保するために統計的なテストや検証手順を実施します。洞察の伝達と可視化データ可視化技術を使用して、洞察と結果を明確かつ理解しやすく伝えます。チャート、グラフ、ダッシュボードを使用して、複雑な情報をステークホルダーに効果的に伝えます。継続的な改善と改良データパターンやビジネス要件の変化に対応するために、定期的にAIモデルを監視し更新します。ユーザーやステークホルダーからのフィードバックを取り入れ、分析プロセスを洗練させます。倫理的な考慮事項…

「FlexGenに会おう：GPUメモリが限られている場合に大規模な言語モデル（LLM）を実行するための高スループットな生成エンジン」

大規模言語モデル（LLM）は最近、さまざまなタスクで印象的なパフォーマンスを発揮しています。生成型LLMの推論は以前にないほどの力を持っていますが、特定の困難にも直面しています。これらのモデルは数十億または数兆のパラメータを含むことがあり、それらを実行するには膨大なメモリと計算能力が必要です。例えば、GPT-175Bは、モデルの重みを読み込むために325GBのGPU RAMだけが必要です。このモデルをGPUに適合させるには、少なくとも5つのA100（80GB）のGPUと高度な並列処理技術が必要です。そのため、LLM推論に必要なリソースの削減は最近、多くの関心を集めています。 LLMは、ベンチマーキング、情報抽出、データ整形、フォーム処理、チャットボットなどのさまざまな「裏方」の操作に使用されます。この研究では、スループット志向の生成型推論という状況に焦点を当てています。企業のコーパスの全ペーパーなど、大量のトークンにわたってバッチでLLM推論を実行する必要があるため、トークン生成の遅延への感受性が低いというのがこれらのジョブの重要な特徴です。そのため、一部のワークロードでは、遅延を犠牲にしてスループットを向上させることで、リソースの必要性を低減する可能性があります。 LLM推論に必要なリソースを削減するためには、次の3つのアプローチが使用されています: 全体のメモリフットプリントを減らすためのモデル圧縮、推論のコストを分散させるための共同推論、メモリとディスク上のメモリの効果的な利用のためのオフロード。明確な制約は存在しますが、これらの戦略により、LLMの利用に必要なリソースが大幅に削減されています。最初の2つの方法の研究では、モデルがGPUメモリに収まることを前提としているため、単一の商用GPU上で175Bスケールのモデルを実行するための支援が必要です。一方、第3のカテゴリに属する最先端のオフローディングベースのシステムは、効果的なI/Oスケジューリングとテンソル配置ができないため、単一のGPU上で受け入れ可能なスループットに到達することはできません。単一の商用GPUを使用して、彼らの主な目標は高スループットの生成型推論のための効果的なオフロードメカニズムを構築することです。彼らはLLMを部分的にロードし、制約のあるGPUメモリでのLLMの演算を逐次的にオフロードして実行することができます。典型的なシステムでは、メモリの階層は3つの層に分かれています。下位レベルは遅いですが豊富で、上位レベルは速いですが希少です。小さなバッチサイズはこれらのシステムでボトルネックを引き起こす可能性があります。高バッチサイズを使用し、高価なI/O操作を複数のメモリ階層に分散させて処理と重なり合わせることで、スループット志向のシナリオでは遅延を犠牲にすることができます。ただし、遅延を犠牲にしても、制約のあるGPUメモリで高スループットの生成型推論を達成することは困難です。最初の困難は、成功するオフローディング計画を立てることです。計画では、どのテンソルをオフロードするか、3レベルのメモリ構造のどこにオフロードするか、推論中にいつオフロードするかを明確にする必要があります。生成型推論では、重み、アクティベーション、キー値（KV）キャッシュの3種類のテンソルが使用されます。アルゴリズムのバッチごと、トークンごと、レイヤごとの構造のため、計算方法はいくつかあります。これらのオプションが組み合わさって複雑な設計空間が作成されます。現在使用されているオフローディングベースの推論システムは、過度のI/Oを実行し、理論的なハードウェアの制約に比べてスループットが大幅に低下しているため、推論においては劣悪な領域となっています。効率的な圧縮アルゴリズムの作成は、2番目の問題を提起します。以前の出版物では、LLMの重みとアクティベーションは、有望な圧縮結果を示しています。ただし、高スループットの生成型推論のために圧縮とオフロードを組み合わせる場合、重みとKVキャッシュのI/Oコストとメモリ削減によって追加の圧縮戦略が推進されます。 UCB、Stanford、CMU、Meta、Yandex、ETH、HSEの研究者たちは、これらの問題を克服するために、高スループットのLLM推論のためのオフロードフレームワークであるFlexGenを共同で紹介しています。FlexGenは、GPU、CPU、ディスクからのメモリを組み合わせて、効果的なI/Oアクティビティ、潜在的な圧縮技術、および分散パイプライン並列処理を効果的にスケジュールします。彼らの貢献は以下の通りです: 計算スケジュール、テンソル配置、計算委任を考慮した潜在的なオフロードオプションの検索空間を明示的に説明します。彼らは、その検索空間がI/Oの複雑さを最適性の2つ以内に捉える計算順序を表していることを示します。次に、彼らは検索空間内でスループットを最大化するための線形計画に基づく検索アルゴリズムを作成します。再トレーニングやキャリブレーションなしに、OPT-175BのようなLLMの重みとKVキャッシュを4ビットに減らすことが可能で、ほとんどまたは全く精度の低下がありません。I/Oコストとオフロード時のメモリ使用量を低減するために適した細かいグループごとの量子化がこれを実現しています。彼らは、NVIDIA T4（16GB）GPU上でOPT-175Bを実行することで、FlexGenの効率を示します。FlexGenは、DeepSpeed Zero-InferenceやHugging Face Accelerateといった2つの最先端のオフローディングベースの推論アルゴリズムよりも大きなバッチサイズを許容することが多く、その結果、大幅に高いスループットを実現できます。以下に、PaperとGithubをご覧ください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュースや素敵なAIプロジェクトなどを共有している16k+ ML SubReddit、Discordチャンネル、およびメールニュースレターにもぜひ参加してください。 Tensorleapの解釈性プラットフォームで深層学習の秘密を解き放つこの投稿は、MarkTechPostに掲載されています。

このAI論文は、拡散モデルのコンセプトを自身の知識を使って消去するためのモデルの重みを微調整する新しい方法を提案しています

近年、優れた画像品質と無限の生成能力から、モダンなテキストから画像を生成するモデルが注目を集めています。これらのモデルは、巨大なインターネットデータセットで訓練されたため、さまざまな概念を模倣することができます。しかし、これらのモデルは、ポルノグラフィーやその他の悪い概念を出力に含めないように訓練されています。このNEUとMITの研究者による研究では、事前訓練されたテキスト条件付きモデルの重みから特定の概念を選択して排除する方法を提供しています。これまでの戦略は、推論ガイダンス、生成後処理、データセットのフィルタリングに焦点を当ててきました。回避が容易ではありますが、推論ベースのアプローチは望ましくない概念からの出力のフィルタリングや誘導に成功することができます。彼らのシステムは再訓練を必要とせず、大規模なモデルにとってコストがかかるデータフィルタリング技術とは異なります。それに対して、彼らの手法はモデルの入力から概念を直ちに排除し、モデルの重みの分布を可能にします。安定拡散テキストから画像への拡散モデルはオープンソースとして公開され、多くの人々が画像生成技術にアクセスできるようになりました。初期バージョンのソフトウェアには基本的なNSFWフィルターが搭載されており、危険な写真の作成を防ぐことができますが、コードとモデルの重みが公開されているため、フィルターをオフにすることも簡単です。次のSD 2.0モデルは、露骨な写真を除外するためにフィルタリングされたデータで訓練されており、感度のあるコンテンツの作成を防止しています。この実験は、50億枚のLAIONデータセット上で150,000時間のGPUを使用して完了しました。プロセスの高コストのため、データの特定の変更と生じる可能性のある能力との因果関係を確立することは困難です。それでも、ユーザーは露骨な画像やその他の対象を訓練データから除外することが出力の品質に悪影響を与えている可能性があると報告しています。研究者たちは、人気のあるSD 1.4モデルがヌード検出器によって特定される露出した身体部位を持つ画像を796枚生成するのに対して、新しい訓練セット制限のあるSD 2.0モデルは417枚しか生成しないことを発見しました。これは、彼らの努力にもかかわらず、モデルの出力にはまだ重要な露骨なコンテンツが含まれていることを示しています。テキストから画像へのアルゴリズムの著作権侵害の可能性も深刻な懸念材料です。AIによる生成アートの品質は、人間による生成アートと同等であり、実際のアーティストの美的嗜好も正確に模倣することができます。Stable Diffusionなどの大規模なテキストから画像合成システムのユーザーは、「特定のアーティストのスタイルでのアート」といった提案が特定のアーティストのスタイルを模倣する可能性があり、オリジナルの作品を損なう可能性があると述べています。さまざまなアーティストの苦情により、Stable Diffusionの開発者は彼らのアイデアを盗んだとして訴えられています。現在の研究では、モデルがそれをコピーしないように、オンラインで公開する前に作品に対して敵対的な摂動を追加することで、アーティストを保護することを試みています。しかし、この方法を使用すると、学習された芸術的スタイルを持つ教え込まれたモデルが残ります。彼らは、安全性と著作権侵害の懸念に対応して、テキストから画像へのモデルから概念を削除するための手法を提供しています。彼らは、望ましくない概念の説明だけを使用し、その後の訓練データは必要とせず、彼ら自身のErased Stable Diffusion（ESD）技術を使用してモデルのパラメータを微調整します。彼らの手法は迅速であり、既存のモデルとの組み合わせで使用するために入力写真を変更する必要はありません。消去は、パラメータにアクセス権を持つユーザーでも、単純なブラックリストやポストフィルタリングよりも打破することが難しいです。研究者は、削除されたアーティストのスタイルが出力された画像におけるユーザーの認識や他のアーティスティックなタイプへの干渉、および画像の品質への影響を調査するためにユーザースタディを実施しました。彼らのアプローチを望ましくない画像の削除に使用するSafe Latent Diffusionと比較したところ、同じく成功した結果が得られました。彼らはまた、その手法がモデルの創造的な特性を除去する能力を調査しました。最後に、彼らはオブジェクトクラス全体を消去することで、彼らの手法をテストしました。この記事は、論文のプレプリントに基づいています。彼らはモデルの重みとモデルのコードをオープンソース化しています。 PrePrint Paper、Code、およびProjectをご覧ください。この研究に関しては、このプロジェクトの研究者に全てのクレジットがあります。また、最新のAI研究ニュースや素晴らしいAIプロジェクトなどを共有している16k+ ML SubReddit、Discord Channel、およびEmail Newsletterにぜひご参加ください。この記事はMarkTechPostに最初に掲載されました。

「機械学習における特徴エンジニアリングへの実践的なアプローチ」

この記事では、機械学習における特徴学習の重要性と、それを簡単で実践的な手順で実装する方法について説明しました

Machine learning

「50 ミッドジャーニーノーリングのヒント（フラットレイ写真）」

「Midjourneyを使用してノーリング（フラットレイ）の写真を作成できることを知っていましたか？ここには始めるための50のプロンプトがあります」

「現実世界でのPythonのトップ10の使用例」

Pythonは使いやすさ、読みやすさ、豊富なライブラリサポートにより、ソフトウェア開発の世界を変えた多目的かつパワフルなプログラミング言語です。Pythonはさまざまなセクターでのアプリケーションにより、プログラマーや開発者の間で人気を集めています。この記事では、Pythonのトップ10の実世界での使用例をリストアップし、実際のPythonの例を示し、Pythonの学習の利点を強調します。なぜPythonを学ぶのか？ Pythonを学ぶべき理由のいくつかを以下に挙げます: 習得と利用が容易 Pythonは、習得と利用が容易で読みやすい構文を持つため、初心者にとって素晴らしい選択肢です。言語はコードの読みやすさを重視しているため、開発者は明確で簡潔なコードを記述することができます。シンプルさにより、プログラマーは基本的なプログラミングの知識をより早く習得し、より少ない困難を伴って学ぶことができます。多様性と柔軟性 Pythonを使用してさまざまなアプリケーションを構築することができます。Pythonはこれらの活動を可能にするツールとモジュールを備えており、デスクトッププログラムの構築、データの分析、機械学習モデルの構築、オンラインアプリケーションの開発などが可能です。その多様性により、開発者は他の領域に移行することができます。豊富なライブラリサポート Pythonのライブラリは、困難なタスクを簡略化することにより、開発を容易にする事前に書かれたモジュールや関数を提供します。例えば、DjangoやFlaskはWeb開発をサポートし、TensorFlowやPyTorchは機械学習をサポートします。豊富なライブラリサポートにより、開発者は既存のコードを使用して時間を節約しながら特定の問題を解決することができます。関連記事: 知っておく必要のあるトップ10のPythonライブラリ！強力なコミュニティサポート Pythonの開発者コミュニティは、世界中で強力で支援的な存在です。コミュニティは言語のためのライブラリ、フレームワーク、ツール、さらには詳細なドキュメントやチュートリアルを開発することで積極的に貢献しています。この活気あるコミュニティのおかげで、Pythonには新しいトレンドやベストプラクティスがあります。コミュニティフォーラムやディスカッションボードは、開発者が助けを求めたり、知識を交換したり、プロジェクトで協力したりする場を提供してくれます。生産性の向上 Pythonのシンプルさと幅広いライブラリサポートにより、開発者はコードをより迅速かつ効果的に記述することができます。Pythonのコード再利用の重要性により、プログラマーはモジュール化され、保守性の高いコードを作成することができます。既存のフレームワークやライブラリを利用することで、開発者は特定の問題の解決に集中することができます。高い生産性のため、Pythonは小規模から大規模なアプリケーションの両方にとって望ましい選択肢となっています。広範な産業での採用 Pythonの使用は、さまざまな産業で大幅に増えています。大企業や中小企業、学術研究機関、主要な組織がそれを利用しています。この広範な産業での受け入れにより、PythonエンジニアはWeb開発、人工知能、データサイエンス、ソフトウェア開発など、多くの仕事の選択肢を持っています。クロスプラットフォームの互換性 Windows、macOS、Linuxなど、さまざまなオペレーティングシステムで使用することができます。Pythonのクロスプラットフォームの柔軟性は、大規模なユーザーベースに到達するためにソフトウェア開発やWeb構成で非常に役立ちます。さらに、移植性があるため、プログラマーはコードを一度だけ書く必要があります。 Pythonを学ぶのにかかる時間についての記事もチェックしてください！実世界でのPythonの主な用途 Pythonは実世界にさまざまな利益をもたらす多目的なプログラミング言語です。以下はPythonのトップ10の用途です: Web開発データサイエンス…

「AWSサービスを使用して完全なウェブアプリケーションを構築する」

はじめに AWSを学び始めるとき、通常、いくつかのコアサービスのような一部の情報を学びます。AWSコンソールで作業し、新しいEC2インスタンスやS3バケットを作成し、そこに何かをアップロードできます。しかし、ほとんどの場合、これらのサービスを実際のアプリケーションに組み合わせることはできませんでした。私たちは学んできたさまざまなAWSサービスを知っていましたが、それらを実際の使えるものに組み合わせることはできませんでした。同じように感じている場合、正しい場所に来ました。この記事を終えると、AWSでホストされるパスワードマネージャーアプリケーションを構築できるようになります。このアプリケーションはAWSサーバーで計算を行い、ユーザーデータはAPI Gatewayを介してバックエンドサーバーに送信され、最終結果はブラウザでユーザーに表示され、データはAWSデータベースに保存されます。さらに進む前に、AWSアカウントとコンソールへのアクセスがあることを確認してください。AWSの前の知識はこの記事に必要ではありませんが、基本的な理解があると有益です。もし知らない場合でも、私たちがアプリケーションを構築しているため、それに沿って進むことができるはずです。この記事はAWSのサービスの詳細について深く掘り下げることを意図しているわけではありませんが、それらをすべて組み合わせて動作するアプリケーションに結び付けることを意図しています。学習目標異なるAWSサービスを統合してエンドツーエンドのWebアプリケーションを作成する。 AWS Amplifyを使用してWebアプリケーションをデプロイおよびホストする方法を学ぶ。 AWS Lambdaを使用してバックエンドサーバーを作成する方法を学ぶ。フロントエンドとバックエンドのコンポーネント間のデータ転送にAPI Gatewayを使用する方法を学ぶ。 AWS DynamoDBデータベースからデータを保存および取得する方法を学ぶ。構築するサービスとアプリケーションの概要この記事では、上記の画像に示すように、5つのAWSサービスを使用してエンドツーエンドのWebアプリケーションをゼロから構築します。名前、長さ、およびパスワードのプロパティ（大文字、小文字、数字、特殊文字）を入力として受け取り、セキュアなパスワードを生成および保存するセキュアパスワードマネージャーアプリケーションを作成します。これはシンプルなアプリケーションですが、より大規模な実世界のアプリケーションを構築するために必要な主要なコンポーネントをすべて結び付けています。このアプリケーションを構築するためには何をする必要がありますか？ 1. ウェブページを作成してホストする必要があります。 2. パスワード生成機能を呼び出す方法が必要です。 3. 結果を返す計算を行う方法が必要です。 4.…

Google AIは、アーキテクチャシミュレータにさまざまな種類の検索アルゴリズムを接続するための、マシンラーニングのためのオープンソースのジム「ArchGym」を紹介しました

コンピュータアーキテクチャの研究は、コンピュータシステムの設計を評価および影響するためのシミュレータやツールを生み出す長い歴史があります。例えば、1990年代後半には、SimpleScalarシミュレータが開発され、科学者が新しいマイクロアーキテクチャの概念をテストすることができました。コンピュータアーキテクチャの研究は、gem5、DRAMSysなどのシミュレーションやツールの普及により大きな進歩を遂げてきました。その後、学術およびビジネスレベルでの共有リソースとインフラの広範な提供のおかげで、この学問は大きく進展しました。産業界と学界は、厳しい特定ドメインの要件を満たすために、コンピュータアーキテクチャ研究において機械学習（ML）最適化にますます焦点を当てています。これには、コンピュータアーキテクチャのためのML、TinyMLアクセラレーションのためのML、DNNアクセラレータデータパスの最適化、メモリコントローラ、消費電力、セキュリティ、プライバシーなどが含まれます。以前の研究では、設計最適化におけるMLの利点が示されていますが、異なる手法間での公平かつ客観的な比較を妨げる堅牢で再現性のあるベースラインの不足など、まだ採用には障害があります。一貫した開発には、これらの障害に対する理解と共同攻撃が必要です。ドメイン固有のアーキテクチャの設計空間を探索するために機械学習（ML）を使用することは広く行われています。ただし、設計空間をMLを使用して探索することは困難を伴います: 成長するMLテクニックのライブラリから最適なアルゴリズムを見つけることは困難です。手法の相対的なパフォーマンスとサンプル効率を評価する明確な方法はありません。 MLを支援したアーキテクチャの設計空間の探索と再現可能なアーティファクトの生成は、異なる手法間での公平で再現性のある客観的な比較のための統一されたフレームワークの欠如により妨げられています。これらの問題に対処するため、Googleの研究者はArchGymを発表しました。これは、様々な検索手法をビルディングシミュレータと統合する柔軟でオープンソースのジムです。機械学習によるアーキテクチャの研究：主な課題機械学習の支援を受けてアーキテクチャを研究する際には、多くの障害が存在します。コンピュータアーキテクチャの問題（例：DRAMコントローラの最適なソリューションの特定）に対して、最適な機械学習（ML）アルゴリズムやハイパーパラメータ（学習率、ウォームアップステップなど）をシステマチックに決定する方法はありません。設計空間探索（DSE）は、ランダムウォークから強化学習（RL）まで、さまざまなMLおよびヒューリスティック手法を使用することができます。これらの手法は、選択したベースライン以上のパフォーマンスを明らかに向上させますが、これが最適化アルゴリズムの選択された手法または設定ハイパーパラメータによるものかは明確ではありません。コンピュータアーキテクチャシミュレータは、アーキテクチャの進歩に不可欠ですが、探索フェーズにおいて精度、効率、経済性のバランスを取ることについての懸念があります。使用されるモデルの具体的な仕様によって（例：サイクル精度 vs MLベースのプロキシモデル）、シミュレータは大きく異なるパフォーマンスの推定値を提供することがあります。解析的またはMLベースのプロキシモデルは、低レベルの特徴を無視することができるため、アジャイルですが、通常、予測誤差が高いです。また、商用ライセンスによってシミュレータの使用頻度が制限されることもあります。総じて、これらの制限によるパフォーマンス対サンプル効率のトレードオフは、設計探索に選択される最適化アルゴリズムに影響を与えます。最後になりますが、MLアルゴリズムの環境は迅速に変化しており、一部のMLアルゴリズムは適切に機能するためにデータに依存しています。また、デザイン空間に関する洞察を得るために、データセットなどの関連アーティファクトでDSEの出力を視覚化することも重要です。 ArchGymによるデザイン ArchGymは、さまざまなMLベースの検索アルゴリズムを一貫して比較および対比するための統一された方法を提供することで、これらの問題を解決します。主要なパーツは次の2つです： 1) ArchGymの設定 2) ArchGymのエージェント環境は、アーキテクチャのコストモデルと目的のワークロードをカプセル化し、特定のアーキテクチャパラメータのセットに対してワークロードの実行にかかる計算コストを計算するために使用されます。エージェントにはハイパーパラメータと、検索に使用されるMLアルゴリズムを指示するポリシーが含まれています。ハイパーパラメータは、最適化されているモデルにとって重要であり、結果に大きな影響を与えることがあります。一方、ポリシーは、エージェントが時間の経過に伴って目標を最適化するためにどのパラメータを選択するかを指定します。 ArchGymの標準化されたインタフェースは、これらの2つの部分を結びつけ、ArchGymデータセットはすべての探索情報が保存される場所です。インタフェースを構成する3つの主要なシグナルは、ハードウェアの状態、パラメータ、およびメトリックスです。これらのシグナルは、エージェントとその周囲との信頼性のある通信路を確立するために最低限必要なものです。これらのシグナルにより、エージェントはハードウェアの状態を監視し、設定の調整を推奨して（顧客指定の）報酬を最大化するようにします。報酬は、ハードウェアの効率のいくつかの指標に比例します。研究者はArchGymを使用して、少なくとも1つのハイパーパラメータの組み合わせが他のML手法と同じハードウェアパフォーマンスをもたらすことを経験的に示し、これはさまざまな最適化ターゲットとDSEの状況にわたって成り立ちます。MLアルゴリズムのハイパーパラメータまたはベースラインの任意の選択によって、MLアルゴリズムのファミリーのどれが優れているかについて誤った結論が導かれる可能性があります。彼らは、ランダムウォーク（RW）を含むさまざまな探索アルゴリズムが、適切なハイパーパラメータの調整で最適な報酬を見つけることができることを示しています。ただし、最適なハイパーパラメータの組み合わせを特定するには、多くの作業または運が必要な場合もあることを覚えておいてください。 ArchGymは、MLアーキテクチャDSEのための共通で拡張可能なインターフェースを提供し、オープンソースソフトウェアとして利用できます。ArchGymはまた、コンピュータアーキテクチャの研究問題に対するより堅牢なベースラインを可能にし、さまざまなML技術の公正かつ再現可能な評価を行うことができます。研究者たちは、コンピュータアーキテクチャの分野で研究者が集まり、機械学習を利用して作業を加速し、新しい創造的な設計のアイデアを生み出す場所があれば、大きな進歩となると考えています。

Learn more about Search Results ML - Page 338