Search Results V100

アップル M2 Max GPU vs Nvidia V100、P100、およびT4

「Apple Silicon M2 MaxのGPU性能を、TensorFlowを使用して、MLP、CNN、およびLSTMモデルのトレーニングにおいて、Nvidia V100、P100、およびT4と比較します」

このAI論文は、デュアル1-Dヒートマップを使用したリアルタイムマルチパーソンポーズ推定の画期的な技術であるRTMOを紹介しています

姿勢推定とは、物体の位置と方向を空間上で決定することを含む分野であり、継続的に新しい手法を開発して精度とパフォーマンスを向上させてきました。清華深圳国際研究大学院、上海AIラボ、南洋理工大学の研究者たちは、最近、新しいRTMOフレームワークを開発することでこの分野に貢献しました。このフレームワークは、姿勢推定の精度と効率を向上させるポテンシャルを持ち、ロボット工学、拡張現実、仮想現実など、さまざまなアプリケーションに大きな影響を与える可能性があります。 RTMOは既存の手法における精度とリアルタイム性のトレードオフを解消するために設計されたワンステージの姿勢推定フレームワークです。RTMOは座標の分類と密な予測モデルを統合し、トップダウンアプローチと同等の精度を実現しながら、高速性を維持することで、他のワンステージの姿勢推定器を凌駕しています。リアルタイムのマルチパーソン姿勢推定はコンピュータビジョンの課題であり、既存の手法は速度と精度のバランスをとるために支援が必要です。トップダウンアプローチまたはワンステージアプローチのいずれかには、推論時間または精度の制約があります。RTMOはワンステージの姿勢推定フレームワークであり、YOLOアーキテクチャと座標の分類を組み合わせています。RTMOは動的座標分類器と特別な損失関数を用いて課題を解決し、COCOでの高い平均適合度を維持しながら、リアルタイムのパフォーマンスを実現しています。この研究では、YOLOのようなアーキテクチャを使用し、背骨とハイブリッドエンコーダを持つRTMOというリアルタイムのマルチパーソン姿勢推定フレームワークを提案しています。デュアル畳み込みブロックは各空間レベルでスコアとポーズ特徴を生成します。この手法は動的座標分類器と特別な損失関数を用いて、座標の分類と密な予測モデルの非互換性に対処しています。動的ビンエンコーディングを使用してビンごとの表現を作成し、クラス分類タスクにはガウスラベルスムージングと交差エントロピー損失を用いています。 RTMOは、高い精度とリアルタイム性を備えたワンステージの姿勢推定フレームワークであり、先端のワンステージ姿勢推定器よりも優れた性能を発揮し、同じ背骨を使用しておよそ9倍速く動作します。最大モデルのRTMO-lはCOCO val2017で74.8%のAPを達成し、単一のV100 GPUで秒あたり141フレームを実行します。異なるシナリオで、RTMOシリーズはパフォーマンスと速度で同等の軽量なワンステージ手法を上回り、効率と正確性を示しています。追加のトレーニングデータを使用することで、RTMO-lは最新の81.7の平均適合度を達成します。このフレームワークは、各キーポイントに対して頑強かつコンテキスト感知型の予測を容易にする空間的に正確なヒートマップを生成します。 https://arxiv.org/abs/2312.07526v1 まとめると、この研究の要点は以下の通りです: RTMOは高い精度とリアルタイム性を持つ姿勢推定フレームワークです。 RTMOはYOLOアーキテクチャ内で座標の分類をシームレスに統合しています。 RTMOは、座標ビンを使用した革新的な座標の分類技術を活用し、正確なキーポイントの位置特定を実現しています。 RTMOは、先端のワンステージ姿勢推定器を凌駕し、COCOで高い平均適合度を達成しながらも、大幅に高速です。 RTMOは難しいマルチパーソンのシナリオで優れた性能を発揮し、頑健な、コンテキスト感知型の予測のための空間的に正確なヒートマップを生成します。 RTMOは既存のトップダウンおよびワンステージのマルチパーソン姿勢推定手法のパフォーマンスと速度をバランスさせます。

「2024年に探索する必要のある10の最高のGPU」

イントロダクション人工知能（AI）、機械学習（ML）、深層学習（DL）の時代において、驚異的な計算リソースの需要は最高潮に達しています。このデジタル革命は私たちを未知の領域に駆り立て、データ駆動の洞察がイノベーションの鍵となる時代へと導いています。しかし、これらのフロンティアを開拓するためには、私たちの高まる野望に対応できるツールが必要です。魅惑的なクラウドGPUの世界へようこそ。これらのグラフィックス処理ユニット（GPU）は、単なる計算リソースに留まらず、限りないパワーのエンジンです。クラウドGPUは、重い前払いのハードウェア投資なしに、超コンピューティング能力を利用する非凡な能力をユーザーに提供します。このガイドは、主要なクラウドプロバイダーを舞台に、その強みや隠れた魅力を明らかにし、AI/ML/DLの旅をサポートします。最高のGPUの概要プロバイダー GPUオプション価格無料ティア特徴最適な用途 Amazon Web Services（AWS） T4、G4ad（Radeon Pro V520）オンデマンド＆スポットインスタンスはい（制限付き）多様なGPUオプション、広範なエコシステム大企業、高要求のワークロード Microsoft Azure T4、A100、V620、M60、MI25…

Amazon Kendraを使用して保険請求をインテリジェントに処理するために、Amazon Comprehendで作成されたカスタムメタデータを使用します

構造化データとは、データベース内の列に格納された情報のように固定されたパターンに従うデータ、およびテキスト、画像、またはソーシャルメディアの投稿などの特定の形式やパターンを持たない非構造化データの両方が、さまざまな組織で生産され、消費され続けています例えば、国際データコーポレーション（IDC）によると、[…]

ナレッジグラフ、ハードウェアの選択、Pythonのワークフロー、およびその他の11月に読むべきもの

データと機械学習の専門家にとって、1年間のイベント満載な時期もいよいよ終盤に入ってきました皆さんの中には、新しいスキルを学ぶために最後の力を振り絞り、最新の研究に追いつくために奮闘している方も多いことでしょう

「新時代のAI/MLのためのソフトウェア/ハードウェアアーキテクチャをどのように共同設計するか？」

最新の生成AI技術は、コンピュータビジョン、自然言語処理などで爆発的な成長を遂げ、画期的なモデルアーキテクチャの研究によるブレイクスルーが続々と生まれています

Amazon MusicはSageMakerとNVIDIAを使用してMLの訓練および推論のパフォーマンスとコストを最適化しています

Amazon Music のストリーミングのダイナミックな世界では、曲やポッドキャスト、プレイリストの検索ごとに物語、ムード、感情の洪水が待っていますこれらの検索は新たな発見、大切な経験、永続する思い出への入り口となります検索バーは単に曲を見つけるためだけではありません

このAI論文は、MITが化学研究のために深層学習モデルのスケーリングを探究しています

MITの研究者は、化学のための生成的事前トレーニングモデル（ChemGPT）とグラフニューラルネットワークフォースフィールド（GNNs）の両方に焦点を当てて、大規模な化学言語モデルのスケーリング挙動を調査しました。彼らは、モデルのパフォーマンスが経験的なスケーリング則によって特徴付けられるニューラルスケーリングの概念を紹介しました。特に、モデルのパラメータの数、データセットのサイズ、または計算リソースに関連する損失のスケーリングについてのべています。この研究では、大規模な化学モデルのスケーリングに関連する課題と機会について探究し、事前トレーニング損失の改善のためのリソースの最適な割り当てについての洞察を提供することを目指しています。化学言語モデリングにおいて、研究者はSELFIES（分子の自己参照埋め込み文字列）表現のためのトークナイザーを使用した、GPT-Neoに基づいたGPT-3スタイルのモデルであるChemGPTを設計しています。このモデルはPubChemの分子で事前トレーニングされ、研究ではデータセットとモデルのサイズが事前トレーニングの損失に与える影響を調査しています。言語モデルに加えて、この論文では、分子の幾何学と3次元構造を必要とするタスクのためのグラフニューラルネットワークフォースフィールド（GNNs）についても言及しています。E(3)不変量のみを操作する内部レイヤーを持つモデルから、E(3)が同変量を使用し、物理学に基づいたモデルアーキテクチャを持つモデルまで、4つのタイプのGNNが考慮されています。筆者らは、ニューラルスケーリングの実験中に、これらのGNNの深さと幅という観点での能力を評価しています。深層化学モデルのハイパーパラメータ最適化（HPO）を効率的に扱うために、この論文では「Training Performance Estimation（TPE）」という技術を紹介しています。これは、コンピュータビジョンアーキテクチャで使用されている手法を適応させたものです。TPEは、トレーニング速度を利用して、異なるドメインやモデル/データセットのサイズでパフォーマンスを推定することを可能にします。この論文では、実験設定、NVIDIA Volta V100 GPU、PyTorch、およびモデルの実装とトレーニングのための分散データパラレルアクセラレーションの使用について詳細に説明されています。全体として、この研究は大規模な化学言語モデルのコンテキストでのニューラルスケーリングの包括的な探索を提供し、生成的事前トレーニングトランスフォーマーとグラフニューラルネットワークフォースフィールドの両方を考慮に入れ、ハイパーパラメータ最適化の効率的な方法を紹介しています。実験結果と洞察は、科学的なディープラーニングアプリケーションにおける異なるモデルアーキテクチャのリソース効率を理解するために貢献しています。

このAI研究では、LSS Transformerを発表しましたこれは、Transformerにおける効率的な長いシーケンスの学習を革新的なAIアプローチで実現します

新しいAI研究では、Long Short-Sequence Transformer (LSS Transformer)という効率的な分散学習手法が紹介されました。この手法は、長いシーケンスをGPU間でセグメント化し、各GPUが部分的なセルフアテンション計算を処理します。 LSS Transformerは統合通信とユニークなダブル勾配平均技術を採用し、伝送オーバーヘッドを最小限に抑え、驚異的な高速化とメモリ削減を実現し、他のシーケンス並列手法を凌駕しています。Wikipedia enwik8データセットでの性能評価では、LSS Transformerは複数のGPUでより高速な学習と改善されたメモリ効率を実現し、Nvidiaのシーケンス並列処理を上回りました。セルフアテンションメカニズムで知られるトランスフォーマーは、自然言語処理や画像処理で使用される強力なニューラルネットワークアーキテクチャです。より長いシーケンスでトランスフォーマーを訓練することは、文脈情報の把握と予測精度を高める一方で、メモリと計算量の要求を増加させます。この課題に対応するために、階層的な訓練、アテンションの近似、および分散シーケンス並列処理など、さまざまなアプローチが試されています。 LSS Transformerは、Wikipedia enwik8データセットで144台のNvidia V100 GPUを使用して、従来のシーケンス並列処理を超える、学習速度を5.6倍向上させ、メモリ効率を10.2倍向上させました。さらに、3,456台のGPUで極端なシーケンス長（50,112）を処理し、161%の超線形並列効率と32ペタフロップの高いスループットを達成しました。LSS Transformerは、他のシーケンス並列手法と比較して、大規模なモデル実験（108台のGPUを使用）で高いスケーリング効率とベースライン並列処理との比較における小さなメモリフットプリントを維持しました。LSS Transformerは、144ノードでの50,112のシーケンス長に対して8ペタフロップの計算スループットを提供し、速度とスケーラビリティの面でベースラインのシーケンス並列処理を凌駕しました。 LSS Transformerは、長いシーケンスでトランスフォーマーモデルを訓練する課題に対する画期的な解決策を提供し、通信オーバーヘッドを最小限に抑えながら、驚異的な高速化とメモリ効率を実現する分散学習手法です。この手法はシーケンスをGPU間でセグメント化し、統合通信とダブル勾配平均を利用します。LSS Transformerの超長シーケンストレーニングを促進する能力は、DNAシーケンス解析、長文要約、および画像処理など、多くのトークンの依存性を必要とするアプリケーションにとって貴重なアセットとなります。この研究にはいくつかの制約があります。まず、Nvidiaのシーケンス並列処理に焦点を当て、長いシーケンストレーニングの既存の方法と比較する必要があります。次に、LSS Transformerによって実現される精度と効率のトレードオフを詳しく調査する必要があります。さらに、潜在的な実世界の実装上の課題に対処する必要があります。また、LSS Transformerの性能に対するハイパーパラメータやアーキテクチャの変更の影響を探ることはありません。最後に、計算とメモリ使用の削減に対する近似ベースのアプローチとの包括的な比較がありません。 LSS…

「Amazon SageMakerを使用して、ファルコンモデルのパフォーマンスを向上させる」

大型言語モデル（LLM）をテキスト生成AIアプリケーションのホスティングするための最適なフレームワークと設定は何ですか？ LLMを提供するための選択肢が豊富であるにもかかわらず、モデルの大きさ、異なるモデルアーキテクチャ、アプリケーションのパフォーマンス要件などにより、この問題に答えることは困難です Amazon SageMaker Large Model Inference[…]

Learn more about Search Results V100