Search Results A

新しいNVIDIA GPUベースのAmazon EC2インスタンスを3つ紹介します

アマゾン・エラスティック・コンピュート・クラウド（Amazon EC2）の高速化コンピューティングポートフォリオは、人工知能（AI）、機械学習（ML）、グラフィックス、高性能コンピューティング（HPC）のワークロードに電力を供給するための最も広範なアクセラレータの選択肢を提供しています私たちは、最新のNVIDIA GPUを搭載した3つの新しいインスタンスでこのポートフォリオを拡大することを発表することを喜んでいます：Amazon EC2 P5eインスタンスをパワー［...］

ETH Zurichの研究者が、推論中に0.3%のニューロンしか使用しないが、同様のBERTモデルと同等の性能を発揮するUltraFastBERTを紹介しました

ETHチューリッヒの研究者によるUltraFastBERTの開発は、推論中に使用するニューロンの数を削減する問題に取り組み、他のモデルと同様のパフォーマンスレベルを維持しながら、高速なフィードフォワードネットワーク（FFF）の導入により、ベースラインの実装と比較して大幅な高速化を実現しました。既存の手法は、ETHチューリッヒの研究者によって提供されたコード、ベンチマーク設定、およびモデルの重みによってサポートされています。また、複数のFFFツリーによる共同計算と、GPT-3などの大規模な言語モデルへの応用の可能性を提案しています。研究では、混合スパーステンソルとデバイス固有の最適化によるさらなる高速化も提案されています。 UltraFastBERTは、推論中の選択的なエンゲージメントによる効率的な言語モデリングを実現しています。従来のモデルのフィードフォワードネットワークを簡略化されたFFFに置き換え、一貫した活性化関数と全ノードの出力重みを使用しながらバイアスを排除しています。複数のFFFツリーで中間層の出力を共同計算することにより、多様なアーキテクチャが可能となります。提供される高レベルのCPUおよびPyTorchの実装により、大幅な高速化が実現され、研究では複数のFFFツリーによる高速化や大規模な言語モデルのフィードフォワードネットワークのFFFへの置換も探求しています。デバイス固有の最適化としては、Intel MKLとNVIDIA cuBLASが提案されています。 UltraFastBERTは、推論中にBERT-baseと比較可能なパフォーマンスを達成し、そのニューロンのわずか0.3％のみを使用しています。1日の単一GPUでトレーニングされ、GLUEの予測パフォーマンスは少なくとも96.0％を維持します。UltraFastBERT-1×11-longは、そのニューロンのわずか0.3％を使用してBERT-baseのパフォーマンスに対応します。より深い高速フィードフォワードネットワークではパフォーマンスが低下しますが、CoLAを除くすべてのUltraFastBERTモデルは少なくとも98.6％の予測パフォーマンスを維持します。クイックフィードフォワードレイヤーによる大幅な高速化が示され、CPUで48倍から78倍、GPUで3.15倍の高速化が実現されており、大規模なモデルの置換の可能性が示唆されています。結論として、UltraFastBERTは、推論中にそのニューロンのわずかな部分しか使用せずに効率的な言語モデリングを実現するBERTの改良版です。提供されるCPUおよびPyTorchの実装により、それぞれ78倍と40倍の高速化が達成されています。研究は、条件付きニューラル実行のプリミティブの実装によるさらなる高速化の可能性を示唆しています。わずか0.3％のニューロンしか使用していないにも関わらず、UltraFastBERTの最良モデルはBERT-baseのパフォーマンスに匹敵し、効率的な言語モデリングの可能性を示しています。UltraFastBERTは、将来のより高速かつリソースフレンドリーなモデルの道を開く効率的な言語モデリングの潜在的な進歩を示しています。今後の研究の提案内には、ハイブリッドベクトルレベルスパーステンソルとデバイス固有の最適化を使用した効率的なFFF推論の実装、条件付きニューラル実行の完全なポテンシャルの探索、大規模な言語モデルのフィードフォワードネットワークをFFFに置換することによる最適化の可能性についての議論が含まれています。将来の作業では、PyTorchやTensorFlowなどの一般的なフレームワークで再現性のある実装と、UltraFastBERTや類似の効率的な言語モデルのパフォーマンスと実用的な影響を評価するための幅広いベンチマークに焦点を当てることができます。

「マクマスター大学とFAIRメタリサーチャーズは、電子密度を正規化フローによるパラメータ化する新しい機械学習アプローチを提案しました」

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-27-at-5.58.17-PM-1024×476.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Screenshot-2023-11-27-at-5.58.17-PM-150×150.png”/>マクマスター大学とFAIR Metaの研究者は、軌道フリー密度汎関数理論（OF-DFT）のための新しい機械学習（ML）技術を開発しました。このMLメソッドは、合計エネルギー関数を最適化し、様々な化学系にわたる電子密度を成功裏に再現します。この手法は、リチウムヒ化物、水素、および水分子のシミュレーションに適用され、メモリ効率の良い勾配最適化法により、ラプラシアン演算子を最適化し、ハートリーおよび外部ポテンシャル関数を解決することで精度が向上します。分子の電子エネルギーを計算するための既存の方法には、伝統的なコーン・シャム密度汎関数理論（KS-DFT）がありますが、より複雑なシステムに適した電子密度を最小化するOF-DFTという未開拓の手法が開発されています。OF-DFTは、量子化学および凝縮系物理学における電子密度を中心とした計算アプローチであり、大規模なシステムに対してKS-DFTに比べて利点を提供します。ホーエンバーグ・コーンの定理に合致する電子密度の最小化によって基底状態の性質を決定します。ノーマライズフローアンサッツを用いて電子密度をパラメータ化し最適化する独自の手法を導入し、多様な化学系において電子密度を成功裏に複製します。OF-DFTにおける合計エネルギー関数の最適化手法は、電子密度をパラメータ化するためのノーマライズフローアンサッツを使用することにより、様々な化学系にわたって電子密度を最適化します。連続的なノーマライズフローを用いて電子密度を連続的に変換し、ニューラルネットワークを使用して常微分方程式を解くことで実現します。合計エネルギーの最適化には勾配ベースのアルゴリズムが使用され、関連する量に対してはモンテカルロサンプリングが利用されます。また、OF-DFTにおけるラプラシアン演算子およびハートリーおよび外部ポテンシャルに関連する関数に対しては、メモリ使用効率の良い勾配最適化法が採用されます。この手法は、特にLiHの双原子分子を適切にモデル化し、水素と水分子の広範なシミュレーションを実施しました。このモデルは、異なる化学系において電子密度を正確に再現し、H2およびH2O分子の最適化中に密度およびポテンシャルエネルギー面での変化を示しました。STO-3G基底関数セットを使用したハートリーフォックモデルとの比較分析により、連続的なノーマライズフローモデルでは原子核周辺でより高い密度を示しました。密度汎函数値は、最適化プロセス全体で指数移動平均を用いて計算されました。結論として、連続的なノーマライズフローによる密度変換を活用したOF-DFTアプローチは、異なる化学系にわたる電子密度とポテンシャルエネルギー面を正確に記述するための制約のない有望な解決策です。LiH、水素、および水などの分子を用いた研究において、原子核周辺の高密度の再現能力が強調され、さらなる改善と応用の可能性が示されています。OF-DFT電子構造計算の将来の課題には、以下のようなものが考えられます：<ul><li>電子密度のためのノーマライズフローアンサッツの改良。</li><li>連続的なノーマライズフローアプローチをより複雑な化学系に拡張すること。</li><li>CNFモデルの精度を評価するための比較分析の実施。</li><li>効率と精度を向上させるために、他の機械学習技術とCNFモデルを統合すること。</li></ul>

「Amazon SageMaker Canvasを使用したノーコードでSalesforce Data CloudでのMLの民主化」

この記事はSalesforce Einstein AIの製品ディレクターであるダリル・マーティスと共同執筆ですこれはSalesforce Data CloudとAmazon SageMakerの統合について議論するシリーズの3回目の投稿ですパート1とパート2では、Salesforce Data CloudとEinstein StudioのSageMakerとの統合によって、企業が自分たちのデータにアクセスすることができる方法を示しています

AWS AIサービスの能力がFMによって強化されました

「人工知能（AI）は、私たちがビジネスを行い、顧客にサービスを提供する方法を変革し続けていますAWSは、アプリケーションに即座に使用できる知能を提供する事前学習されたAIサービスの範囲を提供していますこの記事では、新しいAIサービスの機能と、それらがファウンデーションモデル（FM）を使用してどのように強化されるかについて探求します以下の主要なアップデートに焦点を当てます[...]」

「Amazon SageMaker Data Wranglerを使用して、生成型AIのデータ準備をシンプルにする」

生成型人工知能（生成型AI）モデルは、高品質のテキスト、画像、およびその他のコンテンツを生成する能力を見せていますしかし、これらのモデルは、最大の可能性を発揮するためには大量のクリーンで構造化されたトレーニングデータが必要ですほとんどの現実世界のデータはPDFなどの非構造化形式で存在しており、効果的に使用するためには前処理が必要ですIDCによると、[…]

AI（人工知能）の謎を解明：フォローすべきブロガーやライター

この記事では、注目すべき影響力のあるAIインフルエンサーや研究者、執筆者を紹介しています彼らの経歴、業績、AIの進歩に関する重要な洞察について学びましょう

Tech

新しいAmazon SageMakerコンテナでLLMの推論パフォーマンスを強化する

今日、Amazon SageMakerは、大規模モデル推論（LMI）Deep Learning Containers(DLCs)の新バージョン（0.25.0）をリリースし、NVIDIAのTensorRT-LLMライブラリのサポートを追加しましたこれらのアップグレードにより、SageMaker上で最先端のツールを簡単に使用して大規模言語モデル（LLMs）を最適化し、価格パフォーマンスの利点を得ることができます - Amazon SageMaker LMI TensorRT-LLM DLCは、レイテンシを33%削減します[...]

「学習する機械：AI技術の可能性を探る」

人工知能（AI）は過去10年間で非常に進化してきましたこの技術が進化し続けると共に、様々な産業において新たな可能性が生まれており、倫理と責任あるイノベーションに関する重要な問いを提起していますAIが医療分野を変革する可能性医療分野は、応用AIによって大きな恩恵を受けることができるでしょう機械学習アルゴリズムは… 学ぶ機械：AI技術の可能性を探るさらに読む »

NEWS

「Unblock Your Software Engineers With Unblocked（アンブロックドでソフトウェアエンジニアを活用しましょう）」

「AIは、私たちのフィールドでますます重要な役割を果たしており、私たち開発者の生産性を大きく向上させる能力を持っていますこれまでに経験したことのない方法で生産性を向上させることができます」

Learn more about Search Results A - Page 56