未来を点火する：TensorRT-LLMのリリースにより、AI推論のパフォーマンスが向上し、RTXを搭載したWindows 11 PCで新しいモデルのサポートが追加されました

未来を燃やす：TensorRT-LLMリリースにより、AI推論のパフォーマンスが向上し、Windows 11 PCでRTXを搭載して新しいモデルのサポートが追加されました

Windows 11 PC上の人工知能は、ゲーマーやクリエイター、ストリーマー、オフィスワーカー、学生、そしてカジュアルなPCユーザーにとって、テックの歴史における転換点となるものであり、革新的な体験をもたらします。

これにより、RTX GPUを搭載した1億台以上のWindows PCとワークステーションのユーザーは、生産性を向上させる空前の機会を得ることができます。また、NVIDIAのRTXテクノロジーにより、開発者がコンピュータの使用方法を変えるAIアプリケーションをより簡単に作成できるようになりました。

Microsoft Igniteで発表された新しい最適化、モデル、リソースにより、開発者は新しいエンドユーザー体験をより迅速に提供できるようになります。

TensorRT-LLMというオープンソースソフトウェアは、AI推論性能を向上させるために開発されており、近い将来、新しい大規模言語モデルのサポートが追加され、8GB以上のVRAMを搭載したRTX GPUを搭載したデスクトップやノートパソコンで要求の厳しいAIのワークロードがより利用しやすくなります。

• 「速さの中で：NVIDIAがオムニバースクラウドサービスをMicrosoft Azure上で発表し、自動車のデジタル化を加速する」
• 「言語モデルは単語以上に推論できるのか？複雑なタスクのための多層隠れ状態における暗黙の推論の探求」
• 「ストリーミングLLMの紹介 無限長の入力に対するLLM」

TensorRT-LLM for Windowsは、近い将来、OpenAIの人気のあるChat APIと互換性があり、新しいラッパーを介して実行される予定です。これにより、数百の開発者プロジェクトやアプリケーションがクラウドではなくRTXを搭載したPC上でローカルに実行されるため、ユーザーはWindows 11 PCにプライベートなデータやプロプライエタリなデータを保持することができます。

カスタム生成AIは、プロジェクトの維持に時間とエネルギーを要します。特に、複数の環境やプラットフォームでの共同作業や展開を試みる場合は、非常に複雑で時間がかかることがあります。

AI Workbenchは、開発者がPCやワークステーション上で事前学習済みの生成AIモデルやLLMを迅速に作成、テスト、カスタマイズできる統合された使いやすいツールキットです。これにより、開発者はAIプロジェクトを組織するための単一のプラットフォームを提供され、モデルを特定の用途に調整することができます。

これにより、開発者は迅速にコスト効率の高いスケーラブルな生成AIモデルを作成し、シームレスな共同作業と展開を実現できます。今後のアップデートを受け取るために、この成長するイニシアチブへの初期アクセスリストに参加することができます。 早期アクセスリストに参加する

AI開発者を支援するために、NVIDIAとMicrosoftはDirectMLの強化版をリリースし、Llama 2とStable Diffusionという最も人気のあるAIモデルのパフォーマンスを向上させます。開発者は、パフォーマンスの新たな基準を設定することに加え、ベンダー間でのデプロイメントのオプションもさらに増えました。

ポータブルAI

NVIDIAは先月、LLM推論を高速化するためのWindows用のTensorRT-LLMライブラリを発表しました。

今月末に来るTensorRT-LLMの次のリリース、v0.6.0では、推論性能が改善され（最大5倍速い）、新しいMistral 7BやNemotron-3 8Bを含む人気のあるLLMのサポートが可能になります。これらのLLMのバージョンは、8GB以上のRAMを搭載したGeForce RTX 30シリーズおよび40シリーズのGPUで動作します。最もポータブルなWindowsデバイスでも高速かつ正確なローカルLLMの機能が利用できます。

TensorRT-LLMの新しいリリースは、/NVIDIA/TensorRT-LLMのGitHubレポジトリでインストールできます。最適化された新しいモデルは、ngc.nvidia.comで利用可能になります。

自信を持ってコミュニケーションする

世界中の開発者や愛好家は、さまざまなアプリケーションでOpenAIのChat APIを使用しています。ウェブコンテンツの要約やドキュメントやメールの作成、データの分析や可視化、プレゼンテーションの作成など、幅広い用途に使用されています。

クラウドベースのAIの一つの課題は、ユーザーが入力データをアップロードする必要があり、プライベートデータや専有データ、または大規模なデータセットでの使用には非現実的です。

この課題に対処するために、NVIDIAは近くTensorRT-LLM for Windowsを提供し、新しいラッパーを介してOpenAIの広く人気のあるChatAPIと同様のAPIインターフェースを提供します。この新しいラッパーにより、RTXを搭載したPC上でローカルにモデルやアプリケーションを設計するか、クラウド上で動作させるかにかかわらず、開発者は似たようなワークフローを使用できます。コードの一行または二行を変更するだけで、数百のAIによる開発者プロジェクトやアプリケーションが高速なローカルAIの恩恵を受けることができます。ユーザーはデータを自分のPC上に保持し、データセットをクラウドにアップロードする心配はありません。

もっとも嬉しいことは、これらのプロジェクトやアプリケーションの多くがオープンソースであり、開発者がRTXで動作するWindows上の生成AIの普及を促進するために容易に利用・拡張できるということです。

このラッパーは、TensorRT-LLMに最適化された任意のLLM（例：Llama 2、Mistral、NV LLMなど）と連携し、GitHub上のリファレンスプロジェクトとしてリリースされ、RTX上のLLMを利用するための他の開発者リソースと共に提供されます。

モデルの高速化

開発者は最先端のAIモデルを利用し、クロスベンダーAPIでデプロイできるようになりました。開発者をサポートするための持続的な取り組みの一環として、NVIDIAとMicrosoftはDirectML APIを介してRTX上のLlamaを高速化するために共同で取り組んでいます。

先月発表されたこれらのモデルの最速の推論パフォーマンスに基づき、このクロスベンダーデプロイメントの新しいオプションにより、AI機能をPCに取り入れることがこれまで以上に容易になりました。

開発者や愛好家は、最新のONNXランタイムをダウンロードし、Microsoftからのインストール手順に従い、11月21日にリリースされるNVIDIAの最新ドライバーをインストールすることで、最新の最適化を体験することができます。

これらの新しい最適化、モデル、およびリソースにより、世界中の1億台のRTX PCにAI機能とアプリケーションの開発とデプロイメントが加速され、既にRTX GPUによって高速化されたAI搭載アプリやゲームを提供している400以上のパートナーに加わることになります。

モデルがますますアクセス可能になり、開発者がRTX搭載のWindows PCにより多くの生成AI機能をもたらすようになるにつれて、RTX GPUはこの強力な技術を活用するために重要な役割を果たします。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!