RayはNVIDIA AIとの協業により、開発者が製品向けのLLMを構築、調整、トレーニング、スケールアップするのを支援します

RayはNVIDIA AIとの協業により、製品向けのLLMの構築、調整、トレーニング、スケールアップを開発者が支援します

大規模言語モデルの開発は、NVIDIAとAnyscaleのコラボレーションにより、超音速の速さに達する予定です。

Anyscaleは、急速に成長しているスケーラブルなコンピューティングのためのオープンソースの統一コンピュートフレームワークを開発している会社であり、そのAnyscaleプラットフォームとRayオープンソースにNVIDIA AIを組み込むことを発表しました。また、新たに発表されたAnyscaleエンドポイントにも統合され、最も人気のあるオープンソースモデルを使用してアプリケーション開発者がLLMを容易に埋め込むことができるようになります。

これらの統合により、Code Llama、Falcon、Llama 2、SDXLなどのプライプライエタリなLLMからオープンモデルまで、生成型AIの開発と効率が大幅に向上し、生産型AIのセキュリティも強化されます。

開発者は、RayとオープンソースのNVIDIAソフトウェアをデプロイする柔軟性があります。または、Anyscaleプラットフォームで実行されるNVIDIA AI Enterpriseソフトウェアを選択して、完全にサポートされたセキュアな本番環境にデプロイすることもできます。

• アンサンブル学習技術：Pythonでのランダムフォレストを使った手順解説
• 大規模言語モデルは安全性を自己評価できるのか？RAINに会ってください：ファインチューニングなしでAIのアライメントと防御を変革する革新的な推論方法
• 5つのステップでScikit-learnを始める

RayとAnyscaleプラットフォームは、知的なチャットボット、コーディングコパイロット、強力な検索および要約ツールを駆動する生成型AIアプリケーションを構築する開発者に広く使用されています。

NVIDIAとAnyscaleがスピード、コスト削減、効率を提供

生成型AIアプリケーションは、世界中の企業の注目を集めています。LLMの微調整、拡張、実行には、莫大な投資と専門知識が必要です。NVIDIAとAnyscaleは、さまざまなアプリケーションの統合により、生成型AIの開発と展開のコストと複雑さを低減するお手伝いができます。

先週発表された新しいオープンソースソフトウェア、NVIDIA TensorRT-LLMは、Anyscaleの提供をサポートし、LLMのパフォーマンスと効率を向上させ、コスト削減を実現します。NVIDIA AI Enterpriseソフトウェアプラットフォームでもサポートされていて、Tensor-RT LLMはNVIDIA H100 Tensor Core GPUで実行する場合、前世代のGPUに比べて最大8倍の高性能を提供する、複数のGPU上でモデルを並列に実行する自動スケーリングを実装しています。

TensorRT-LLMは、さまざまな人気のあるLLMモデルに対して、カスタムGPUカーネルと最適化を含み、NVIDIA H100 Tensor Core GPUトランスフォーマーエンジンで利用可能な新しいFP8数値形式も実装しており、使いやすくカスタマイズ可能なPythonインターフェースも提供しています。

NVIDIA Triton Inference Serverソフトウェアは、GPU、CPU、および他のプロセッサ上のクラウド、データセンター、エッジ、埋め込みデバイス間の推論をサポートします。この統合により、Ray開発者は、TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS XGBoostなどのさまざまなディープラーニングおよび機械学習フレームワークからAIモデルをデプロイする際に効率を向上させることができます。

NVIDIA NeMoフレームワークを使用することで、Rayユーザーはビジネスデータを使用してLLMを簡単に微調整およびカスタマイズすることができ、個々のビジネスの独自の特徴を理解するLLMの開発に道を開くことができます。

NeMoは、どこでも生成型AIモデルを構築、カスタマイズ、展開するためのエンドツーエンドのクラウドネイティブフレームワークです。トレーニングおよび推論フレームワーク、ガードレールツールキット、データキュレーションツール、事前学習済みモデルなどを備えており、企業が生成型AIを採用するための簡単で費用効果の高い、迅速な方法を提供しています。

オープンソースまたは完全にサポートされた本番環境のオプション

RayオープンソースとAnyscaleプラットフォームを使用すると、開発者はオープンソースから本番環境での大規模AI展開まで、容易に移行することができます。

Anyscaleプラットフォームは、Rayを使用してスケーラブルなAIおよびPythonアプリケーションを簡単に構築、デプロイ、管理するための完全に管理されたエンタープライズレディの統一コンピューティングを提供し、顧客がAI製品を市場により速く、大幅に低コストで導入できるよう支援します。

RayオープンソースまたはサポートされたAnyscaleプラットフォームを使用するかにかかわらず、Anyscaleのコア機能はLLMのワークロードを簡単にオーケストレーションするのに役立ちます。NVIDIA AIの統合により、開発者はより効率的にAIを構築、トレーニング、チューニング、スケーリングすることができます。

RayとAnyscaleプラットフォームは、主要なクラウドの高速計算で実行され、ハイブリッドまたはマルチクラウド計算でも実行するオプションがあります。これにより、成功したLLMの展開に必要な計算リソースが増えるにつれて、開発者は簡単にスケールアップすることができます。

このコラボレーションにより、開発者はNVIDIA AI Workbenchでモデルの構築を開始し、本番環境への移行時にハイブリッドまたはマルチクラウドの高速計算環境で簡単にスケールアップすることができます。

NVIDIAとAnyscaleのAI統合は開発中であり、年末までに利用可能と予想されています。

開発者は、この統合に関する最新ニュースを入手するために登録し、NVIDIA AI Enterpriseの無料90日評価版を入手することができます。

詳細については、今週サンフランシスコで開催されるRay Summitに参加するか、以下のデモビデオをご覧ください。

NVIDIAのソフトウェアのロードマップに関するお知らせをご覧ください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!