Search Results CPU

『Amazon Search M5がAWS Trainiumを使用してLLMトレーニングコストを30%節約しました』

数十年にわたり、Amazonは機械学習（ML）を先駆的かつ革新的に活用し、顧客に楽しい体験を提供してきました最初の日々から、Amazonは書籍の推薦、検索、不正検出など、さまざまなユースケースにMLを使用してきました同業他社と同様に、高速化されたハードウェアの進歩により、Amazonのチームはモデルの追求を可能にしました

Amazon MusicはSageMakerとNVIDIAを使用してMLの訓練および推論のパフォーマンスとコストを最適化しています

Amazon Music のストリーミングのダイナミックな世界では、曲やポッドキャスト、プレイリストの検索ごとに物語、ムード、感情の洪水が待っていますこれらの検索は新たな発見、大切な経験、永続する思い出への入り口となります検索バーは単に曲を見つけるためだけではありません

「JAXにおけるディープ強化学習の優しい入門」

最近の強化学習（RL）の進歩、例えばWaymoの自律タクシーやDeepMindの人間を超えたチェスプレイヤーエージェントなどは、ニューラルなどのディープラーニングコンポーネントを持つ古典的なRLを補完しています...

「Rustベースのベクトルデータベース、Qdrantに深く潜る」

イントロダクションベクトルデータベースは、非構造化および構造化データの表現を格納および索引化するための主要な場所となっています。これらの表現は、埋め込みモデルによって生成されるベクトル埋め込みです。ベクトルストアは、ディープラーニングモデル、特に大規模な言語モデルを使用したアプリの開発で重要な役割を果たしています。ベクトルストアの領域は常に進化しており、最近導入されたQdrantはその1つで、機能が充実しています。さあ、それについてもっと詳しく見ていきましょう。学習目標 Qdrantの専門用語に慣れることで、より理解を深める Qdrant Cloudにダイブし、クラスタを作成するドキュメントの埋め込みを作成し、Qdrantコレクションに保存する方法を学ぶ Qdrantでクエリがどのように機能するかを探る Qdrantのフィルタリングを弄って、その動作を確認するこの記事はData Science Blogathonの一環として公開されました。埋め込みとは何ですか？ベクトル埋め込みは、データを数値形式で表現する手段です。つまり、テキスト、写真、音声、ビデオなどのデータの種類に関係なく、n次元空間または数値ベクトルとして表します。埋め込みを使用すると、関連するデータをグループ化することができます。特定の入力は、特定のモデルを使用してベクトルに変換することができます。Googleによって作成された有名な埋め込みモデルであるWord2Vecは、単語をベクトル（ベクトルはn次元の点です）に変換します。各大規模言語モデルには、LLMの埋め込みを生成する埋め込みモデルがあります。埋め込みは何に使用されますか？単語をベクトルに変換する利点の1つは、比較が可能であるということです。数値入力またはベクトル埋め込みとして2つの単語が与えられた場合、コンピュータはそれらを直接比較することはできませんが、それらを比較することができます。類似した埋め込みを持つ単語をグループ化することが可能です。王、女王、王子、王女といった用語は、関連するクラスタに表示されます。この意味で、埋め込みは、与えられた用語に関連する単語を特定するのに役立ちます。これは、文に使用され、入力された文に関連する文を返すデータが提供される場合に使用されます。これは、チャットボット、文の類似度、異常検知、セマンティックサーチなどの多くのユースケースの基礎となります。私たちが提供するPDFまたはドキュメントに基づいて質問に答えるために開発するチャットボットは、この埋め込みの概念を利用しています。これは、すべての生成的大規模言語モデルが、それらに供給されるクエリに同様に関連付けられたコンテンツを取得するために使用する方法です。ベクトルデータベースとは何ですか？先述のように、埋め込みは、通常非構造化データの場合に数字形式で表される、あらゆる種類のデータの表現です。それでは、それらをどこに保存するのでしょうか？伝統的なRDBMS（リレーショナルデータベース管理システム）では、これらのベクトル埋め込みを保存することはできません。これがベクトルストア/ベクトルデータベースの登場する場所です。ベクトルデータベースは、効率的な方法でベクトル埋め込みを保存および取得するために設計されています。埋め込みモデルのサポートや似たようなベクトルを取得するために使用する検索アルゴリズムの種類によって異なる多くのベクトルストアが存在します。 Qdrantとは何ですか？ Qdrantは、新しいベクトル類似度検索エンジンおよびベクトルデータベースであり、安全性で知られるRust言語で構築された本番向けのサービスを提供しています。 Qdrantは、メタデータであるペイロードが付加された高次元ポイント（ポイントはベクトル埋め込みのこと）を保存、検索、管理するために設計されたユーザーフレンドリーなAPIを備えています。これらのペイロードは有用な情報となり、検索の精度向上およびユーザーへの洞察を提供します。Chromaなど他のベクトルデータベースに精通している方であれば、ペイロードはメタデータに似ており、ベクトルに関する情報を含んでいます。 Rustで書かれていることにより、Qdrantは高負荷下でも高速で信頼性のあるベクトルストアとなっています。他のデータベースとの違いは、Qdrantが提供するクライアントAPIの数です。現在、QdrantはPython、TypeScript/JavaScript、Rust、およびGoをサポートしています。QdrantはベクトルインデックスにHSNW（階層ナビゲーション小世界グラフ）を使用しており、コサイン、ドット、ユークリッドなどの多くの距離尺度を備えています。また、ボックスから推奨APIも利用できます。 Qdrantの用語を知る…

AI-パワード自然言語クエリによる知識発見

この記事では、私が取り組んできたUE5_documentalistという概念証明プロジェクトを共有したいと思いますこれは、自然言語処理（NLP）を使用して、大量のドキュメンテーションをより効果的に利用できる可能性があるというエキサイティングなプロジェクトですこのプロジェクトではUnreal Engine 5のドキュメンテーションに取り組んだのですが、それは...

アマゾンセージメーカースタジオを使用して、素早い実験結果のためにLlama 2、LangChain、およびPineconeを使用してRAG型の質問応答ソリューションを構築しましょう

「Retrieval Augmented Generation（RAG）は、ファインチューニングなしで大規模言語モデル（LLM）に外部の知識源（リポジトリ、データベース、APIなど）へのアクセスを提供することができます質問応答に対して生成的AIを使用する際、RAGはLLMが最も関連性の高い最新情報で質問に回答し、必要に応じて引用することができるようにします...」

「Amazon SageMakerを使用してビジョントランスフォーマーモデルのトレーニング時間を短縮するKTの取り組み」

KTコーポレーションは、韓国で最大の通信事業者の一つであり、固定電話、携帯通信、インターネット、AIサービスなど幅広いサービスを提供していますKTのAI Food Tagは、コンピュータビジョンモデルを使用して、写真に写った食品の種類と栄養成分を特定するAIベースの食事管理ソリューションです

「スーパーニックとは何ですか？」

創造的なAIは、速変わりするデジタルランドスケープにおける最新のトレンドです。それを可能にする画期的な革新の1つが、比較的新しい用語である「スーパーニック」です。スーパーニックとは何ですか？スーパーニックは、イーサネットベースのクラウドにおいて、ハイパースケールのAIワークロードをスーパーチャージするために設計された新しいクラスのネットワークアクセラレータです。リモートダイレクトメモリアクセス（RDMA）を使用した収束したイーサネット（RoCE）技術を介して、GPU間通信のための高速ネットワーク接続を提供し、400Gb/sに達する速度を実現しています。スーパーニックは、以下のユニークな特性を組み合わせています：高速パケット並べ替えを利用して、データパケットが元々送信された順序で受信および処理されるように保証します。これにより、データフローのシーケンシャルな整合性が維持されます。リアルタイムテレメトリデータとネットワーク意識アルゴリズムを使用した高度な輻輳制御により、AIネットワークにおける輻輳を管理および予防します。入出力（I/O）パス上でのプログラマブルコンピューティングにより、AIクラウドデータセンターのネットワークインフラのカスタマイズと拡張が可能になります。制約された電力予算内でAIワークロードを効率的に処理するためのパワーエフィシェントで低プロファイルな設計。コンピュート、ネットワーク、ストレージ、システムソフトウェア、通信ライブラリ、アプリケーションフレームワークなど、フルスタックのAI最適化。 NVIDIAは最近、AIコンピューティング向けに特化した世界初のスーパーニックを発表しました。それはBlueField-3ネットワーキングプラットフォームをベースにしています。これはNVIDIA Spectrum-Xプラットフォームの一部であり、Spectrum-4イーサネットスイッチシステムとシームレスに統合されています。 NVIDIA BlueField-3スーパーニックとSpectrum-4スイッチシステムは、AIワークロードを最適化するために特別に設計された高速コンピューティングファブリックの基盤を形成しています。Spectrum-Xは従来のイーサネット環境を凌駕する高いネットワーク効率を一貫して提供します。「AIが次の技術革新の波を起こす世界では、BlueField-3スーパーニックは欠かせない要素です」と、NVIDIAのDPUおよびNIC製品担当副社長であるヤエル・シェンハブ氏は述べています。「スーパーニックは、効率と速度でAIワークロードを実行することを保証し、AIコンピューティングの未来を可能にする基盤的な要素です」。 AIとネットワーキングの進化するランドスケープ AIの分野は、生成型AIと大規模言語モデルの出現により、地殻変動を起こしています。これらの強力な技術は新たな可能性を開き、コンピュータが新たなタスクを処理できるようにしました。 AIの成功は、データ量の膨大さを処理し、大規模なAIモデルを訓練し、リアルタイム推論を可能にするためのGPUアクセラレーションされたコンピューティングに大きく依存しています。この新しいコンピュートパワーは新たな可能性を開いた一方で、イーサネットクラウドネットワークにも課題を与えました。インターネットインフラの基盤となる従来のイーサネットは、広範な互換性を提供し、ゆるく結合されたアプリケーションを接続するために考案されました。それは、現代のAIワークロードの要求する厳密に結合された並列処理、迅速なデータ転送、独自の通信パターンの処理といった要件を処理するために設計されたものではありませんでした。基礎となるネットワークインターフェースカード（NIC）は、汎用のコンピューティング、データ伝送および相互運用性を目的として設計されました。AIワークロードの計算的なインテンシティがもたらすユニークな課題に対応するためには、これらのNICには必要な機能や機能が欠けています。一方で、スーパーニックは、現代のAIワークロードに特化して設計されたものです。 AIコンピューティング環境でのスーパーニックの利点データ処理ユニット（DPU）には、高スループット、低レイテンシのネットワーク接続など、多くの先進的な機能が備わっています。2020年の導入以来、DPUsはクラウドコンピューティングの領域で人気を獲得しており、データセンターのインフラ処理をオフロード、高速化、分離することができる能力によります。 DPUsとスーパーニックは、さまざまな機能や能力を共有していますが、スーパーニックはAIのネットワークを加速するために特化して最適化されています。以下のチャートは、それらの比較を示しています。分散型AIトレーニングおよび推論の通信フローは、成功にはネットワーク帯域幅の可用性に大きく依存しています。スリックなデザインで特徴付けられるSuperNICは、DPUsよりも効果的にスケーリングし、GPUごとに印象的な400Gb/sのネットワーク帯域幅を提供します。…

「マイクロソフト、Azureカスタムチップを発表：クラウドコンピューティングとAI能力を革新する」

産業の持続的な噂の中で、Microsoftの長らく待ち望まれていた発表がイグナイトカンファレンスで明らかになり、テックランドスケープにおける重要な瞬間を迎えました。このテックジャイアントは、ハードウェアとソフトウェア領域全般におけるイノベーションと自己完結性へのコミットメントを体現する、独自に設計されたチップを正式に発表しました。この発表の中核をなすのは、Microsoft Azure Maia 100 AIアクセラレータとMicrosoft Azure Cobalt CPUの2つの画期的なチップです。Maia 100はMaiaアクセラレータシリーズの一部で、5nmプロセスと1,050億個のトランジスタを備えています。このパワーハウスは、複雑なAIタスクと生成的なAI操作を実行するために特別に設計され、Azureの最も重いAIワークロード、大規模なOpenAIモデルの実行を支えることが使命です。 Maia 100には、128コアのArmベースアーキテクチャを備えたAzure Cobalt 100 CPUが補完されています。この64ビット構造が特筆すべきであり、このプロセッサは、40%少ない電力でARMベースの競合製品よりも一般的なコンピューティング操作を提供するよう設計されています。自己完結性の包括的なビジョンを強調しつつ、Microsoftはこれらのチップを、チップやソフトウェアからサーバー、ラック、冷却システムまでのすべての側面を管理する野心の最後のピースとして位置付けました。来年初めにMicrosoftのデータセンターに導入される予定のこれらのチップは、最初にCopilot AIとAzure OpenAIサービスを駆動し、クラウドとAIの機能の限界を em 続きを読む。マイクロソフトの戦略は、チップ設計を超えた包括的なハードウェアエコシステムまで及んでいます。これらのカスタムチップは、マイクロソフトとそのパートナーが共同開発したソフトウェアを利用して、特別に設計されたサーバーマザーボードとラックに統合されます。目標は、パワーエフィシエンシー、性能、コスト効率を最適化する高度に適応可能なAzureハードウェアシステムを作ることです。このチップの発表と同時に、MicrosoftはAzure Boostを導入しました。これは、ストレージとネットワーキング機能をホストサーバーから専用のハードウェアにオフロードすることで、操作を迅速化するためのシステムです。この戦略的な動きは、Azureのインフラ内での速度と効率を強化することを目的としています。カスタムチップに加えて、MicrosoftはAzureの顧客にインフラストラクチャオプションを多様化するためのパートナーシップを築きました。さらに、テックジャイアントは、VoAGIサイズのAIトレーニングと生成的なAI推論タスクに対応するNvidia…

『NVIDIAの研究者たちが、現行のCTCモデルと互換性のあるGPU加速の重み付き有限状態トランスデューサ（WFST）ビームサーチデコーダを導入』

最近の人工知能の人気を受けて、自動音声認識（ASR）の分野は非常に進歩しました。これによって音声認識技術や人間とコンピュータのインタラクションが大きく変わりました。ASRでは、機械が話された言語をテキストに変換することができます。これは仮想アシスタントや音声文字起こしサービスなど、さまざまなアプリケーションに不可欠です。より正確で効果的なASRシステムのために、研究者たちは潜在的なアルゴリズムを探求しています。 NVIDIAの最近の研究では、研究チームがConnectionist Temporal Classification（CTC）モデルの欠点について調査しました。ASRパイプラインでは、CTCモデルが高い精度を達成するための一流の手法となっています。これらのモデルは、時間的な連続性を解釈する能力が非常に優れており、話された言語の微妙なニュアンスにも対応することができます。しかし、従来のCPUベースのビーム探索デコーディング方法では、CTCモデルの性能が制限されてしまいます。ビーム探索デコーディングは、話された単語を正確に書き起こすための重要な段階です。従来の方法である貪欲探索法では、各時間ステップでどの出力トークンが最も選ばれる可能性が高いかを音響モデルで決定します。この手法には、コンテキストのバイアスや外部データの処理に伴うさまざまな課題が存在します。これらの課題を解決するために、研究チームはGPUを利用したWeighted Finite State Transducer（WFST）ビーム探索デコーダーを提案しました。このアプローチは、現在のCTCモデルとの統合をスムーズに行うことを目的として導入されました。このGPUを利用したデコーダーにより、ASRパイプラインのパフォーマンスが向上し、スループットやレイテンシ、発話固有の単語ブースティングなどの機能のサポートも可能になります。提案されたGPUアクセラレーションデコーダーは、パイプラインのスループットが向上し、レイテンシが低いため、ストリーミング推論に特に適しています。研究チームは、このアプローチをオフラインおよびオンラインの環境でデコーダーをテストすることで評価しました。オフラインのシナリオでは、最新のCPUデコーダーと比較して、GPUアクセラレーションデコーダーは最大7倍のスループットが向上しました。オンラインストリーミングのシナリオでは、GPUアクセラレーションデコーダーは従来と同じまたはさらに高い単語エラーレートを維持しながら、8倍以上のレイテンシの低下を実現しました。これらの結果から、提案されたGPUアクセラレーションWFSTビーム探索デコーダーをCTCモデルと組み合わせることで、効率と精度が大幅に向上することが示されています。結論として、CTCモデルのCPUベースのビーム探索デコーディングのパフォーマンス制約を克服するために、このアプローチは非常に優れた効果を発揮することができます。提案されたGPUアクセラレーションデコーダーは、オフラインおよびオンラインの両方の状況でCTCモデルのための最速のビーム探索デコーダーです。なぜなら、スループットが向上し、レイテンシが低下し、先進的な機能をサポートするからです。デコーダーをPythonベースの機械学習フレームワークと統合するために、研究チームはGitHubで事前構築されたDLPackベースのPythonバインディングを提供しています。この作業により、提案されたソリューションをPython開発者とMLフレームワークにとって使いやすく、アクセスしやすくすることができます。カーネルウェーブフィールドトランスデューサーデコーダーはC++とPythonのライブラリであり、コードリポジトリはhttps://github.com/nvidia-riva/riva-asrlib-decoderからアクセスできます。

Learn more about Search Results CPU - Page 8