Search Results リポジトリ

「Amazon SageMaker Pipelines、GitHub、およびGitHub Actionsを使用して、エンドツーエンドのMLOpsパイプラインを構築する」

機械学習（ML）モデルは孤立して動作するものではありません価値を提供するためには、既存の製造システムやインフラに統合する必要がありますそのため、設計と開発の過程でMLライフサイクル全体を考慮する必要がありますMLオペレーション（MLOps）は、MLモデルの生涯にわたって効率化、自動化、およびモニタリングを重視しています堅牢なMLOpsパイプラインを構築するには、異なる部門間の協力が求められます[…]

「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」

この記事では、パラメータ効率の良いファインチューニング（PEFT）手法を使用してLlama 2モデルを微調整し、AWS Inferentia2上でファインチューニングされたモデルを展開する方法を紹介します AWS Neuronソフトウェア開発キット（SDK）を使用してAWS Inferentia2デバイスにアクセスし、その高性能を活用しますその後、[…]の動力を得るために、大きなモデル推論コンテナを使用します

Amazon BedrockとAmazon Transcribeを使用して、生成AIを使用して録音のサマリーを作成します

「会議のメモは共同作業の重要な一部ですが、しばしば見落とされてしまいます討論を主導し、注意深く聞きながらメモを取ることは、重要な情報が記録されずに逃げてしまうことが簡単ですメモが取られていても、整理されていないか、読みづらいことがあり、無意味になってしまうこともありますこの記事では、Amazonを使った効果的なメモの使い方について探っています」

ギガGPTに会ってください：CerebrasのnanoGPTの実装、Andrei Karpathyの効率的なコードでGPT-3のサイズのAIモデルを訓練するためにわずか565行のコード

大規模なトランスフォーマーモデルのトレーニングには、特に数十億または数兆のパラメータを持つモデルを目指す場合、重要な課題があります。主な難関は、複数のGPUに効率的にワークロードを分散させながらメモリ制限を緩和することにあります。現在の状況では、Megatron、DeepSpeed、NeoX、Fairscale、Mosaic Foundryなど、複雑な大規模言語モデル（LLM）スケーリングフレームワークに依存しています。ただし、これらのフレームワークは、モデルのサイズが大きくなるにつれてかなりの複雑さを導入します。今回の研究では、CerebrasのgigaGPTを、この課題に対する画期的な解決策として紹介します。これにより、複雑な並列化技術の必要性を排除した代替手法を提供します。大規模なトランスフォーマーモデルのトレーニングには、MegatronやDeepSpeedなどのフレームワークのように、複数のGPU上での分散コンピューティングに依存している方法が主流です。ただし、数十億のパラメータを超えるモデルの場合、これらの方法ではメモリ制約に遭遇し、複雑な解決策が必要です。これに対して、CerebrasのgigaGPTはパラダイムシフトをもたらします。565行という非常にコンパクトなコードベースを備えたnanoGPTを実装しています。この実装は、追加のコードやサードパーティのフレームワークに依存することなく、1000億を超えるパラメータを持つモデルをトレーニングできます。gigaGPTはCerebrasのハードウェアの広範なメモリと計算能力を活用します。他のフレームワークとは異なり、余分な複雑さを導入せずにシームレスに動作し、簡潔で独自のコードベースとGPT-3のサイズのモデルのトレーニング能力を提供します。 gigaGPTは、基本的なGPT-2のアーキテクチャを実装しており、nanoGPTの原則に密接に沿っています。学習された位置の埋め込み、標準のアテンション、モデル全体にわたるバイアス、およびnanoGPTの構造に対する選択肢を採用しています。特筆すべきは、この実装が特定のモデルサイズに限定されないことです。gigaGPTは111M、13B、70B、および175Bパラメータを持つモデルのトレーニングでその柔軟性を検証しています。 OpenWebTextデータセットとnanoGPTのGPT-2トークナイザーと前処理コードを使用してテストを行います。gigaGPTのパフォーマンスは、専用の並列化技術を必要とせずに数百億のパラメータから数千億のパラメータまでスケーリングする能力によって強調されています。565行のコードがリポジトリ全体をカバーしており、その簡単な構造と効率性を示しています。実装の成功は、特定のモデル構成でもさらに示されます。たとえば、111M構成はCerebras-GPTと一致し、モデルの次元、学習率、バッチサイズ、トレーニングスケジュールが同じです。同様に、13B構成もサイズにおいて対応するCerebras-GPT構成に近く、70B構成はLlama-2 70Bからインスピレーションを受けています。70Bモデルは安定性とパフォーマンスを維持し、スケーラビリティを示しています。70Bモデルを検証した後、研究者たちはGPT-3の論文に基づいて175Bモデルを構成することで境界を em emました。初期の結果は、メモリの問題なく拡大スケールを処理できるモデルの能力を示しており、gigaGPTは1兆を超えるパラメータを持つモデルにもスケーリングできる可能性を示唆しています。結論として、gigaGPTは大規模なトランスフォーマーモデルのトレーニングの課題に対する画期的な解決策として浮かび上がっています。研究チームの実装は、簡潔で使いやすいコードベースを提供するだけでなく、GPT-3のサイズのモデルのトレーニングも可能にします。Cerebrasのハードウェアを利用した、広範なメモリと計算能力による利点は、大規模なAIモデルのトレーニングをよりアクセス可能、スケーラブル、効率的にする大きな進歩です。この革新的なアプローチは、巨大な言語モデルのトレーニングの複雑さに取り組もうとする機械学習の研究者や実践者にとって有望な道を開くものと言えます。 Introducing gigaGPT: our implementation of @karpathy’s nanoGPT that trains GPT-3 sized models in just…

KubernetesでのGenAIアプリケーションの展開：ステップバイステップガイド

このガイドは、高い可用性のためにKubernetes上でGenAIアプリケーションを展開するための包括的で詳細な手順を提供します

「RAGAsを使用したRAGアプリケーションの評価」

「PythonにおいてRAGAsフレームワークを使って、検索および生成コンポーネントを個別に評価するための検索強化生成（RAG）システムの評価」

「ゼロから始めるLoRAの実装」

「LoRA（ローラ）は、既存の言語モデルを微調整するための効率的で軽量な方法を提供する、Low-Rank AdaptationまたはLow-Rank Adaptorsの頭字語ですこれには、BERTのようなマスクされた言語モデルも含まれます...」

Amazon SageMaker JumpStartを使用してLLMと対話するためのWeb UIを作成します

ChatGPTの発売および生成AIの人気の上昇は、AWS上で新しい製品やサービスを作成するためにこの技術をどのように利用できるかについての好奇心を持つ顧客たちの想像力を捉えていますこれにより、より対話的なエンタープライズチャットボットなどの製品やサービスを作成する方法を紹介しますこの記事では、Web UIを作成する方法について説明します

PythonからRustへ：3つの大きな障害を解明する

私を囲む人々は、私が🐍 Pythonの大ファンであることをみんな知っています私は約15年前にMathworksのMatlabにうんざりしてPythonの使用を始めましたMatlabのアイデアは良さそうに思えましたが、マスターした後に…

「このAIニュースレターは、あなたが必要とするすべてです #77」

今週のAIのニュースは、Google（ジェミニ）とミストラル（8x7B）による新しい大規模言語モデルのリリースが主でしたモデルの発表におけるアプローチは、プレスイベントとデモによるもので、非常に異なっていました...

Learn more about Search Results リポジトリ - Page 4