Search Results p4d.24xlarge

「Amazon SageMakerデータパラレルライブラリを使用して、トレーニングを高速化します」

大規模言語モデル（LLM）のトレーニングは、Llama2、Falcon、StarCoderなど、公に利用可能ないくつかのモデルのリリースにより、昨年からますます人気が高まっています顧客は今や、10億から1750億以上のパラメータを持つ前例のない大きさのLLMをトレーニングしていますこれらのLLMのトレーニングには、膨大な計算リソースと時間が必要です数百台の […]

「Amazon SageMakerを使用して、クラシカルなMLおよびLLMsを簡単にパッケージ化してデプロイする方法、パート2：SageMaker Studioでのインタラクティブなユーザーエクスペリエンス」

Amazon SageMakerは、開発者やデータサイエンティストが機械学習（ML）モデルを効率的かつ簡単に構築、トレーニング、展開することができる、完全に管理されたサービスですSageMakerを使用すると、APIコールを通じてモデルを直接本番環境に展開することが簡単になりますモデルはコンテナにパッケージ化され、堅牢でスケーラブルな展開が可能ですSageMakerは以下の機能を提供します[…]

「Amazon SageMakerを使用してビジョントランスフォーマーモデルのトレーニング時間を短縮するKTの取り組み」

KTコーポレーションは、韓国で最大の通信事業者の一つであり、固定電話、携帯通信、インターネット、AIサービスなど幅広いサービスを提供していますKTのAI Food Tagは、コンピュータビジョンモデルを使用して、写真に写った食品の種類と栄養成分を特定するAIベースの食事管理ソリューションです

「FP8を用いたPyTorchトレーニング作業の高速化」

過去数年間、AIの分野では革命的な進展が見られており、特に最近のChatGPTなどのLLMベースのアプリケーションの人気と普及を最もよく表していますこれらは...

「LoRAを使用してAmazon SageMakerでWhisperモデルを微調整する」

「ウィスパーは、ウェブ上の言語とタスクの幅広いデータを使用してトレーニングされた、自動音声認識（ASR）モデルですしかし、マラーティー語やドラヴィダ語などの資源の少ない言語においては、性能が低下するという制約がありますこの制約は、ファインチューニングによって解消できますしかし、ウィスパーのファインチューニング […]」

大型言語モデル（LLM）や他の生成型AIモデルの展開は、計算要件とレイテンシのニーズのために課題となることがあります。Hugging Face LLM Inference Containerを使用してAmazon SageMaker上でLlama 2を展開する企業に有用な推奨事項を提供するために、Llama 2の60以上の異なる展開設定を分析した包括的なベンチマークを作成しました。このベンチマークでは、さまざまなサイズのLlama 2をAmazon EC2インスタンスのさまざまなタイプでさまざまな負荷レベルで評価しました。私たちの目標は、レイテンシ（トークンごとのミリ秒）とスループット（秒あたりのトークン数）を測定し、次の3つの一般的なユースケースに最適な展開戦略を見つけることです：最も費用対効果の高い展開：低コストで良好なパフォーマンスを求めるユーザー向け最高のレイテンシ展開：リアルタイムサービスのレイテンシを最小限に抑えるための展開最高のスループット展開：秒あたりの処理トークンを最大化するための展開このベンチマークを公正かつ透明で再現可能なものにするために、使用したすべてのアセット、コード、データを共有しています： GitHubリポジトリ生データ処理済みデータのスプレッドシート私たちは、顧客がLLMsとLlama 2を効率的かつ最適に自社のユースケースに使用できるようにしたいと考えています。ベンチマークとデータに入る前に、使用した技術と手法を見てみましょう。 Amazon SageMaker上のLlama 2のベンチマーク Hugging…

「Amazon SageMakerを使用したRLHFによるLLMsの改善」

このブログ投稿では、人気のあるオープンソースのRLHFリポTrlxを使用して、Amazon SageMaker上でRLHFを実行する方法を説明します私たちの実験を通じて、Anthropicが提供する公開可能なHelpfulness and Harmlessness（HH）データセットを使用して、大規模な言語モデルの役立ち度または無害性を向上させるためにRLHFを使用する方法を示しますこのデータセットを使用して、ml.p4d.24xlargeインスタンスで実行されているAmazon SageMaker Studioノートブックを使用して実験を行います最後に、私たちの実験を再現するためのJupyterノートブックを提供します

TIIのFalcon 180B基本モデルは、Amazon SageMaker JumpStartを通じて利用可能です

今日は、テクノロジーイノベーション研究所（TII）が開発したFalcon 180B基礎モデルが、お客様がAmazon SageMaker JumpStartを通じて利用できることをお知らせいたしますこのモデルは、推論実行のためのワンクリック展開が可能ですFalcon 180Bは、1800億パラメータのサイズであり、3.5兆トークンの巨大なデータセットでトレーニングされていますFalcon 180Bは、公開された重みを持つ最大かつ最もパフォーマンスの高いモデルの一つですSageMaker JumpStartを使用して、このモデルをお試しいただけますSageMaker JumpStartは、アルゴリズム、モデル、および機械学習（ML）ソリューションへのアクセスを提供するMLハブであり、迅速にMLを始めることができますこの記事では、SageMaker JumpStartを介してFalcon 180Bモデルを発見して展開する方法について説明します

「Amazon SageMaker プロファイラーのプレビューを発表します：モデルトレーニングのワークロードの詳細なハードウェアパフォーマンスデータを追跡および可視化します」

本日は、Amazon SageMaker Profilerのプレビューを発表できることを喜んでお知らせしますこれはAmazon SageMakerの機能の一部であり、SageMaker上でディープラーニングモデルのトレーニング中にプロビジョニングされるAWSのコンピューティングリソースの詳細なビューを提供しますSageMaker Profilerを使用すると、CPUとGPUのすべてのアクティビティをトラックできますCPUとGPUの利用率、GPU上でのカーネルの実行、CPU上でのカーネルの起動、同期操作、GPU間のメモリ操作、カーネルの起動と対応する実行とのレイテンシ、CPUとGPU間のデータ転送などが含まれますこの記事では、SageMaker Profilerの機能について詳しく説明します

Amazon SageMakerを使用して、オーバーヘッドイメージで自己教師ありビジョン変換モデルをトレーニングする

この記事では、Amazon SageMakerを使用して、オーバーヘッドのイメージに対して自己教師ありビジョン変換器をトレーニングする方法を示しますトラベラーズは、Amazon Machine Learning Solutions Lab（現在はGenerative AI Innovation Centerとして知られています）と協力して、このフレームワークを開発し、航空写真モデルのユースケースをサポートおよび強化しました

Learn more about Search Results p4d.24xlarge