Search Results SDK

Amazon SageMakerのマルチモデルエンドポイントを使用して、TorchServeを使ってGPU上で複数の生成AIモデルを実行し、推論コストを最大75%節約できます

最近、生成AIアプリケーションは広範な注目と想像力を引きつけています顧客はGPU上で生成AIモデルを展開したいと思っていますが、同時にコストにも気を使っていますSageMaker MMEはGPUインスタンスをサポートしており、このようなタイプのアプリケーションには最適なオプションです本日は、TorchServeがSageMaker MMEをサポートすることをお知らせしますこの新しいモデルサーバーサポートにより、TorchServeの顧客が最も馴染みのあるサービングスタックを使用しながら、MMEのすべての利点を活用することができますこの記事では、Stable DiffusionやSegment Anything Modelなどの生成AIモデルをTorchServeを使用してSageMaker MME上でホストし、アーティストやコンテンツクリエーターが作品をより速く開発し、イテレーションするための言語による編集ソリューションの構築方法を示します

「Amazon SageMaker JumpStartでのテキスト生成のために、Llama 2を微調整する」

「本日は、Amazon SageMaker JumpStartを使用して、MetaによってLlama 2モデルを微調整する機能を発表できることを喜んでお知らせしますLlama 2ファミリーの大規模言語モデル（LLM）は、事前学習および微調整された生成テキストモデルのコレクションで、7億から700億のパラメータのスケールで提供されていますLlama-2-chatと呼ばれる微調整されたLLMは、対話の使用事例に最適化されています」

「Amazon SageMakerの非同期エンドポイントを使用して、Amazon SageMaker JumpStartの基礎モデルのデプロイコストを最適化する」

この投稿では、これらの状況を対象にし、Amazon SageMaker JumpStartからAmazon SageMaker非同期エンドポイントに大規模な基盤モデルを展開することによって高コストのリスクを解決しますこれにより、アーキテクチャのコストを削減し、リクエストがキューにある場合や短い生存期間のみエンドポイントを実行し、リクエストが待機している場合にはゼロにスケーリングダウンしますこれは多くのユースケースにとって素晴らしいですが、ゼロにスケーリングダウンしたエンドポイントは、推論を提供できる前に冷たいスタート時間を導入します

ReactとExpressを使用してChatGPTパワードおよび音声対応のアシスタントを構築する

現代の世界において、大規模な言語モデルがますます人気を集めるにつれて、それらを開発に使用する関心も高まっていますが、どこから始めれば良いかを理解することは常に容易ではありませんこの記事では、ChatGPT言語を活用したシンプルなチャットボットの構築方法について説明します...

「セマンティックカーネルへのPythonistaのイントロ」

ChatGPTのリリース以来、大規模言語モデル（LLM）は産業界とメディアの両方で非常に注目されており、これによりLLMを活用しようとする前例のない需要が生まれました...

「マルチタスクアーキテクチャ：包括的なガイド」

多くのタスクを実行するためにニューラルネットワークを訓練することは、マルチタスク学習として知られていますこの投稿では、複数の密な計算ビジョンタスクを実行するモデルを訓練します

AIの生成体験を向上させる Amazon SageMakerホスティングでのストリーミングサポートの導入

「Amazon SageMakerリアルタイム推論を通じたレスポンスストリーミングの提供を発表し、大変興奮していますこれにより、チャットボット、仮想アシスタント、音楽ジェネレータなどの生成型AIアプリケーションのインタラクティブな体験を構築する際に、SageMakerリアルタイム推論を使用してクライアントに連続的に推論レスポンスをストリーミングできるようになりましたこの新機能により、レスポンス全体が生成されるのを待つのではなく、利用可能な場合にすぐにレスポンスをストリーミング開始できますこれにより、生成型AIアプリケーションの最初のバイトまでの時間を短縮できますこの記事では、インタラクティブなチャットのユースケースに対して、新しいレスポンスストリーミング機能を使用したSageMakerリアルタイムエンドポイントを使用してストリーミングWebアプリケーションを構築する方法を紹介しますサンプルデモアプリケーションのUIにはStreamlitを使用しています」

AWS Inferentiaでのディープラーニングトレーニング

この投稿のトピックは、AWSの自社開発AIチップ、AWS Inferentia、より具体的には第2世代のAWS Inferentia2ですこれは、昨年のAWS Trainiumに関する私たちの投稿の続編であり、...

Amazon SageMaker、HashiCorp Terraform、およびGitLab CI/CDを使用したモデルモニタリングと再トレーニングによるバッチ推論のためのMLOps

この記事では、Amazon SageMaker、Amazon EventBridge、AWS Lambda、Amazon Simple Notification Service（Amazon SNS）、HashiCorp Terraform、およびGitLab CI/CDを使用して、バッチ推論のためのMLOpsワークフローを作成する方法について説明しますこのワークフローでは、ジョブスケジューリング、モデルのモニタリング、再トレーニング、登録、エラーハンドリング、通知を自動化し、製品のバッチ推論ワークロードの複雑さとコストを削減することができます提案されたMLOpsワークフローは、自動化、モニタリング、監査可能性、スケーラビリティを通じて、MLライフサイクルの管理に再利用可能なテンプレートを提供します

「Amazon LexとAmazon Kendra、そして大規模な言語モデルを搭載したAWSソリューションのQnABotを使用して、セルフサービス型の質問応答を展開してください」

「Amazon Lexによるパワーを利用したAWSのQnABotソリューションは、オープンソースのマルチチャネル、マルチ言語の会話型チャットボットですQnABotを使用すると、自己サービスの会話型AIを迅速にコンタクトセンター、ウェブサイト、ソーシャルメディアチャネルに展開することができ、コストを削減し、ホールド時間を短縮し、顧客体験とブランドの評価を向上させることができますこの記事では、QnABotの新しい生成型AI機能を紹介し、これらの機能を使用するためのチュートリアルを作成、展開、カスタマイズする方法について説明しますまた、関連するユースケースについても議論します」

Learn more about Search Results SDK - Page 13