Learn more about Search Results CPU - Page 47

Amazon SageMaker で大規模なモデル推論 DLC を使用して Falcon-40B をデプロイする

先週、テクノロジー・イノベーション・インスティチュート（TII）は、オープンソースの基礎的な大規模言語モデル（LLM）であるTII Falcon LLMを発表しましたFalconは、Amazon SageMakerで1兆トークンでトレーニングされ、ハグイングフェイスのランキングでトップクラスのパフォーマンス（執筆時点での第1位）を誇り、llama-65Bなどの他のLLMよりも比較的軽量でホストするのに費用がかからないとされています[…]

Amazon SageMakerを使用した生成型AIモデルにおいて、Forethoughtがコストを66％以上削減する方法

この記事は、Forethought Technologies, Inc.のエンジニアリングディレクターであるJad Chamounと、同社のシニアMLエンジニアであるSalina Wuと共同執筆されましたForethoughtは、顧客サービスのための先進的な生成AIスイートで、その中核には革新的なSupportGPT™技術があり、顧客サポートライフサイクルを変革し、軽減率を高めるために機械学習を利用しています

AWS Inferentia2は、AWS Inferentia1をベースにしており、スループットが4倍に向上し、レイテンシが10倍低減されています

機械学習モデル（MLモデル）のサイズ、特に生成AIにとって、大規模言語モデル（LLM）やファウンデーションモデル（FM）のサイズは年々急速に増加しており、これらのモデルにはより高速で強力なアクセラレータが必要ですAWS Inferentia2は、LLMや生成AIの推論のコストを下げつつ、より高いパフォーマンスを提供するように設計されましたこの[...]

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us