Learn more about Search Results OPT - Page 115

Amazon SageMakerを使用してOpenChatkitモデルを利用したカスタムチャットボットアプリケーションを構築する

オープンソースの大規模言語モデル（LLM）は、研究者、開発者、そして組織がこれらのモデルにアクセスしてイノベーションや実験を促進できるようになり、人気が高まっていますこれにより、オープンソースコミュニティからの協力が促進され、LLMの開発や改良に貢献することができますオープンソースのLLMは、モデルアーキテクチャ、トレーニングプロセス、トレーニングデータに透明性を提供し、研究者がモデルを理解することができます[…]

Amazon SageMaker で大規模なモデル推論 DLC を使用して Falcon-40B をデプロイする

先週、テクノロジー・イノベーション・インスティチュート（TII）は、オープンソースの基礎的な大規模言語モデル（LLM）であるTII Falcon LLMを発表しましたFalconは、Amazon SageMakerで1兆トークンでトレーニングされ、ハグイングフェイスのランキングでトップクラスのパフォーマンス（執筆時点での第1位）を誇り、llama-65Bなどの他のLLMよりも比較的軽量でホストするのに費用がかからないとされています[…]

AWS Inferentia2は、AWS Inferentia1をベースにしており、スループットが4倍に向上し、レイテンシが10倍低減されています

機械学習モデル（MLモデル）のサイズ、特に生成AIにとって、大規模言語モデル（LLM）やファウンデーションモデル（FM）のサイズは年々急速に増加しており、これらのモデルにはより高速で強力なアクセラレータが必要ですAWS Inferentia2は、LLMや生成AIの推論のコストを下げつつ、より高いパフォーマンスを提供するように設計されましたこの[...]