Search Results ダウンロード

テクノロジー・イノベーション・インスティテュートは、最新鋭のFalcon LLM 40BファウンデーションモデルをAmazon SageMakerでトレーニングします

このブログ投稿は、AI-Cross Centerユニットの執行役員であり、TIIのLLMプロジェクトのプロジェクトリーダーであるDr. Ebtesam Almazrouei氏と共同執筆されましたアブダビの先進技術研究委員会の応用研究柱であるアラブ首長国連邦（UAE）のTechnology Innovation Institute（TII）は、基礎となる大規模言語モデルであるFalcon LLMを立ち上げました

Amazon SageMaker Canvas を使用して、更新されたデータセットを使用して ML モデルを再トレーニングし、一括予測を自動化します

Amazon SageMaker Canvasにおいて、更新されたデータセットで機械学習（ML）モデルを再トレーニングし、バッチ予測ワークフローを自動化することができますこれにより、モデルの性能を常に学習し改善し、効率を高めることができますMLモデルの効果は、トレーニングに使用されるデータの品質と関連性に依存します時間が経つにつれて、[...]

Amazon Lexのチャットボット開発ライフサイクルをテストベンチで加速化する

Amazon Lexは、ボットの開発者がシステムのスケーリング前にエラー、欠陥、またはバグを特定し、ボットが特定の要件、ニーズ、および期待を満たしているかどうかを確認するために、テスト工程が必要です新しいボットテストソリューションであるTest Workbenchを発表し、ボットテストプロセスを簡素化、自動化するためのツールを提供することを喜んでいます[…].

DeepSpeedを使用してPyTorchを加速し、Intel Habana GaudiベースのDL1 EC2インスタンスを使用して大規模言語モデルをトレーニングします

数十億のパラメータを持つ大規模言語モデル（LLM）をトレーニングすることは、課題が多いですモデルのアーキテクチャを設計するだけでなく、研究者は、混合精度サポート、勾配蓄積、およびチェックポイントなどの分散トレーニングの最新のトレーニング技術を設定する必要があります大規模モデルでは、単一の...に使用可能なメモリが少ないため、トレーニングセットアップはさらに難しくなります

オープンソースのAmazon SageMaker Distributionで始めましょう

データサイエンティストは、依存関係を管理し、安全である機械学習（ML）およびデータサイエンスのワークロードのための一貫した再現可能な環境が必要ですAWS Deep Learning Containersは、TensorFlow、PyTorch、MXNetなどの一般的なフレームワークでモデルのトレーニングやサービングを行うためのプレビルドされたDockerイメージを既に提供していますこの体験を改善するために、私たちはパブリックベータを発表しました[…]

Amazon SageMakerでTritonを使用してMLモデルをホストする：ONNXモデル

ONNX（Open Neural Network Exchange）は、多くのプロバイダーによって広くサポートされている深層学習モデルを表現するためのオープンソースの標準ですONNXは、機械学習（ML）モデルを実行するために必要なメモリと計算を削減するための最適化および量子化モデルのツールを提供しますONNXの最大の利点の1つは、標準化された形式を提供することです[…]

Amazon SageMakerのHugging Face推定器とモデルパラレルライブラリを使用してGPT-Jを微調整する

GPT-Jは、Eleuther AIによってリリースされたオープンソースの60億パラメータのモデルですこのモデルはPileで訓練され、言語処理の様々なタスクを実行することができますテキスト分類、トークン分類、テキスト生成、質問応答、エンティティ抽出、要約、感情分析など、様々なユースケースをサポートすることができますGPT-Jは、...

Amazon SageMakerを使用してOpenChatkitモデルを利用したカスタムチャットボットアプリケーションを構築する

オープンソースの大規模言語モデル（LLM）は、研究者、開発者、そして組織がこれらのモデルにアクセスしてイノベーションや実験を促進できるようになり、人気が高まっていますこれにより、オープンソースコミュニティからの協力が促進され、LLMの開発や改良に貢献することができますオープンソースのLLMは、モデルアーキテクチャ、トレーニングプロセス、トレーニングデータに透明性を提供し、研究者がモデルを理解することができます[…]

Amazon SageMaker で大規模なモデル推論 DLC を使用して Falcon-40B をデプロイする

先週、テクノロジー・イノベーション・インスティチュート（TII）は、オープンソースの基礎的な大規模言語モデル（LLM）であるTII Falcon LLMを発表しましたFalconは、Amazon SageMakerで1兆トークンでトレーニングされ、ハグイングフェイスのランキングでトップクラスのパフォーマンス（執筆時点での第1位）を誇り、llama-65Bなどの他のLLMよりも比較的軽量でホストするのに費用がかからないとされています[…]

Learn more about Search Results ダウンロード - Page 79