Search Results Fix with AI and Generate with AI

「Amazon SageMakerの非同期エンドポイントを使用して、Amazon SageMaker JumpStartの基礎モデルのデプロイコストを最適化する」

この投稿では、これらの状況を対象にし、Amazon SageMaker JumpStartからAmazon SageMaker非同期エンドポイントに大規模な基盤モデルを展開することによって高コストのリスクを解決しますこれにより、アーキテクチャのコストを削減し、リクエストがキューにある場合や短い生存期間のみエンドポイントを実行し、リクエストが待機している場合にはゼロにスケーリングダウンしますこれは多くのユースケースにとって素晴らしいですが、ゼロにスケーリングダウンしたエンドポイントは、推論を提供できる前に冷たいスタート時間を導入します

「ガードレールでLLMを保護する」

大規模言語モデル（LLM）アプリケーションの使用が一般化し、より大規模な企業に拡大するにつれて、本番環境における効果的なガバナンスの確立が明確に求められます

RGBビデオから3Dビデオを作成する

「私は常に、私たちがデジタルな思い出を2Dの形式でアーカイブしていることに不満を感じてきました写真やビデオは鮮明さに欠けることはないものの、体験の深さや没入感が欠けているのです…」

「Llama 2がコーディングを学ぶ」

イントロダクション Code Llamaは、コードタスクに特化した最新のオープンアクセスバージョンであり、Hugging Faceエコシステムでの統合をリリースすることに興奮しています！ Code Llamaは、Llama 2と同じ許容されるコミュニティライセンスでリリースされ、商業利用が可能です。今日、私たちは以下をリリースすることに興奮しています：モデルカードとライセンスを備えたHub上のモデル Transformersの統合高速かつ効率的な本番用推論のためのテキスト生成推論との統合推論エンドポイントとの統合コードのベンチマーク Code LLMは、ソフトウェアエンジニアにとってのエキサイティングな開発です。IDEでのコード補完により生産性を向上させることができ、ドックストリングの記述などの繰り返しや面倒なタスクを処理することができ、ユニットテストを作成することもできます。目次イントロダクション目次 Code Llamaとは？ Code Llamaの使い方デモ Transformers…

「ROUGEメトリクス：大規模言語モデルにおける要約の評価」

「従来のモデルにおいて使用してきた指標であるAccuracy、F1スコア、またはRecallなどは、生成モデルの結果を評価するのに役立ちませんこれらのモデルでは、...」

「GPUを使用してAmazon SageMakerのマルチモデルエンドポイントで数千のモデルアンサンブルを展開し、ホスティングコストを最小限に抑えます」

「人工知能（AI）の導入は、さまざまな業界やユースケースで加速しています深層学習（DL）、大規模言語モデル（LLM）、生成型AIの最近の科学的な突破により、お客様はほぼ人間のような性能を持つ高度な最先端ソリューションを利用することができるようになりましたこれらの複雑なモデルでは、ハードウェアのアクセラレーションが必要とされることがありますなぜなら、それにより高速なトレーニングだけでなく、より速い推論も可能になるからです[…]」

「PyTorchにおける複数GPUトレーニングとそれに代わる勾配蓄積」

この記事では、まず、データ並列化（DP）と分散データ並列化（DDP）アルゴリズムの違いを説明し、次に勾配蓄積（GA）が何であるかを説明します

Pythonを使用して地理的な巡回セールスマン問題を解決する

有名な巡回セールスマン問題（TSP）は、ノード（都市）の集合間で最適な経路を見つけ、出発地に戻ることに関するものです簡単なように聞こえますが、解くことは不可能です...

エンコーダー・デコーダーモデルのための事前学習済み言語モデルチェックポイントの活用

Transformerベースのエンコーダーデコーダーモデルは、Vaswani et al.（2017）で提案され、最近ではLewis et al.（2019）、Raffel et al.（2019）、Zhang et al.（2020）、Zaheer et al.（2020）、Yan et al.（2020）などにおいて大きな関心を集めています。 BERTやGPT2と同様に、大規模な事前学習済みエンコーダーデコーダーモデルは、Lewis et al.（2019）、Raffel et al.（2019）などのさまざまなシーケンス対シーケンスのタスクにおいて性能を大幅に向上させることが示されています。しかし、エンコーダーデコーダーモデルの事前学習には膨大な計算コストがかかるため、そのようなモデルの開発は主に大企業や研究所に限定されています。 Sascha Rothe、Shashi Narayan、Aliaksei Severynによる「シーケンス生成タスクのための事前学習済みチェックポイントの活用」（2020）では、事前学習済みのエンコーダーやデコーダーのみのチェックポイント（例：BERT、GPT2）でエンコーダーデコーダーモデルを初期化して、コストのかかる事前学習をスキップする方法が紹介されています。著者らは、このようなウォームスタートされたエンコーダーデコーダーモデルが、T5やPegasusなどの大規模な事前学習済みエンコーダーデコーダーモデルと比較して、複数のシーケンス対シーケンスのタスクで競争力のある結果をもたらすことを示しています。このノートブックでは、エンコーダーデコーダーモデルをウォームスタートする方法の詳細を説明し、Rothe et…

🤗 Transformersにおいて制約付きビームサーチを用いたテキスト生成のガイド

イントロダクションこのブログ投稿では、トランスフォーマーを使用した言語生成のための異なるデコーディング方法について説明したブログ投稿「テキスト生成方法: トランスフォーマーを使用した異なるデコーディング方法」で説明されているように、読者がビームサーチの異なるバリアントを使用したテキスト生成方法に精通していることを前提としています。通常のビームサーチとは異なり、制約付きビームサーチではテキスト生成の出力に対して制御を行うことができます。これは、出力内に正確に何を含めたいかを知っている場合に役立ちます。たとえば、ニューラル機械翻訳のタスクでは、辞書検索を使用して最終的な翻訳に含まれる必要がある単語を知っているかもしれません。言語モデルにとってほぼ同じくらい可能性がある生成出力でも、特定の文脈においてエンドユーザーにとっては同じくらい望ましくない場合があります。これらの状況は、ユーザーがモデルに最終出力に含まれる必要のある単語を指示することで解決できます。なぜ難しいのかしかし、これは非常に非自明な問題です。これは、生成されたテキストの最終出力のどこかで、特定の部分文字列の生成を強制する必要があるからです。例えば、トークン t 1 , t 2 t_1, t_2 t 1 , t 2 を順番に含む文 S を生成したいとします。予測される文…

Learn more about Search Results Fix with AI and Generate with AI - Page 4