Search Results リポジトリ

エンドツーエンドの労働力管理を取得する： Amazon ForecastおよびAWS Step Functions

この記事は、Nafi Ahmet Turgut、Mehmet İkbal Özmen、Hasan Burak Yel、Fatma Nur Dumlupınar Keşir、Mutlu PolatcanおよびGetirのEmre Uzel共著によるゲスト投稿ですGetirは、超高速の食品宅配の先駆けですこのテクノロジー企業は、最後の一マイル配送を飛躍的に改革し、数分で食品を届ける提案をしましたGetirは2015年に設立され、運営しています...

「Pythonで脂肪尾を数値化する4つの方法」

「これはパワーロウとファットテールに関するシリーズの三番目の記事です前回の記事では、実証データからパワーロウを検出する方法について探求しましたこの技術は便利ですが、ファットテールはさらなる調査が必要です...」

「大規模言語モデルをより効率的に最適化できるのか？LLMの効率性に関するアルゴリズムの進化についての包括的な調査をご覧ください」

より効率的に大規模言語モデルを最適化できるのか？マイクロソフト、南カリフォルニア大学、オハイオ州立大学など、複数の組織の研究者からなる研究チームが、LLM（大規模言語モデル）の効率向上を目指したアルゴリズムの進歩について徹底的なレビューを提供しています。スケーリングの法則、データの利用、アーキテクチャの革新、トレーニング戦略、推論技術などを網羅し、将来の効率的なLLM開発の礎を築こうとしています。スケーリングの法則、データの利用、アーキテクチャの革新、トレーニング戦略、推論技術をカバーし、LLMの核心的な概念と効率指標について説明しています。このレビューでは、効率的なLLM開発に貢献する方法論の最新の総合的な概要を提供しています。研究者は関連する研究の見落としを認識し、さらなる参考文献の提案を推奨しています。 LLMは自然言語理解において重要な役割を果たしていますが、高い計算コストのために誰にでも簡単にアクセスできるものではありません。この課題に取り組むために、研究者は効率を向上させ、アクセス性を高めるためのアルゴリズムの進歩を継続的に行っています。これらの進歩は、AI、特に自然言語処理の領域における将来のイノベーションの道を切り拓いています。この研究は、LLMの効率を向上させるアルゴリズムの進歩を調査しています。スケーリングの法則、データの利用、アーキテクチャの革新、トレーニング戦略、推論技術など、さまざまな効率の側面を検討しています。Transformer、RWKV、H3、Hyena、RetNetなどの具体的な方法が言及されています。議論には知識の蒸留法、コンパクトなモデル構築法、注意モデリングと計算の最適化のための頻度ベースの技術などの具体的な手法が含まれています。この調査は、特定の領域に焦点を当てるのではなく、多様な効率の側面をカバーするLLMの効率についての包括的な視点を採用しています。貴重な情報源として役立ち、LLMの効率に関する今後のイノベーションの基盤を築いています。参考文献リポジトリを含めることで、この重要な分野のさらなる探求と研究のための有用性が高まります。ただし、研究の特定の結果や方法の詳細は、提供されたソースに明示的に記載されるべきです。まとめると、この調査では、LLM技術の効率を高めるための最新のアルゴリズムの進歩について詳しく説明しています。スケーリングの法則、データの利用、アーキテクチャの革新、トレーニング戦略、推論技術をカバーしています。アルゴリズムの解決策の重要性を強調し、モデルの圧縮、知識の蒸留、量子化、低ランク分解などの手法を探求し、LLMの効率を向上させることになります。この包括的な調査は、LLMの効率の現状についてさまざまな貴重な洞察を提供する必須のツールです。

「エンティティ抽出、SQLクエリ、およびAmazon Bedrockを使用したRAGベースのインテリジェントドキュメントアシスタントの強化」

会話AIは、最近の生成AIの急速な発展により、特に指示微調整や人間のフィードバックからの強化学習といったトレーニング技術によって導入された大規模言語モデル（LLM）のパフォーマンス改善により、大きな進歩を遂げてきました正しくプロンプトされると、これらのモデルは特定のタスクのトレーニングデータなしで、一貫した会話を行うことができます[…]

言語モデルを使用したドキュメントの自動要約のテクニック

要約は、大量の情報をコンパクトで意味のある形式に短縮する技術であり、情報豊かな時代における効果的なコミュニケーションの基盤となっていますデータの溢れる世界で、長いテキストを短い要約にまとめることで時間を節約し、的確な意思決定を支援します要約は内容を短縮して提示することにより、時間を節約し、明確さを向上させる役割を果たします

「松ぼっくりベクトルデータベースとAmazon SageMaker JumpStartのLlama-2を使用したリトリーバル増強生成によって幻覚を軽減する」

産業全体でのLLMの採用は止まることのないように見えますが、それらは新しいAIの波を支えるより広範な技術エコシステムの一部です多くの対話AIのユースケースでは、Llama 2、Flan T5、BloomのようなLLMがユーザーのクエリに応答するために必要ですこれらのモデルは質問に答えるためにパラメトリックな知識に依存していますモデルは[…]

「リトリーバル増強生成（RAG）とファインチューニング、どちらを選ぶべきですか？」

最近数ヶ月間、大型言語モデル（LLM）の人気が急上昇しています。自然言語処理、自然言語理解、自然言語生成の強みに基づいて、これらのモデルはほとんどの産業でその能力を発揮しています。生成型人工知能の導入により、これらのモデルは人間のようなテキスト応答を生成するように訓練されるようになりました。有名なGPTモデルにより、OpenAIはLLMの力を示し、変革的な開発の道を切り拓きました。ファインチューニングやRetrieval Augmented Generation（RAG）などの手法により、より正確で文脈豊かな応答を提供するための問題に対するAIモデルの能力が向上しています。 Retrieval Augmented Generation（RAG） RAGでは、検索ベース型と生成型のモデルが組み合わされます。従来の生成型モデルとは異なり、RAGは基盤となるモデルを変更せずに、対象となる最新のデータを取り込むことで既存の知識の枠組みを超えて活動することができます。 RAGの基本的なアイデアは、特定の組織やドメインのデータに基づいて知識リポジトリを構築することです。リポジトリが定期的に更新されるため、生成型AIは最新の文脈に即したデータにアクセスすることができます。これにより、モデルは組織のニーズに合わせて、より正確かつ複雑な応答をユーザーの入力に対して返すことができます。大量の動的データは標準の形式に変換され、知識ライブラリに保持されます。その後、データは埋め込まれた言語モデルを使用して数値表現を作成し、ベクトルデータベースに保持されます。RAGにより、AIシステムは言葉を生成するだけでなく、最新かつ関連性の高いデータを用いて生成することが保証されます。ファインチューニングファインチューニングは、事前に訓練されたモデルを特定のアクションを実行したり、特定の振る舞いを表示したりするためにカスタマイズする方法です。これは、多数のデータポイントで訓練された既存のモデルを取り上げて、より具体的な目標に適合するように修正することを含みます。自然言語コンテンツを生成するのに長けた事前訓練済みモデルを、ジョークや詩、要約など特定の対象に特化させることができます。ファインチューニングにより、開発者は広範なモデルの知識とスキルを特定の主題やタスクに適用することができます。ファインチューニングは特にタスク固有のパフォーマンス向上に役立ちます。特定のタスクについて、専門的な情報を適切に選択したデータセットを通じて提供することで、モデルは精度の高い文脈に即した出力を生成する能力を獲得します。ファインチューニングにより、初めから始めるのではなく既存の情報を活用するため、トレーニングに必要な時間と計算リソースも大幅に削減されます。この方法により、モデルは狭いドメインに順応することで、より効果的に焦点を絞った回答を提供することができます。ファインチューニングとRAGの評価時に考慮すべき要素 RAGは頻繁なモデルの再学習を必要とせずに、定期的に外部の情報源から最新のデータを要求することで、動的データの状況で非常に優れたパフォーマンスを発揮します。一方、ファインチューニングには再現性の保証がないため、信頼性が低くなります。 RAGは他の情報源から関連するデータを取得することで、LLMの機能を向上させます。これはドキュメントの要約、オープンドメインの質問応答、ナレッジベースからデータを取得できるチャットボットなど、外部の知識へのアクセスが必要なタスクに適しています。ファインチューニングは頻繁に変わるデータソースに対しては適用できない場合があります。 RAGは小さなモデルの利用を制限します。一方、ファインチューニングは小規模モデルの効果を高めることで、より迅速で費用のかかる推論を可能にします。 RAGは自動的に取得した情報に基づいて言語のスタイルやドメインの専門化を調整することはありません。一方、ファインチューニングは行動や文章スタイル、ドメイン固有の知識の調整により、特定のスタイルや専門領域との深い整合性を提供します。 RAGは一貫性があり、情報をもとに回答を生成します。ファインチューニングは幻覚を抑えることができるかもしれませんが、新しい刺激にさらされると、生成される反応は作り上げられる場合もあります。 RAGは応答生成を分割して明示的なフェーズに分け、データの取得方法に関する情報を提供することで透明性を提供します。一方、ファインチューニングは回答の基本となるロジックの透明性が低くなります。 RAGとファインチューニングのユースケースの違いは何ですか？ LLMはテキストのカテゴリ分類、感情分析、テキスト生成などのさまざまなNLPタスクに対してファインチューニングできます。これらのタスクでは、入力に応じてテキストを理解し生成することが主な目的となります。一方、RAGモデルは、ドキュメントの要約、オープンドメインの質問応答、ナレッジベースからデータを取得できるチャットボットなど、外部の知識へのアクセスがタスクに必要な場合に優れたパフォーマンスを発揮します。トレーニングデータに基づくRAGとFine-tuningの違い LLMをFine-tuningする際、彼らは特定の検索手法を使用するわけではありませんが、一般的には目標タスクに一致するラベル付きの例から構成されるタスク固有のトレーニングデータに依存します。一方、RAGモデルは検索と生成の両方のタスクを行うために訓練されます。これには、成功した検索と外部情報の使用を示すデータを生成のための教師付きデータと組み合わせる必要があります。…

新しいLAMPスタック：生成AI開発の革新を照らす

LAMPスタックは、さまざまなドメインでの生成型AIの開発と展開において必須となってきています

「GCPの生成AI機能を活用して変革するBFSIサービス」

「ジェネラティブAI（Gen AI）サービスがクラウドプラットフォーム上で収束することで、BFSIセクターなどの産業革新に前例のない機会が提供されます」

「たった1行のコードで、Optimum-NVIDIAが驚くほど高速なLLM推論を解除します」

大規模言語モデル（LLM）は、自然言語処理を革新し、複雑な問題を解決するためにますます展開されています。これらのモデルの最適な性能を達成することは、固有の計算的要求のために非常に困難です。最適化されたLLMの性能は、応答性のある高速な体験を求めるエンドユーザーだけでなく、改善されたスループットがコスト削減に直結するスケーリング展開にとっても非常に価値があります。それがOptimum-NVIDIAの役割です。Hugging Faceで利用できるOptimum-NVIDIAは、非常にシンプルなAPIを通じてNVIDIAプラットフォーム上のLLMの推論を劇的に高速化します。たった1行のコードを変更するだけで、NVIDIAプラットフォーム上で最大28倍の高速な推論速度と1,200トークン/秒を実現することができます。 Optimum-NVIDIAは、NVIDIA Ada LovelaceおよびHopperアーキテクチャでサポートされる新しいfloat8フォーマットを活用した最初のHugging Face推論ライブラリです。さらに、NVIDIA TensorRT-LLMソフトウェアソフトウェアの高度なコンパイル機能により、LLMの推論を劇的に高速化します。実行方法 Optimum-NVIDIAを使用したパイプラインで、素早い推論速度でLLaMAを実行するには、わずか3行のコードで開始できます。Hugging Faceのtransformersライブラリを使用してLLaMAを実行するためのパイプラインを既に設定している場合、パフォーマンスのピークを解除するためにわずかなコードの変更のみが必要です！ - from transformers.pipelines import pipeline+ from optimum.nvidia.pipelines import pipeline# transformersと同じです！pipe = pipeline('text-generation', 'meta-llama/Llama-2-7b-chat-hf',…

Learn more about Search Results リポジトリ - Page 6