Search Results on

「Pythonの型 Optionalは必須を意味することもある」

Pythonのドキュメントによると、typing.OptionalはオブジェクトがNoneであることを示す便利な方法ですこれはこの概念を簡潔でエレガントに表現する方法ですが、それはまた明確でしょうか？さて、

アマゾンセージメーカースタジオを使用して、素早い実験結果のためにLlama 2、LangChain、およびPineconeを使用してRAG型の質問応答ソリューションを構築しましょう

「Retrieval Augmented Generation（RAG）は、ファインチューニングなしで大規模言語モデル（LLM）に外部の知識源（リポジトリ、データベース、APIなど）へのアクセスを提供することができます質問応答に対して生成的AIを使用する際、RAGはLLMが最も関連性の高い最新情報で質問に回答し、必要に応じて引用することができるようにします...」

「Amazon SageMakerを使用してビジョントランスフォーマーモデルのトレーニング時間を短縮するKTの取り組み」

KTコーポレーションは、韓国で最大の通信事業者の一つであり、固定電話、携帯通信、インターネット、AIサービスなど幅広いサービスを提供していますKTのAI Food Tagは、コンピュータビジョンモデルを使用して、写真に写った食品の種類と栄養成分を特定するAIベースの食事管理ソリューションです

スタンフォード大学の研究者が『FlashFFTConv』を導入：長いシーケンスのFFT畳み込みを最適化するための新しい人工知能システム

効率的な推論は、機械学習において長いシーケンスを取り扱う上での主要な困難です。最近では、畳み込みがシーケンスモデリングにおいて重要な基本操作となり、言語モデリング、時系列解析、コンピュータビジョン、DNAモデリングなどでの最先端のパフォーマンスをサポートしています。これらの印象的な結果や、安定性の向上、シーケンスの長さが増すにつれてスケーラビリティが向上するなどの追加の利点を考慮しても、畳み込みシーケンスモデルは依然としてTransformersよりも遅いです。その主な原因は、信頼性のないハードウェアサポートです。シーケンスモデリングにおける畳み込みは、通常、視覚的なアプリケーションで使用される短いフィルタとは異なり、入力シーケンスと同じ長さのフィルタを使用します。高速フーリエ変換（FFT）畳み込みアルゴリズムは、入力uと畳み込みカーネルkの畳み込みを入力と出力の周波数にマッピングすることで計算します。 FFT畳み込みアルゴリズムは漸近的に効率的ですが、現在のアクセラレータ上では壁時計時間が短いです。しかし、システムの技術的進歩により、Transformersは現在のアクセラレータの限界まで到達し、FlashAttention-v2を使用する場合のエンドツーエンドFLOP使用率が72%以上になっています。長いコンテキストの機能を提供するために、スタンフォード大学の新しい研究では、現代のアクセラレータ上でFFT畳み込みメソッドを最適化する方法を調査しています。研究者らは、システムの進歩によってFlashAttentionのようなモデルや新しいアテンションアルゴリズムが生まれたように、FFT畳み込みの最適化も新しいアルゴリズムを生み出し、畳み込みシーケンスモデルの品質を向上させると考えています。 FFT畳み込みは短いシーケンスに対して簡単に最適化できます。フィルタのFFTを再利用することが一般的な実践であり、再利用する前にフィルタのFFTを事前計算することが可能となります。したがって、FFT畳み込みはバッチとフィルタに跨る並列処理が可能であり、カーネルフュージョンにより中間の畳み込み出力をSRAMやレジスタにキャッシュすることができます。しかし、チームはシーケンスの長さが増すにつれて2つの主要なボトルネックが発生することを指摘しています。現在のアクセラレータでは、FFT畳み込みは特殊な行列行列乗算ユニットを最適化的に利用していません。第二に、シーケンスがSRAMに収まりきらないほど長くなると、カーネルフュージョンが失敗し、コストのかかるI/O操作が必要になります。因果関係のためのパディング操作や、実数値の入出力から複素数値のFFT中間生成物への変換も、これらのI/Oコストをさらに増加させる可能性があります。それに対応して、研究者はFlashFFTConvという革新的なアルゴリズムを提案しています。このアルゴリズムは、FFTを長いシーケンスに最適化するためにモナーク分解を使用します。モナーク分解は、FFTをp個の行列乗算操作の系列として書き直すための方法であり、pの値が大きくなるほど、より小さな行列のためFLOPコストが減少しますが、中間結果を伝達するためにより多くのI/Oが必要となります。したがって、トレードオフが存在します。この研究では、FLOPコストとI/Oコストをシーケンスの長さに基づいた単純なコストモデルを使用して、GPU上でpの最適化方法を示しています。FlashFFTConvは、より長いシーケンス長でのカーネルフュージョンを容易にし、SRAM内に保持する必要のあるシーケンスの量を減らすことができます。したがって、FlashFFTConvは256文字から400万文字までのシーケンスを容易に処理できます。実数値のFFTアルゴリズムを使用し、入力がゼロパディングされている場合には一部の行列乗算操作をスキップすることで、FlashFFTConvはFFT操作の長さを半分以上短縮することができます。さらに、FFT畳み込みの行列ビューは2つのアーキテクチャの修正を実装するためのシンプルなインタフェースを提供し、畳み込みカーネルが入力シーケンスよりも短い長さで学習する部分畳み込みや、周波数空間でカーネルの一部をゼロにする周波数疎畳み込みなどが簡単に実装できます。両方のアプローチは、Transformersにおける疎な/近似的なアテンションの畳み込みバージョンと考えることができます。研究者は、FlashFFTConvがFFT畳み込みを加速し、より優れた品質、より効率的な長いシーケンスモデルを実現することを実証しています。 FlashFFTConvは効率の向上により、畳み込みシーケンスモデルの品質を改善します。同じ計算予算の場合、FlashFFTConvはHyena-GPT-sが2.3ポイント改善したperplexityを実現し、M2-BERT-baseが最大3.3高い平均GLUEスコアを達成することができます。これは、モデルのパラメータを倍増させた場合のパフォーマンス向上と同等です。 FlashFFTConvはPyTorchと比較して、畳み込みの効率性を最大7.93、メモリの節約を最大5.60向上させます。この効率性は、シーケンス長で4桁以上にわたって保持されます。FlashFFTConvは、FlashAttention-v2に比べて、シーケンス長2K以上において壁時計時間が速くなり、エンドツーエンドのFLOP使用率が最大で62.3%となります。 FlashFFTConvは長いシーケンスのモデルも実現可能です。FlashFFTConvは、長大なarenaベンチマークのPath-512ジョブ（シーケンス長256K）を完了する唯一のモデルを生み出しました。また、FlashFFTConvは、単一ヌクレオチドの分解能で最長の人間の遺伝子（最大2.3M塩基対）を埋め込む最初のモデルでもあり、部分畳み込みを介してHyenaDNAを4Mのシーケンス長に拡張することができます。チームは、FlashFFTConvが畳み込みシーケンスモデルのより広範な使用を可能にし、学んだ教訓がよりリソース効率の良いコンピュータアーキテクチャにつながることを期待しています。

テンセントAIラボは、検索補完された言語モデルの堅牢性と信頼性を高めるために、Chain-of-Noting（CoN）を導入します

Tencent AI Labの研究者は、検索補完型の言語モデル（RALM）の信頼性に関する課題に取り組み、関連性のない情報を取得し、誤った応答を引き起こす可能性に対処しています。提案されたアプローチであるCHAIN-OF-NOTING（CON）は、RALMを強化することを目指しています。CONを装備したRALMは、オープンドメインのQAベンチマークで顕著なパフォーマンスの向上を示し、正確な一致（EM）スコアと範囲外の質問に対する拒否率が著しく向上しました。研究は、RALMの限界に取り組み、ノイズの耐性と取得したドキュメントへの依存度の低減を強調しています。CONアプローチは、取得したドキュメントのための連続的な読み取りメモを生成し、包括的な関連性評価を可能にします。事例研究では、CONがドキュメントの関連性をモデルが理解することを向上させ、関連しないまたは信頼性の低いコンテンツをフィルタリングすることで、より正確で文脈に即した応答を実現することが示されています。標準のRALMを上回る性能を持つCONは、範囲外の質問に対する正確な一致スコアと拒否率を実現します。直接的な検索、推論的な推論、知識のギャップの認識をバランスよく行うことで、人間の情報処理に似た性能を示します。CONの実装には、読み取りメモの設計、データ収集、モデルトレーニングが含まれており、現在のRALMの制限に対する解決策を提供し、信頼性を向上させます。連続的な読み取りメモを生成するフレームワークであるCONは、RALMのパフォーマンスを向上させます。ChatGPTのトレーニングデータを使用してLLaMa-2 7BモデルでトレーニングされたCONは、特に高ノイズのシナリオで標準のRALMを上回るパフォーマンスを発揮します。CONは、読み取りメモを直接の回答、有用な文脈、不明なシナリオに分類し、ドキュメントの関連性を評価するための堅牢なメカニズムを示します。ベースライン方法であるLLaMa-2 wo IRとの比較は、CONが関連しないコンテンツをフィルタリングする能力を示し、応答の正確性と文脈の関連性を向上させます。 CONを装備したRALMは、著しく改善され、完全なノイズのあるドキュメントに対して平均+7.9のEMスコアの向上を実現します。CONは、事前トレーニングの知識を超えたリアルタイムの質問に対する拒否率の+10.5の向上を示します。評価指標には、EMスコア、F1スコア、オープンドメインのQAに対する拒否率が含まれます。事例研究では、CONがRALMの理解を深め、ノイズや関係のないドキュメントの課題に対処し、全体的な堅牢性を向上させることを示しています。 CONフレームワークは、RALMを大幅に強化します。取得したドキュメントの連続的な読み取りメモを生成し、これを最終的な回答に統合することで、CONを装備したRALMは標準のRALMを上回り、顕著な平均改善を示します。CONは、標準のRALMの制約に取り組み、関連する情報の理解を深め、さまざまなオープンドメインのQAベンチマークでの全体的なパフォーマンスを向上させるよう促進しています。将来の研究では、CONフレームワークを異なるドメインとタスクに応用し、RALMの強化の汎用性と効果を評価することが考えられます。多様な検索戦略やドキュメントのランキング方法の調査により、検索プロセスの最適化と取得ドキュメントの関連性の向上が可能となります。ユーザースタディでは、実世界のシナリオでのRALM with CONの使用可能性と満足度を評価し、応答の品質と信頼性を考慮します。追加の外部知識源の探索や、事前トレーニングやファインチューニングなどの技術との組み合わせによるCONの組み込みは、さらなるRALMのパフォーマンスと適応性の向上につながるでしょう。

Python

メタラマは本当にオープンソースなのか？ (Meta Rama wa hontō ni ōpun sōsu na no ka?)

「メタLLaMAのオープンソースLLMとしての真正性を探求し、基準と大きな意義を解析する」

Learn more about Search Results on - Page 15

「Pythonの型 Optionalは必須を意味することもある」

アマゾンセージメーカースタジオを使用して、素早い実験結果のためにLlama 2、LangChain、およびPineconeを使用してRAG型の質問応答ソリューションを構築しましょう

「Amazon SageMakerを使用してビジョントランスフォーマーモデルのトレーニング時間を短縮するKTの取り組み」

スタンフォード大学の研究者が『FlashFFTConv』を導入：長いシーケンスのFFT畳み込みを最適化するための新しい人工知能システム

テンセントAIラボは、検索補完された言語モデルの堅牢性と信頼性を高めるために、Chain-of-Noting（CoN）を導入します

「あなたはiPhoneに1,000ドル支払いましたが、Appleがまだそれを管理しています」

AppleはiPhoneとAndroid間でのテキストのやり取りを容易にする予定です

AI Pin iPhoneを置き換えるかもしれないデバイス

あなたのVoAGIポスト-なぜPythonでリスト内包表記を過度に使用すべきではないか

メタラマは本当にオープンソースなのか？ (Meta Rama wa hontō ni ōpun sōsu na no ka?)

Find the right Blockchain Investment for you