Search Results 384

In Japanese 「GTE-tinyに会いましょう：ダウンストリームタスクのためのパワフルなテキスト埋め込み人工知能モデル」(GTE-tiny ni aimashou Daunsutori-mu tasuku no tame no pawafuru na tekisuto umekomi jōchū nō moeru) Note Please keep in mind that this translation is accurate, but it may be adjusted to fit

“` アリババのDAMOアカデミーのGTE-tinyは、軽量で高速なテキスト埋め込みモデルです。BERTフレームワークを使用し、様々な領域とユースケースを網羅する関連テキストペアの大規模なコーパスで訓練されています。GTE-smallから半分のレイヤーを削除し、多少性能は劣りますが（または全MiniLM-L6-v2システムと同じサイズでありながら性能が優れている可能性もあります）、ONNXオプションも用意されています。これは文を変換するモデルであり、文の意味を持つベクトル空間（384次元）に変換するために使用されます。オリジナルのthenlper/gte-smallのサイズと性能が半分に縮小されています。 GTE-tinyは、単語や文の間の意味的な関連性を学習する能力により、下流プロセスの多くの異なるタスクに使用することができます：データの検索と取得異なるテキストでの同じ意味テキストの再構成クエリへの応答テキストの要約機械翻訳 GTE-tinyは、コンパクトで高速なモデルから最大限の利益を得られる下流操作で優れた選択肢です。モバイルデバイス向けのテキスト埋め込みモデルやリアルタイム検索エンジンの開発など、さまざまなアプリケーションに適用できます。 GTE-tinyのいくつかの応用例：検索エンジンは、GTE-tinyを使用してユーザーのクエリとドキュメントを共有ベクトル空間に埋め込み、関連素材を効果的に取得できます。 GTE-tinyは、質問とパッセージを共有ベクトル空間にエンコードして、与えられたクエリに最も適した回答パッセージを迅速に特定する質疑応答システムに活用できます。テキスト要約システムは、GTE-tinyを使用して長文ドキュメントから要約を生成することができます。機械学習モデル向けの著名なオープンソースリポジトリであるHugging Faceは、GTE-tinyをダウンロードできるよう提供しています。さらに、新しいソフトウェアや既存のソフトウェアでの実装も簡単です。GTE-tinyは新しいモデルですが、既にいくつかの下流アプリケーションで成功を収めています。アリババのDAMOアカデミーは、GTE-tinyのパフォーマンスを最適化するために開発中でもあります。テキスト埋め込みモデルや関連する下流タスクを作成する研究者や開発者にとって、GTE-tinyは貴重なツールです。 GTE-tinyは、多くの異なるアプリケーションに適用できる堅牢で柔軟なテキスト埋め込みモデルです。コンパクトで高速なモデルが最も効果的に利用される用途には優れた選択肢となります。 “`

「風を継ぐ」

風の予測は人工知能の時代に入っています

フーリエ変換を用いた季節変動のモデリング

「ターゲットデータにフーリエ変換を適用して、時系列予測モデルの性能を向上させる方法」

メタAI研究者が高度な長文脈LLMsを提案

新しい論文では、Meta AIの研究者たちは高度な長い文脈(LLM)を提案し、頑健な長文脈機能を持つLLMへのアクセスの不足を解決することを提案しています過去には、これは主に独自のAPIを介して利用可能でしたしかし、このアプローチでは研究者や開発者のために空白が残りました...

メタAI研究者が高度な長文脈LLMsを提案します：アップサンプリング、トレーニングテクニック、およびGPT-3.5-Turbo-16kの性能を超えるための深い探求

“`html 大規模言語モデル（LLM）の出現は、自然言語処理における画期的な進展を示しています。これらのモデルは膨大な量のデータで訓練され、膨大な計算リソースを活用することで、人間のデジタル世界との相互作用を変革することを約束しています。スケールと迅速な展開を通じて進化することで、これらのモデルの潜在的なユースケースはますます複雑になります。例えば、知識豊富な文書の分析、より本物らしく魅力的なチャットボット体験の向上、コーディングやデザインなどの反復的な創造的プロセスを支援するといったタスクに彼らは能力を拡張しています。この進化を可能にする重要な特徴の一つは、長い文脈の入力を効果的に処理する能力です。つまり、LLMは適切な前文脈に基づいてテキストを理解し、生成することができる必要があります。これは、長い文書、マルチターンの会話、または複雑な問題解決に関わるタスクに特に重要です。しかし、ここまでのところ、長文脈の機能が強力なLLMは主にプロプライエタリなLLM API経由で利用可能であり、研究者や開発者が利用できる解決策にはギャップがありました。価値のあるオープンソースの長文脈モデルは存在しますが、評価ではしばしば不十分でした。通常、これらのモデルは言語モデリングの損失と合成タスクに焦点を当てますが、これは情報提供にはなりますが、多様な現実世界のシナリオにおいて効果的であることを包括的に示すものではありません。さらに、これらのモデルの多くは、標準的な短文脈のタスクでも高いパフォーマンスを維持する必要性を見落とし、これらの評価を回避したり、劣った結果を報告したりしています。これらの課題に対応するために、新しいメタ研究では、すべての既存のオープンソースモデルを凌駕する長文脈LLM構築手法を提案しています。この手法は、LLAMA 2のチェックポイントから継続的な事前訓練を行い、追加の4000億トークンを使用して広範な訓練シーケンスを構築します。これらのシーケンスは、長文脈の理解の要点を捉えるように設計されています。この研究では、32,768トークンのシーケンスで訓練された小型の7B/13Bモデルと、16,384トークンのシーケンスで訓練された大型の34B/70Bモデルなど、さまざまなモデルバリアントを提供しています。この手法の特徴は、評価プロセスの徹底さです。以前の研究とは異なり、チームはモデルのパフォーマンスを複数の側面で評価しています。これには、言語モデリングの能力、合成タスクのパフォーマンス、そして何よりも重要なことに、さまざまな実世界のベンチマークでの能力の評価が含まれます。彼らは長文脈と短文脈のタスクをカバーし、モデルの能力の包括的なビューを提供しています。研究の結果は、スケーリングの挙動がモデルの能力を一貫して高めることを示し、文脈の長さをLLMのさらなる拡大の重要な要素として強調しています。研究ベンチマークにおけるLLAMA 2と比較して、この手法では長文脈のタスクにおいて大きな改善が見られ、標準的な短文脈のタスクでも僅かな向上があります。これらの改善は、コーディング、数学的問題解決、知識関連のタスクにおいて特に顕著です。さらに、チームは人間によって注釈付けられたデータなしで達成される連続的に事前訓練された長いモデルの命令微調整のための簡単で費用効果の高い手順を探索しています。その結果、この手法は一連の長文脈ベンチマークでgpt-3.5-turbo-16kのパフォーマンスを凌駕するチャットモデルを実現しています。全体として、この手法はプロプライエタリとオープンソースの長文脈LLMのギャップを埋めるための大きな進歩です。優れたパフォーマンスを持つモデル、さまざまな側面にわたる包括的な評価、および能力に影響を与える要素のより深い理解を提供しています。最終的には、研究者や開発者が長文脈LLMの潜在能力を広範なアプリケーションに活用することを可能にしたいと考えています。これにより、自然言語処理の新時代が訪れることになります。 “`

「インフレが米国のエンジニアの給与に影響を与える」

「IEEE-USA 2023年の給与と福利厚生調査によれば、アメリカのエンジニアの給与成長が2年連続でインフレを下回り、2000年代以来の初めての多期間の収入減少を示しています」

初めての機械学習モデルを展開する

たった3つの簡単なステップで、ガラス分類モデルを構築して展開することができます言っている間に、ガラス分類モデルと言えるほど早く！

MLOps

「OpenAIキーなしでPDFおよび記事のための強力なチャットアシスタントを作成する」

イントロダクション自然言語処理の世界は、特に大規模な言語モデルの登場により、膨大な拡大を遂げています。これらのモデルは、この分野を革新し、誰でも利用できるようにしました。この記事では、オープンソースライブラリを使用して、与えられた記事（またはPDF）を基に質問に応答できる強力なチャットアシスタントを作成するためのNLP（自然言語処理）のテクニックを探求し、実装していきます。OpenAIのAPIキーは必要ありません。この記事は、データサイエンスブログマラソンの一環として公開されています。ワークフローこのアプリケーションのワークフローは以下の通りです：ユーザーは、PDFファイルまたは記事のURLを提供し、質問を行います。このアプリケーションは、提供されたソースに基づいて質問に答えることを試みます。私たちは、PYPDF2ライブラリ（PDFファイルの場合）またはBeautifulSoup（記事のURLの場合）を使用してコンテンツを抽出します。次に、langchainライブラリのCharacterTextSplitterを使用して、それをチャンクに分割します。各チャンクに対して、all-MiniLM-L6-v2モデルを使用して、対応する単語埋め込みベクトルを計算します。このモデルは、文章や段落を384次元の密なベクトル空間にマッピングするためのものです（単語埋め込みは、単語/文章をベクトルとして表現する技術の一つです）。同じ技術がユーザーの質問にも適用されます。これらのベクトルは、sentence_transformersというPythonのフレームワークが提供する意味的検索関数に入力されます。sentence_transformersは、最先端の文、テキスト、画像埋め込みを行うためのフレームワークです。この関数は、答えを含む可能性があるテキストチャンクを返し、質問応答モデルは、semantic_searchとユーザーの質問の出力に基づいて最終的な答えを生成します。注意すべてのモデルは、HTTPリクエストのみを使用してAPI経由でアクセス可能です。コードはPythonを使用して書かれます。 FAQ-QNは、より詳細な情報についてはFAQセクションを参照することを示すキーワードです。実装このセクションでは、実装についてのみに焦点を当て、詳細はFAQセクションで提供されます。依存関係依存関係をダウンロードし、それらをインポートすることから始めます。 pip install -r requirements.txt numpytorchsentence-transformersrequestslangchainbeautifulsoup4PyPDF2 import…

(LLMを活用したこきゃくセグメンテーションのマスタリング)

LLMを使用して高度な顧客セグメンテーション技術を解除しましょう高度な技術を用いてクラスタリングモデルを向上させ、エキスパートになりましょう

本番環境向けのベクトル検索の構築

ベクトルストアは、機械学習の進化において重要な役割を果たし、データの数値エンコーディングのための必須のリポジトリとして機能しますベクトルは、多次元空間におけるカテゴリカルなデータポイントを表すために使用される数学的なエンティティです機械学習の文脈では、ベクトルストアは、データの保存、取得、フィルタリングを行う手段を提供します

Learn more about Search Results 384 - Page 3