Search Results コーパス

「マスク言語モデリングタスクのBERTトレーニング方法」

「最近、大規模言語モデル（LLM）は、機械学習コミュニティ全体の注目を浴びていますLLMが登場する前には、さまざまな言語モデリングに関する重要な研究フェーズがありました...」

信頼性のある世代をチェーンオブバーニケーションを通じて解放する迅速なエンジニアリングの飛躍

大規模言語モデルにおける幻覚を減らすための重要な手段である「Chain-of-Verification Prompt Engineering(検証チェーン・プロンプトエンジニアリング)メソッド」を探求し、信頼性と事実に基づいたAI応答を確保します

Artificial Intelligence

このAI論文は、言語エージェントのための自然言語とコードの調和を目指して、LemurとLemur Chatを紹介しています

広義では、知的エージェントとは、周囲から収集したデータに基づいて知覚、判断、行動の能力を備えた自律問題解決者です。この考え方を応用した最近の研究では、自然言語を使用してさまざまな文脈で複雑なタスクを実行できる言語エージェントの開発に有望な成果が出ています。特に、これらのエージェントが大規模な言語モデル（LLM）を使用して構築された場合、人間の思考と言語を模倣できます。これにより、人々はツールの使用に柔軟に対応し、新しい状況に適応し、言語的に論理的な理由づけを行い、飛び込みでマルチエージェントシステムを開発することができます。 LLMは、人間とのインタラクション、推論、計画を理解し、言語エージェントの基盤を適切に構築するために、必要な文脈における根拠を確保する必要があります。LLMの自然言語の機能により、人間の会話、思考、計画に近い動作が可能です。しかし、環境に基づいた実行は通常、汎用コードまたはドメイン固有のAPIを使用して行われます。これには、ウェブブラウザの管理、オペレーティングシステムのコマンドラインインターフェース端末との通信、ロボットアームの制御などが含まれます。このギャップを埋めるため、香港大学、XLang Lab、Salesforce Research、Sea AI Lab、ワシントン大学、MIT CSAILによる新しい研究では、事前トレーニングおよび指示の微調整手法を用いて、テキストとコードの調和を実現するために事前トレーニングおよび指示の微調整を行い、最先端のプロトタイプであるLemurとLemur-Chatを公開しています。これにより、オリジナルのLlama-2-70Bを改善しました。自然言語の能力を保持しながら、コーディング能力を向上させるために、The Stackを基にしたコード中心のコーパスを構築し、90億トークンのテキストとコードの比率が10：1のデータを含みました。これがLemurとして知られるプロトタイプです。指示に従うモデルであるLemur-Chatを作成するために、最初にテキストとコードの両方から約10万インスタンスを使用して事前トレーニングを行いました。LemurとLemur-Chatは、8つのテキストとコーディングのベンチマーク全体で幅広い評価を受けた後の最もバランスの取れたオープンソースモデルであることが証明されています。さらに、この試みは、さまざまな環境で言語エージェントのコア能力を評価するためのエージェント基準を提供することを目指しています。特に、ツールのスキルと環境と社会のフィードバックにおける定着能力に焦点を当てています。また、エージェントが情報の不完全さに基づいて操作を行い、ギャップを埋めるために追加のアクションを実行する必要がある実際の環境における部分的に可視なシナリオには固有の困難があります。実験により、Lemur-Chatは他のオープンソースモデルと比較して13のエージェントベンチマークのうち12つで優れたパフォーマンスを示すことが示されています。これは、自然言語とプログラミングの能力を組み合わせることによって、Lemur-Chatが自然言語エージェントの既存のオープンソースモデルとの性能差を埋めることができることを示しています。これらのテストの結果から、言語エージェントを構築する際には、言語と計算能力を組み合わせることの重要性が明らかになります。自然言語処理に優れ、コーディングに苦労するLlama-2-70B-Chatなどのモデルは、行動空間が制約されており、そのようなツールを使用する努力が低いため、基本的なツールを効率的に利用することができます。対照的に、ウェブブラウジングやホームナビゲーションなどの洗練された意思決定シナリオに直面した場合、アクションスペースは通常、莫大ですが、高いコーディング能力を持つモデルは複雑な実行可能なアクションシーケンスを構築するときに優位に立ちます。結論として、Lemurの優れたパフォーマンスは、自然言語処理とプログラミングの優位性に起因します。この研究は、自然言語とプログラミング言語の相乗効果の最適化を探りながら、さまざまな環境で優れた機能を持つ高度な言語エージェントを作成するための基礎を築くものです。

RAGアプリケーションデザインにおける実用的な考慮事項

「RAG（Retrieval Augmented Generation）アーキテクチャは、LLMの入力長制限と知識切り上げの問題を効率的に克服することが証明されています現在のLLMテクニカルスタックでは、RAGが…」

オラクルは、AIとクラウドを基盤とした未来のビジョンを明らかにしました

ラリー・エリソンは、生成的AIが変革的であり、エンタープライズAIアプリケーションの構築におけるOracle Cloudの独特な利点を詳細に説明しています

テキストをベクトルに変換する：TSDAEによる強化埋め込みの非教示アプローチ

TSDAEの事前学習を対象ドメインで行い、汎用コーパスでの教師付き微調整と組み合わせることで、特化ドメインの埋め込みの品質を向上させる埋め込みはテキストをエンコードする...

In Japanese 「GTE-tinyに会いましょう：ダウンストリームタスクのためのパワフルなテキスト埋め込み人工知能モデル」(GTE-tiny ni aimashou Daunsutori-mu tasuku no tame no pawafuru na tekisuto umekomi jōchū nō moeru) Note Please keep in mind that this translation is accurate, but it may be adjusted to fit

“` アリババのDAMOアカデミーのGTE-tinyは、軽量で高速なテキスト埋め込みモデルです。BERTフレームワークを使用し、様々な領域とユースケースを網羅する関連テキストペアの大規模なコーパスで訓練されています。GTE-smallから半分のレイヤーを削除し、多少性能は劣りますが（または全MiniLM-L6-v2システムと同じサイズでありながら性能が優れている可能性もあります）、ONNXオプションも用意されています。これは文を変換するモデルであり、文の意味を持つベクトル空間（384次元）に変換するために使用されます。オリジナルのthenlper/gte-smallのサイズと性能が半分に縮小されています。 GTE-tinyは、単語や文の間の意味的な関連性を学習する能力により、下流プロセスの多くの異なるタスクに使用することができます：データの検索と取得異なるテキストでの同じ意味テキストの再構成クエリへの応答テキストの要約機械翻訳 GTE-tinyは、コンパクトで高速なモデルから最大限の利益を得られる下流操作で優れた選択肢です。モバイルデバイス向けのテキスト埋め込みモデルやリアルタイム検索エンジンの開発など、さまざまなアプリケーションに適用できます。 GTE-tinyのいくつかの応用例：検索エンジンは、GTE-tinyを使用してユーザーのクエリとドキュメントを共有ベクトル空間に埋め込み、関連素材を効果的に取得できます。 GTE-tinyは、質問とパッセージを共有ベクトル空間にエンコードして、与えられたクエリに最も適した回答パッセージを迅速に特定する質疑応答システムに活用できます。テキスト要約システムは、GTE-tinyを使用して長文ドキュメントから要約を生成することができます。機械学習モデル向けの著名なオープンソースリポジトリであるHugging Faceは、GTE-tinyをダウンロードできるよう提供しています。さらに、新しいソフトウェアや既存のソフトウェアでの実装も簡単です。GTE-tinyは新しいモデルですが、既にいくつかの下流アプリケーションで成功を収めています。アリババのDAMOアカデミーは、GTE-tinyのパフォーマンスを最適化するために開発中でもあります。テキスト埋め込みモデルや関連する下流タスクを作成する研究者や開発者にとって、GTE-tinyは貴重なツールです。 GTE-tinyは、多くの異なるアプリケーションに適用できる堅牢で柔軟なテキスト埋め込みモデルです。コンパクトで高速なモデルが最も効果的に利用される用途には優れた選択肢となります。 “`

シャージャ大学の研究者たちは、アラビア語とその方言を自然言語処理に取り入れるための人工知能ソリューションを開発しました

アラビア語は4億2200万人以上の国民の公用語であり、世界で5番目に広く使用されています。しかし、自然言語処理ではほとんど無視されてきました。一般的に使用される言語は英語です。それはアラビア文字を使用するのが難しいためでしょうか？その答えは一部はイエスですが、研究者たちはアラビア語とさまざまな方言の処理のためのAIソリューションの開発に取り組んできました。最近の研究は、アラビア語話者が技術を利用し理解しやすくするために技術の成長との相互作用方法を革新する可能性があります。課題は、アラビア語の複雑で豊かな性質に起因します。アラビア語は豊かな接頭辞、接尾辞、および語根に基づく単語形成システムを持つ高度に膨張性のある言語です。単語は複数の形態を持つことがあり、同じ語根から派生することができます。アラビア語のテキストにはダイアクリティカルマークや母音がない場合があり、テキスト分析や機械学習のタスクの精度に影響を与えます。アラビア語の方言は地域によって大きく異なる場合があり、複数の方言のテキストを理解し生成できるモデルを構築することは非常に困難です。単語間の余計なスペースが必要なため、固有名詞認識（NER）は非常に困難です。NERはテキストの固有名詞を特定し、分類するNLPのタスクです。情報抽出、テキスト分析、言語理解において重要です。アラビア語NLPにおけるこれらの課題に対処するには、言語固有の特性に合わせた専門ツール、リソース、およびモデルの開発が必要です。シャージャ大学の研究者は、自然言語処理（NLP）に関連するアラビア語およびそのバリエーションを利用するための深層学習システムを開発しました。彼らのモデルは、他のAIベースのモデルと比較して、アラビア語のさまざまな方言の幅広いバリエーションをカバーしています。アラビア語NLPは、英語などの言語に比べてより頑健なリソースが必要です。これにはコーパス、ラベル付きデータ、および事前訓練モデルが含まれます。これらはNLPシステムの開発とトレーニングには不可欠です。この問題に対処するため、研究者はいくつかの異なるデータセットを統合して大規模で多様な方言のデータセットを構築しました。古典的な機械学習モデルや深層学習モデルなどのモデルは、これらのデータセットでトレーニングされました。これらのツールは、アラビア語のさまざまな方言を正確に識別し理解することで、チャットボットの性能を向上させ、より個別化されたかつ関連性のある応答を提供することができます。このチームの研究は、IBMやMicrosoftなどの主要なテック企業からも注目を集めており、障害を持つ人々の利便性を向上させることができます。特定の方言に基づいた音声認識システムは、障害を持つ人々にとってより正確な音声コマンド認識とサービスを可能にします。アラビア語NLPは、アラビア語を話す市場をターゲットにした機械翻訳やコンテンツのローカリゼーションなどの多言語およびクロスリンガルなアプリケーションでも使用することができます。

イノベーションを推進するための重要なツール：データレイクハウスにおけるジェネラティブAIの向上

LLMおよびジェネレーティブAIアプリの登場により、データは全エコシステムの中心的な要素となっています本記事では、データレイクハウスの上でAIアプリをサポートするツールについて議論します

「ベクターデータベースを使用してLLMアプリを作成する方法」

イントロダクション人工知能の領域では、OpenAIのGPT-4、AnthropicのClaude 2、MetaのLlama、Falcon、GoogleのPalmなど、Large Language Models（LLMs）やGenerative AIモデルが問題解決の方法を革新しています。LLMsはディープラーニングの技術を使用して、自然言語処理のタスクを実行します。この記事では、ベクトルデータベースを使用してLLMアプリを構築する方法を紹介します。おそらくAmazonの顧客サービスやFlipkartのDecision Assistantのようなチャットボットと対話したことがあるかもしれません。それらは人間に近いテキストを生成し、実際の会話と区別がつきにくいインタラクティブなユーザーエクスペリエンスを提供します。しかし、これらのLLMsは最適化する必要があります。特定のユースケースに対して非常に関連性が高く具体的な結果を生成するようにするためには。例えば、Amazonの顧客サービスアプリに「Androidアプリで言語を変更する方法は？」と尋ねた場合、正確にこのテキストでトレーニングされていないため、答えることができないかもしれません。ここでベクトルデータベースが助けになります。ベクトルデータベースは、ドメインのテキスト（この場合はヘルプドキュメント）と、注文履歴などを含むすべてのユーザーの過去のクエリを数値の埋め込みとして保存し、リアルタイムで似たようなベクトルの検索を提供します。この場合、このクエリを数値ベクトルにエンコードし、ベクトルデータベース内で類似のベクトルを検索し、最も近い隣人を見つけるために使用します。このようなヘルプを通じて、チャットボットはユーザーを正しくAmazonアプリの「言語設定の変更」セクションに案内できます。学習目標 LLMsの動作原理、制約、およびベクトルデータベースの必要性について学ぶ。埋め込みモデルの紹介と、アプリケーションでのエンコードと使用方法について学ぶ。ベクトルデータベースとそれがLLMアプリケーションアーキテクチャの一部である方法について学ぶ。ベクトルデータベースとTensorFlowを使用してLLM/Generative AIアプリケーションをコーディングする方法を学ぶ。この記事はデータサイエンスブログマラソンの一環として公開されました。 LLMsとは何ですか？ Large Language Models（LLMs）は、自然言語を処理し理解するためにディープラーニングアルゴリズムを使用する基本的な機械学習モデルです。これらのモデルは大量のテキストデータでトレーニングされ、言語のパターンやエンティティの関係を学習します。LLMsは、言語の翻訳、感情分析、チャットボットの会話などのさまざまなタイプの言語タスクを実行することができます。彼らは複雑なテキストデータを理解し、エンティティとそれらの間の関係を識別し、統率的で文法的に正確な新しいテキストを生成することができます。 LLMsについてもっと詳しく読む。 LLMsはどのように動作するのですか？ LLMsは大量のデータ（しばしばテラバイト、さらにはペタバイト）を使用してトレーニングされ、数十億または数兆のパラメータを持ち、ユーザーのプロンプトやクエリに基づいて関連する応答を予測および生成することができます。入力データをワード埋め込み、自己注意層、およびフィードフォワードネットワークを通じて処理し、意味のあるテキストを生成します。LLMアーキテクチャについてもっと読むことができます。 LLMsの制約 LLMsは非常に高い精度で応答を生成するように見えますが、多くの標準化テストでは人間を超える結果を示すことがありますが、それでもこれらのモデルには制約があります。まず第一に、彼らは自身のトレーニングデータに頼ることだけで推論を行い、データ内の特定の情報や現在の情報が欠けているかもしれません。これにより、モデルが誤ったまたは異常な応答を生成することがあります（「幻覚」とも言われます）。これを軽減するための取り組みが継続中です。第二に、モデルはユーザーの期待に合致するように振る舞ったり応答するとは限りません。…

Learn more about Search Results コーパス - Page 9