Search Results A

このAI論文は、RetNetとTransformerの融合であるRMTを紹介し、コンピュータビジョンの効率と精度の新しい時代を開拓しています

NLPにデビューした後、Transformerはコンピュータビジョンの領域に移され、特に効果的であることが証明されました。それに対して、NLPコミュニティでは最近、Transformerの代わりになりうるデザインであるRetentive Network（RetNet）に非常に興味を持っています。中国の研究者は、RetNetのコンセプトをビジョンに適用することによって同様に印象的なパフォーマンスが得られるのか疑問に思っています。この問題を解決するために、彼らはRetNetとTransformerのハイブリッドであるRMTを提案しています。RetNetの影響を受けたRMTは、ビジョンバックボーンに明示的な減衰を追加し、ビジョンモデルが空間距離に関する以前の知識を使用できるようにします。この距離に関連した空間事前知識により、各トークンの知覚帯域を正確に調整することが可能です。また、モデリングプロセスを画像の2つの座標軸に沿って分解することで、グローバルモデリングの計算コストを低下させる助けとなります。広範な実験により、RMTがさまざまなコンピュータビジョンのタスクで優れた成果を上げていることが示されました。たとえば、4.5G FLOPSのみで、RMTはImageNet-1kで84.1％のTop1-accを達成します。モデルがほぼ同じサイズであり、同じ技術を使用してトレーニングされている場合、RMTは常に最高のTop1-accを生み出します。オブジェクト検出、インスタンスセグメンテーション、意味論的セグメンテーションなどの下流のタスクでは、RMTは既存のビジョンバックボーンを大幅に上回ります。提案された戦略が機能することを示す広範な実験が行われており、研究者は主張を裏付けています。RMTは、最先端のモデルに比べて画像分類タスクで劇的に優れた結果を収めます。モデルは、オブジェクト検出やインスタンスセグメンテーションなどのさまざまなタスクで競合モデルを上回っています。以下の人々が貢献しています：研究者は、ビジョンモデルに距離に関する空間事前知識を取り入れ、Retentive Networkの主要プロセスである保持を2次元の設定にもたらしています。Retentive SelfAttention（ReSA）という名前の新しいメカニズムです。計算を簡素化するため、研究者はReSAを2つの画像軸に沿って分解しています。この分解戦略により、必要な計算努力を効率的に削減することができます。広範なテストにより、RMTの優れたパフォーマンスが証明されています。RMTは特にオブジェクト検出やインスタンスセグメンテーションなどの下流タスクで大きな利点を示しています。要するに、研究者たちはRetentive NetworkとVision Transformerを組み合わせたビジョンバックボーンであるRMTを提案しています。RMTでは、空間事前知識が距離に関連した明示的な減衰の形で視覚モデルに導入されます。頭字語ReSAは、改良されたメモリ保持の新しいプロセスを説明しています。RMTはまた、モデルを簡素化するためにReSAを2つの軸に分解する技術を使用しています。広範な実験により、RMTの効率性が確認されており、特にRMTはオブジェクト検出などの下流タスクで注目すべき利点を示しています。

ジェネラティブAIを通じた感情分析のマスタリング

イントロダクションセンチメント分析は、企業が顧客のフィードバックを理解し対応する方法を革新しました。顧客のセンチメント分析は、製品レビュー、チャットの記録、メール、コールセンターでの相互作用などの顧客のフィードバックを分析し、顧客を喜んでいる、中立的な意見を持つ、または不満を持つカテゴリーに分類します。この分類は、企業が顧客満足度を向上させるために、対応や戦略を調整するのに役立ちます。本記事では、センチメント分析と生成AIの融合について探求し、両方の分野の能力向上に果たす変革的な役割を明らかにします。学習目標：生成AIがセンチメント分析において果たす変革的な役割と、企業が顧客のフィードバックを解釈し対応する方法への影響を理解する。生成AIモデルの重要な要素としてのトークン化やデータ品質フィルタリングなど、データ処理技術の理解を深める。生成AIプロジェクトのライフサイクル、プロンプトエンジニアリング、センチメント分析の最適化のための設定パラメーターなどについて洞察を得る。 GPT-3.5 Turboのデモ環境の設定とAPIキーの作成のための実践的なヒントを得る。センチメント分析における生成AIの役割電子商取引の時代において、顧客のフィードバックは以前よりも豊富で多様です。製品やアプリのレビューは顧客のフィードバックの一般的な形式です。しかしこれらのレビューは、さまざまな言語で書かれており、絵文字が混ざっていたり、複数の言語が混在していたりすることがあり、標準化が重要です。言語翻訳は、多様なフィードバックを共通の言語に変換するためによく使用されます。 GPT-3.5などの生成AIモデルは、センチメント分析において重要な役割を果たしています。これらは、インターネットや書籍、Webスクレイピングなどのさまざまな情報源からのテキストを含む大規模なデータセットでトレーニングされた複雑なニューラルネットワークアーキテクチャに基づいています。これらのモデルは、トークン化によってテキストデータを数値形式に変換することができます。このトークン化は、さらなる処理には不可欠です。トークン化されたデータはノイズや関係のない情報を除去するデータ品質フィルタリングによってきれいにされます。興味深いことに、これらのモデルでは、元のトークンのごく一部しか使用されません（通常は1〜3%程度）。トークン化されたテキストは、ニューラルネットワーク内で効率的な数学演算（行列の乗算など）を可能にするためにベクトルに変換されます。生成AIモデルは、問題の範囲を定義し、適切なベースモデル（GPT-3.5など）を選択し、このモデルを特定のデータにどのように活用するかを決定するというプロジェクトライフサイクルを活用しています。このライフサイクルには、プロンプトエンジニアリング、ファインチューニング、人間のフィードバックとの調整、モデル評価、最適化、展開、スケーリング、アプリケーションの統合などが含まれます。生成AIプロジェクトライフサイクルの詳細生成AIプロジェクトのライフサイクルには、いくつかの重要なステップがあります：問題の範囲の定義：言語翻訳、テキスト要約、センチメント分析などのサブ問題に問題を分割する。ベースモデルの選択：既存のベース言語モデルとの作業を選択するか、カスタムモデルを事前トレーニングするかを選択する。カスタムモデルの事前トレーニングは、計算上の負荷がかかる場合があります。ベースモデルの使用：特定のデータに対してベースモデルをどのように活用するかを決定する。プロンプトエンジニアリングやファインチューニングを含むことが多いです。人間のフィードバックとの調整：モデルのパフォーマンスと精度を向上させるために人間のフィードバックを取り入れる。モデル評価：さまざまな指標を使用してモデルのパフォーマンスを評価する。最適化と展開：モデルを微調整し、実稼働環境にデプロイする。スケーリングと拡張：モデルの機能を拡張し、既存のアプリケーションと統合する。センチメント分析におけるプロンプトエンジニアリングとファインチューニングプロンプトエンジニアリングは、センチメント分析に生成AIを使用する際の重要な要素です。これは、AIモデルに対して指示やプロンプトを提供し、要求された応答を生成させることを含みます。プロンプトエンジニアリングには、主に3つの主要なタイプがあります：…

「OpenAIキーなしでPDFおよび記事のための強力なチャットアシスタントを作成する」

イントロダクション自然言語処理の世界は、特に大規模な言語モデルの登場により、膨大な拡大を遂げています。これらのモデルは、この分野を革新し、誰でも利用できるようにしました。この記事では、オープンソースライブラリを使用して、与えられた記事（またはPDF）を基に質問に応答できる強力なチャットアシスタントを作成するためのNLP（自然言語処理）のテクニックを探求し、実装していきます。OpenAIのAPIキーは必要ありません。この記事は、データサイエンスブログマラソンの一環として公開されています。ワークフローこのアプリケーションのワークフローは以下の通りです：ユーザーは、PDFファイルまたは記事のURLを提供し、質問を行います。このアプリケーションは、提供されたソースに基づいて質問に答えることを試みます。私たちは、PYPDF2ライブラリ（PDFファイルの場合）またはBeautifulSoup（記事のURLの場合）を使用してコンテンツを抽出します。次に、langchainライブラリのCharacterTextSplitterを使用して、それをチャンクに分割します。各チャンクに対して、all-MiniLM-L6-v2モデルを使用して、対応する単語埋め込みベクトルを計算します。このモデルは、文章や段落を384次元の密なベクトル空間にマッピングするためのものです（単語埋め込みは、単語/文章をベクトルとして表現する技術の一つです）。同じ技術がユーザーの質問にも適用されます。これらのベクトルは、sentence_transformersというPythonのフレームワークが提供する意味的検索関数に入力されます。sentence_transformersは、最先端の文、テキスト、画像埋め込みを行うためのフレームワークです。この関数は、答えを含む可能性があるテキストチャンクを返し、質問応答モデルは、semantic_searchとユーザーの質問の出力に基づいて最終的な答えを生成します。注意すべてのモデルは、HTTPリクエストのみを使用してAPI経由でアクセス可能です。コードはPythonを使用して書かれます。 FAQ-QNは、より詳細な情報についてはFAQセクションを参照することを示すキーワードです。実装このセクションでは、実装についてのみに焦点を当て、詳細はFAQセクションで提供されます。依存関係依存関係をダウンロードし、それらをインポートすることから始めます。 pip install -r requirements.txt numpytorchsentence-transformersrequestslangchainbeautifulsoup4PyPDF2 import…

「マイクロソフトのこのAI論文では、生物医学、ファイナンス、法律のパフォーマンス向上のため、人間の読解能力を模倣した言語モデルのトレーニングに新しいアプローチが紹介されています」

特定のドメインにおいて、汎用の大規模言語モデル（LLM）が飽和したため、ドメイン固有の大規模言語モデルが登場しました。既存の手法は3つの主要なカテゴリに分類することができます。最初の手法では、汎用のコーパスとドメイン固有のコーパスの組み合わせを使用してモデルをゼロから構築します。これによりドメイン固有のLLMが自然に生成されますが、大量の計算とデータが必要となり、深刻な問題が発生します。2番目の手法はより経済的であり、監督付きデータセットを使用して言語モデルを改善します。しかし、すべてのドメイン固有の活動に利用できるドメイン知識を適切に調整されたLLMがどれほど理解できるかが問題となります。3番目の手法では、回復したドメイン情報を用いて一般的な言語モデルに動機付けを与え、直接的な改善ではなくLLMそのものの応用と見なすことができます。マイクロソフトの研究者は、特定のドメインのコーパスに対してドメイン適応型の事前学習、またはドメイン固有の自然言語処理モデルをカスタマイズするための継続的な事前学習が有用であると考えています。ドメイン固有の知識と広範な能力を組み合わせることで、この手法はドメイン固有の活動に利益をもたらし、同時にコストを削減します。これは、継続的な事前学習が広範な生成モデルにとっても同様に有利かどうかを調査する彼らの研究を推進しています。バイオロジー、ファイナンス、法律の3つのドメインで予備実験を行い、生のコーパスへのさらなるトレーニングがプロンプトの性能を大幅に低下させつつ、微調整評価と知識探索テストに対する利益を維持することを発見しました。これにより、ドメイン適応型の生のコーパスを使用した事前学習は、LLMにドメインに関する知識を教える一方で、プロンプトの能力を損なう結果となります。図1は読解テキストの簡略な例を示しています。生のテキストの後には、サマリー（紫）、単語からテキスト（青）、自然言語推論（赤）、常識的な推論（青緑）、類似文検出（黄）、テキスト補完（緑）など、それに基づいて構築された複数のタスクが続きます。彼らは、大量の生のコーパスを読解テキストに変換するための明快なアプローチを提供し、ドメイン固有の知識を利用してプロンプトの性能を向上させます。図1に示されているように、各生のテキストには、トピックに関連するいくつかのタスクが付属しています。これらの演習は、元のテキストのコンテキストに応じて、モデルが自然言語でのクエリに対応する能力を継続的にサポートすることを目的としています。さらにプロンプト能力を向上させるために、彼らは読解テキストに対してさまざまな一般的な指示を提供します。彼らのバイオロジー、経済学、法律におけるテストは、彼らの手法がさまざまなドメイン固有のタスクにおけるモデルの性能をどれほど向上させるかを示しています。彼らは最終モデルをAdapted Large Language Model（AdaptLLM）と呼びます。将来的には、このプロセスを拡大し、新たなドメイン全体のジョブの拡大するキャンバスに追加することを計画しています。結論として、彼らの貢献は次のとおりです：・大規模言語モデルに対する継続的な事前学習に関する調査において、ドメイン固有の生のコーパスでモデルをトレーニングを続けることにより、ドメイン知識を提供する一方で、プロンプトの能力が著しく低下することが分かりました。・プロンプトの能力を維持しながらドメイン知識を効率的に学ぶために、彼らは大規模な生のコーパスを読解テキストに自動的に変換する明快な手法を提案します。彼らのテストは、バイオロジー、ファイナンス、法律の3つの異なる分野でモデルのパフォーマンスを定期的に向上させることを示しています。

「ウィキペディアの知識を持つエージェントを備えたLLaMa 2を作成する」

大規模言語モデル（LLMs）は、AIの最新トレンドの一つですこれらは、人間との会話を行う能力を含む、印象的なテキスト生成能力を示しています...

「さて、あなたはあなたの RAG パイプラインを改善したいと思っているのですね」

RAGは情報を選択し、それを利用してパフォーマンスを向上させますRAGパイプラインとLlamaIndexを使用して、正確な応答のためにLLMを向上させる方法を学びましょう

NVIDIAの創設者兼CEO、ジェンセン・ファンが、NVIDIAがもたらした兆ドル規模のビジョンの創造の舞台となったデニーズに戻ってきました

グランドスラムについて話してみましょう。火曜日、Denny’sのCEOであるケリー・ヴァラデ氏とNVIDIAのCEOであるジェンソン・ホアン氏が、NVIDIAの創業者たちがパーソナルコンピュータ上でリアルな3Dグラフィックスを可能にするチップのアイデアを考案したシリコンバレーのDenny’sで、記念プラークを披露しました。「ここはアイデアの燃料補給所です。あなたの物語はとてもインスピレーションを与えるものであり、それはDenny’sでの人々に引き続きインスピレーションを与えるでしょう」とヴァラデ氏がホアン氏にプラークを手渡す際に述べました。「Denny’sは私にたくさんの教訓を与えてくれました」とホアン氏は言いました。両社のCEOはともに飲食店で働いてキャリアをスタートさせました。ヴァラデ氏は16歳の時にウェイトレスとして初めての仕事を飲食店で得ました。ホアン氏は15歳の時にポートランドのDenny’sで最初の仕事を得ました。「皿洗い、バスボーイ、ウェイトレスをやっていました」とホアン氏は言いました。「コーヒーカップを持って歩けるのは私しかいません」。より多くの素晴らしいアイデアを生み出すため、ヴァラデ氏はDenny’sトリリオンダラーインキュベーターコンテストを発表しました。このコンテストでは、創造的かつ革新的なアイデアを持つ人に対して、次の1兆ドルのアイデアに対して25,000ドルの資金を提供しています。このコンテストは、世界に影響を与える可能性のある創造的で革新的なアイデアを持つ人なら誰でも応募できます。ただし条件があります。アイデアは、NVIDIAのようにDenny’sのブースで生まれなければなりません。加速計算とAI分野でリーディングなNVIDIAは、その看板商品であるグランドスラム朝食セットなどで知られる24時間営業のダイナーチェーンでスタートしました。 1993年、ホアン氏、クリス・マラコウスキー、カーティス・プリエムの3人の友人が、パーソナルコンピュータ上でリアルな3Dグラフィックスを可能にするチップの作成をDenny’sで話し合いました。シリコンバレーの中心部にある交通の賑わう道路に近いこのDenny’sは、ビジネスを始めるのに最適な場所でした。当時、ホアン氏は妻と子供たちと一緒に近くで暮らしていました。「ここでは飲むだけのコーヒーがたくさんあり、誰にも追い出されないんですよ」とホアン氏がヴァラデ氏に語りました。火曜日のイベントは、北カリフォルニアで最も人気のあるDenny’sの一角、賑やかなレストラン内で行われました。家族や定年退職者、夜勤明けの労働者たちが卵やパンケーキ、ソーセージやベーコンが山盛りの皿を求めて押し寄せました。ホアン氏もその中にいて、会議の初めに、彼と一緒のテーブルでLumberjack Slam、Moons Over My Hammy、およびSuper Birdサンドイッチを堪能し、たくさんのコーヒーを飲んで1日をスタートさせました。ホアン氏は子供の頃に台湾からアメリカに移民した家族と一緒に最初のハンバーガーをDenny’sで食べたとヴァラデ氏に話しました。「ここで一番おいしいパンケーキを作っています」とホアン氏は言いました。「私たち」とヴァラデ氏が言いました。「毎日新鮮に作ります」とホアン氏は笑顔で付け加えました。ヴァラデ氏とホアン氏は、Denny’sは素晴らしいアイデアだけでなく、素晴らしいキャリアの発展の起点になる可能性があると述べました。「飲食業界で最初の仕事を始めましょう」とホアン氏は言いました。「それは謙虚さを教えてくれますし、努力を教えてくれます。そして、おもてなしの心を教えてくれます」。…

Corporate

Learn more about Search Results A - Page 188

このAI論文は、RetNetとTransformerの融合であるRMTを紹介し、コンピュータビジョンの効率と精度の新しい時代を開拓しています

ジェネラティブAIを通じた感情分析のマスタリング

「OpenAIキーなしでPDFおよび記事のための強力なチャットアシスタントを作成する」

「マイクロソフトのこのAI論文では、生物医学、ファイナンス、法律のパフォーマンス向上のため、人間の読解能力を模倣した言語モデルのトレーニングに新しいアプローチが紹介されています」

「ウィキペディアの知識を持つエージェントを備えたLLaMa 2を作成する」

「さて、あなたはあなたの RAG パイプラインを改善したいと思っているのですね」

NVIDIAの創設者兼CEO、ジェンセン・ファンが、NVIDIAがもたらした兆ドル規模のビジョンの創造の舞台となったデニーズに戻ってきました

アマゾンは、革新的なAIスタートアップのAnthropicに最大40億ドルの投資を計画しています

「LangChain、Google Maps API、Gradioを使用してスマートな旅行スケジュール案内ツールを作る（パート1）」

検索の未来：ChatGPT、音声検索、画像検索がデジタルランドスケープを革新している方法

Find the right Blockchain Investment for you