Search Results A

GradientTapeを使用したTensorFlowモデルトレーニング

TensorFlowは、深層学習においておそらく最も人気のあるライブラリです私はこれまでにTensorFlowに関する数多くのチュートリアルを書きましたし、今でも継続していますTensorFlowは非常に整理されていて使いやすいパッケージであり、...

生物学的に関連するあらゆる種類の分子を扱うための新しいAIによるタンパク質構造予測手法

複雑な三次元構造を高い精度で予測することは、AlphaFold2やそれに続く他のディープラーニングネットワークのおかげで、もはや夢ではありませんしかし、タンパク質に関しては...

「B2B企業におけるAIを活用した顧客セグメンテーションの実現：ロードマップ」

North Carolinaを拠点とするIngersoll Randは、世界有数の複合企業の1つです同社は、圧縮空気システム、HVACソリューション、科学研究所や貨物輸送企業など多様な産業に対応する最先端の技術製品など、複数の事業ラインを誇っていますまた、175以上の国々に展開し、主に […] で営業活動を行っています

LLama Indexを使用してRAGパイプラインを構築する

イントロダクション最も人気のある大規模言語モデル（LLM）の応用の一つは、カスタムデータセットに関する質問に回答することです。ChatGPTやBardなどのLLMは、優れたコミュニケーターであり、彼らが訓練されたものに関してはほとんど何でも答えることができます。これはLLMの最大のボトルネックの一つでもあります。彼らはモデルの訓練中に見た質問にしか答えられません。言語モデルは世界の知識に制限があります。例えば、Chatgptは2021年までのデータを利用して訓練されています。また、GPTはあなたの個人ファイルについて学ぶ方法はありません。では、モデルにまだ持っていない知識をどのようにして認識させることができるでしょうか？その答えが「検索補完生成パイプライン（RAG）」です。この記事では、RAG（検索補完生成）パイプラインについて学び、LLamaインデックスを使用してそれを構築する方法について説明します。学習目標 RAG（検索補完生成）とは何か、またいつ使用するべきかを探求する。 RAGの異なるコンポーネントについて簡単に理解する。 Llamaインデックスについて学び、PDFのためのシンプルなRAGパイプラインを構築する方法を理解する。埋め込みとベクトルデータベースとは何か、またLlamaインデックスの組み込みモジュールを使用してPDFから知識ベースを構築する方法を学ぶ。 RAGベースのアプリケーションの実世界での使用例を発見する。この記事はData Science Blogathonの一環として公開されました。 RAGとは何ですか？ LLMは、これまでのところ最も効率的かつ強力なNLPモデルです。翻訳、エッセイの執筆、一般的な質問応答の分野でLLMの潜在能力を見てきました。しかし、特定のドメインに特化した質問応答においては、彼らは幻覚に苦しんでいます。また、ドメイン固有のQAアプリでは、クエリごとに関連する文脈を持つドキュメントはわずかです。したがって、ドキュメントの抽出から回答生成、およびその間のすべてのプロセスを統合する統一されたシステムが必要です。このプロセスは「検索補完生成」と呼ばれています。詳しくはこちらを参照：AIにおける検索補完生成（RAG）では、なぜRAGが実世界の特定のドメインに特化したQAアプリケーションの構築に最も効果的なのかを理解しましょう。なぜRAGを使用すべきか？ LLMが新しいデータを学ぶ方法は3つあります。トレーニング：兆個のトークンと数十億のパラメータを持つニューラルネットワークの大規模なメッシュが使用されて、大規模言語モデルを作成するために訓練されます。ディープラーニングモデルのパラメータは、特定のモデルに関するすべての情報を保持する係数または重みです。GPT-4のようなモデルを訓練するには、数億ドルがかかります。この方法は誰にでも容易にはできません。このような巨大なモデルを新しいデータで再訓練することは実現不可能です。ファインチューニング：別のオプションとして、既存のデータに対してモデルをファインチューニングすることが考えられます。ファインチューニングは、トレーニング中に事前に訓練されたモデルを起点として使用することを意味します。事前に訓練されたモデルの知識を利用して、異なるデータセット上で新たなモデルを訓練します。これは非常に強力ですが、時間とお金の面で高コストです。特別な要件がない限り、ファインチューニングは意味がありません。プロンプティング：プロンプティングは、LLMのコンテキストウィンドウ内に新しい情報を適応させ、提示された情報からクエリに回答させる方法です。これは、訓練やファインチューニングで学んだ知識ほど効果的ではありませんが、ドキュメントの質問応答など多くの実世界のユースケースには十分です。テキストドキュメントからの回答を促すことは効果的ですが、これらのドキュメントはしばしばLarge Language Models（LLM）のコンテキストウィンドウよりもはるかに大きくなるため、課題を提起します。リトリーバルオーグメンテッドジェネレーション（RAG）パイプラインは、関連するドキュメントセクションの処理、保存、および検索を行うことで、LLMが効率的にクエリに答えることができるようにします。それでは、RAGパイプラインの重要なコンポーネントについて議論しましょう。 RAGコンポーネントとは何ですか？…

AudioSep 記述するすべてを分離する

Note I have retained the acronym CASA as it is commonly known in the field. However, if you'd like a translation for Computational Auditory…

「MozillaがFirefoxに偽レビューチェッカーAIツールを導入」

オンラインショッピングの広大な景色の中で、本物の製品レビューを捉えることはますます困難な課題となっています。消費者は特定の意見に本当に頼ることができるかどうかを疑問に思い、購買の決定に不確実性が漂っています。この重要な懸念に対処するため、MozillaのFirefoxは、ブラウザにレビューチェッカーを統合するという画期的な一歩を踏み出し、オンラインショッピング体験を革新することになりました。既存のソリューションもこの問題に対処しようと試みており、Fakespotなどのブラウザ拡張機能が先頭を切っています。Fakespotは、詐欺的なオンラインレビューを検出するために設計された特殊なツールであり、Mozillaによって5月に買収されました。現在はAmazon、Walmart、eBay、Yelp、TripAdvisorなどの主要プラットフォームで機能し、AからFまでのグレーディングシステムを採用しています。 Aのグレードは完全に信頼できるレビューを持つ製品を示し、Bのグレードは信頼できるレビューの大部分を示しています。 Cのグレードは信頼性と信頼性の低いフィードバックのバランスが取れたミックスを示し、DとFのグレードは信頼性の低いレビューを主に持つ製品を示します。なお、低いグレードは製品やサービス自体の品質を必ずしも反映しておらず、レビューの信頼性を示しています。Fakespotは特定の詐欺的なレビューを特定するのではなく、製品全体に総合的なスコアを割り当てます。グレードが低いほど、レビューが不正確である可能性が高くなります。この重要なツールはFirefoxにシームレスに統合される予定であり、ユーザーにはレビューの信頼性を評価するための固有の手段が提供されます。この機能は現在テスト中であり、11月から最初にAmazon、Best Buy、Walmartで広く利用可能になる予定であり、その後も追加のサイトが続々と追加される予定です。 Fakespotの効果的な点は、人工知能の活用にあります。さまざまなデータポイントを分析し、複数のテストを行うことで、Fakespotはレビューの信頼性を判断します。Fakespotのアルゴリズムの具体的な詳細は操作を防止するために開示されていませんが、レビューが本物の顧客によって残されたものかどうかが重要な要素です。この革新は、レビューが消費者の意思決定に重要な役割を果たすオンラインショッピングの領域で普及している問題に対処します。たとえば、Googleはレビューを活用して商品を推奨し、企業が主導権を争う中でしばしば操作が行われます。最近の調査は、フェイクレビューの流行の深刻さを浮き彫りにし、オンラインで詐欺的なフィードバックに遭遇したショッパーの80％以上がそれを経験したことを明らかにしました。18歳から34歳の層では、この数字が驚くべき92％に急増しています。AIを活用した洗練されたアプローチを持つFakespotは、この普遍的な問題に対する強力な解決策として立ち上がっています。まとめると、FakespotのFirefoxへの統合は、オンラインショッピングにおけるフェイクレビューの広がりに対抗するための画期的な進歩を表しています。この巧妙なツールはAIの力を活用して、ユーザーに信頼できる製品を評価する手段を提供します。主要なeコマースプラットフォームで広く利用できるFakespotは、デジタルマーケットプレイスを航行する消費者にとって欠かせない味方となることで、オンラインショッピングに自信と透明性の時代をもたらすことになります。フェイクレビューに対する戦いにFirefoxという強力な味方が加わることで、消費者はついに保証を持ってショッピングを楽しむことができ、情報を元に正しい選択をすることができるようになります。投稿元：Mozilla Brings a Fake Review Checker AI Tool to Firefox（MarkTechPostより）。

ChatGPT vs. BARD’の比較

大きな言語モデル（LLM）は、私たちが情報を処理し生産する方法を変革していますただし、これらのモデルを一つの解決策として考える前に、その主な違いを考慮する必要があります

language models

プリンストンの研究者が、構造化プルーニングを介した言語モデルの事前トレーニングの加速のためのシャアドLLaMAモデルを紹介します

“` 大型言語モデル（LLM）は、多様な自然言語タスクにおける優れた能力により、非常に人気が高まっています。彼らは急速に成長していますが、これらのモデルを訓練するために必要な巨大な計算リソースは大きな欠点です。その結果、LLaMA、MPT、Falconなどのよりコンパクトで効果的なLLM（Voice-operated Artificial General Intelligence）サイズのモデルの需要が高まっています。これらのモデルは、効果的な推論と微調整を提供することで、さまざまなユースケースをサポートすることを意図しています。しかし、最小の数十億パラメータLLMすら最初から訓練することは、多くの組織にとって計算リソースの観点から非常に高価です。研究者たちは以前から、中程度の大きさのLLaMAのような大型言語モデル（LLM）よりも小さな言語モデルが同じぐらい強力であることを示してきました。これらのモデルは、訓練にはかなりの処理能力が必要な大規模なLLMに代わるより効果的な代替手段と考えられています。最近の研究では、研究チームが、大きな事前訓練済みモデルを小さなLLMに圧縮する際に成功した技術である構造化プルーニングの有用性を調査しました。この手法は、以下の2つの基本的な戦略を利用します。ターゲット指向の構造化プルーニング：この技術は、より大きな言語モデルからレイヤー、ヘッド、中間、隠れた次元を体系的に削除して、目標の構成に調整します。この手順は始めから終わりまで実行されるため、モデルの一貫性と機能が保たれます。重要な言語理解能力を損なうことなく、モデルを最適化します。ダイナミックバッチローディング：この手法は、異なるドメインの損失レベルに応じて、各バッチ内でトレーニングデータの構成を変更します。モデルは、パフォーマンスが十分に発揮されていないタスクやドメインにより集中するように、各バッチで使用されるデータサンプルを動的に変更します。この方法により、モデルは効果的にパフォーマンスを調整し、全体的な効率を向上させることができます。 Sheared-LLaMA-1.3BとSheared-LLaMA-2.7Bは、LLaMA2-7Bモデルのプルーニングから作成されたより小さいLLMであり、この提案された手法がどれだけ効果的であるかを示しています。このトリミング手法は、訓練セットの500億トークン、またはOpenLLaMAの事前訓練予算の5%しか消費しません。これらの欠点にもかかわらず、Sheared-LLaMA-1.3BとSheared-LLaMA-2.7Bは、Pythia、INCITE、OpenLLaMAなどの同様のスケールの他の有名なLLMよりも、11の典型的な下流のタスクでより良いパフォーマンスを示します。これらのタスクは、オープンエンドの生成のための命令チューニング、読解力、常識の理解、世界知識など、さまざまなトピックについて対応しています。枝切りモデルの性能トラジェクトリーに基づくと、より多くのトークンでの追加トレーニングもさらなる利益の増大につながる可能性があります。現在の研究の試験は、最大7,000,000,000パラメータを持つモデルに限定されていますが、LLM枝切り技術は高い一般化可能性を備え、将来の調査では任意の大きさの大型言語モデルを含むことができます。要するに、LLM枝切りは、ダイナミックバッチローディングと重点的な構造化プルーニングを活用したLLMのサイズ削減の包括的なアプローチを提供します。同等のサイズのモデルよりも多様な下流のタスクで優れたパフォーマンスを発揮するSheared-LaMAモデルの構築は、それの効果を実証しています。この手法は、より効果的かつ経済的な小さなが強力なLLMを開発する方法を示し、様々なモデルサイズに利用できます。 “`

ダリー3がChatGPTの統合を持ってここに登場しました

「OpenAIの新しい画像生成モデルDALL·E 3がどのように限界を em>普及可能にするかを掘り下げてみて、画像生成がよりアクセス可能になる様子をご覧ください」(OpenAIの新しい画像生成モデルDALL·E 3がどのように限界を広げているかを調べ、画像生成のアクセス性が高まっている様子を見てみましょう)

Artificial Intelligence

スタンフォード大学とマイクロソフトの研究者が自己向上型AIを紹介：GPT-4を活用して足場プログラムのパフォーマンスを向上させる

ほぼすべての目標は、自然言語で説明される場合には、言語モデルのクエリによって最適化されることができます。ただし、プログラムは、言語モデルへのいくつかの組織された呼び出しを行うことによって、より高い目的関数値を提供することがあります。これらを「足場付き」プログラムと呼び、それらは一般的に（人々によって）Pythonなどのコンピュータ言語を使用して作成されます。彼らの主な発見は、足場付きプログラムの設計は、最適化問題と言語モデルにわたる任意の分布において最適化の問題です。Microsoft ResearchとStanford Universityの研究者は、この論文で、自己教育最適化プログラム（STOP）と呼ばれる技術を説明し、再帰的にコードを適用することで、与えられたソリューションを改善することができるようにする方法を説明しています。彼らの方法では、言語モデルを使用して次の課題への応答を向上させるために言語モデルを使用する初期のシード「改善者」足場付きプログラムから始まります。システムが反復するにつれて、モデルはこの改善者プログラムを改善します。彼らの自己最適化アーキテクチャの有効性を測定するために、彼らは限られた選択の下流アルゴリズムタスクを適用します。その結果、モデルは自己改善の技術を使用してより多くの反復を実行するにつれて改善されることが示されます。STOPは、言語モデルがこのような方法でメタ最適化器として機能する方法を示しています。さらに、モデルが提案する自己改善の戦術の種類、および推奨される戦略が下流タスクにどれだけうまく翻訳されるか、モデルが危険な自己改善技術に対して脆弱性を持つかについて、彼らは分析しています。図1: ここにはGPT-4が提案して使用される自己改善技術の例が示されています。足場を含む任意のコードは、それぞれの足場として各技術を使用して改訂されます。この問題は、基礎となる言語モデルが変更されないため、再帰的に自己改善するコード生成として知られており、ただし、完全に再帰的自己改善（RSI）システムではありません。RSIの概念が形式化されたのは少なくとも50年前のことですが、その試みは一般的により優れたシステムを作成し、モデルが自身のコードのすべての部分を改善できるという前提に基づいていました。彼らの研究は、その方向への控えめな進歩であり、反復的に呼び出される足場の向上能力のみを考慮しています。この研究で、RSIコード生成の問題は数学的に定義されています。そして、彼らはRSIコード生成の可能な使用例を示すためにSTOPを作成して評価します。さまざまな下流タスクで改善が示されています。2021年までのデータでトレーニングされたGPT-4言語モデルを使用する場合、図1はSTOPが提供するいくつかの興味深く有用な足場を示しています。さらに、モデルがどのように頻繁にサンドボックスフラグをオフにしようとするかを追跡する追加のテストも行われています。最後に、このような技術の倫理的な開発に関する問題に取り組んでいます。この研究の主な貢献は次のとおりです：足場システムが再帰的に自己改善するメタ最適化戦略の策定このシステムが現代の言語モデル（特にGPT-4）を使用して再帰的に自己改善できることを示すことモデルが提案および実装した自己改善技術、およびモデルがサンドボックスなどの安全対策をどのように回避するかについて調査すること

Learn more about Search Results A - Page 151