Search Results 同期

CoDiに会おう：任意対任意合成のための新しいクロスモーダル拡散モデル

ここ数年、テキストからテキスト、画像、音声など、別の情報を生成する堅牢なクロスモーダルモデルが注目されています。注目すべき例としては、入力プロンプトによって期待される結果を説明することで、素晴らしい画像を生成できるStable Diffusionがあります。実際にリアルな結果を出すにもかかわらず、これらのモデルは複数のモダリティが共存し相互作用する場合には実用上の制限があります。たとえば、「かわいい子犬が革製のソファで寝ている」というテキストの説明から画像を生成したいとしましょう。しかしそれだけでは不十分です。テキストから画像へのモデルから出力画像を受け取った後、子犬がソファで鼾をかいているという状況にどのような音がするかも聞きたいと思うでしょう。この場合、テキストまたは出力された画像を音に変換する別のモデルが必要になります。したがって、多数の特定の生成モデルをマルチステップの生成シナリオで接続することは可能ですが、このアプローチは手間がかかり遅くなる可能性があります。また、独立して生成された単一のストリームは、ビデオとオーディオを同期させるように、後処理的な方法で組み合わせた場合に一貫性とアラインメントが欠けることがあります。包括的かつ多目的なany-to-anyモデルは、一貫したビデオ、オーディオ、およびテキストの説明を同時に生成し、全体的な体験を向上させ、必要な時間を減らすことができます。この目標を達成するため、Composable Diffusion（CoDi）が開発され、任意のモダリティの組み合わせを同時に処理し生成することができるようになりました。アーキテクチャの概要は以下に示されています。 https://arxiv.org/abs/2305.11846 任意のモダリティの混合物を処理し、さまざまな出力の組み合わせを柔軟に生成するモデルをトレーニングすることは、大きな計算量とデータ要件を必要とします。これは、入力と出力のモダリティの可能性の指数関数的な成長に起因します。さらに、多数のモダリティグループの整列されたトレーニングデータを取得することは非常に限られており、存在しないため、すべての可能な入力-出力の組み合わせを使用してモデルをトレーニングすることは不可能です。この課題に対処するために、入力条件付けと生成散布ステップで複数のモダリティを整列させる戦略が提案されています。さらに、対照的な学習のための「ブリッジアライメント」戦略を導入することで、指数関数的な入力-出力の組み合わせを線形数のトレーニング目的で効率的にモデル化できます。高品質な生成を維持し、任意の組み合わせを生成する能力を持ったモデルを実現するには、多様なデータリソースを活用した包括的なモデル設計とトレーニングアプローチが必要です。研究者たちは、CoDiを構築するために統合的なアプローチを採用しました。まず、テキスト、画像、ビデオ、音声など、各モダリティのために潜在的な散乱モデル（LDM）をトレーニングします。これらのLDMは、利用可能なモダリティ固有のトレーニングデータを使用して、各個別のモダリティの優れた生成品質を保証するために独立して並列にトレーニングできます。このデータには、1つ以上のモダリティを持つ入力と出力モダリティが含まれます。音声や言語のプロンプトを使用して画像を生成するなど、モダリティの組み合わせが関わる条件付きクロスモダリティ生成の場合、入力モダリティは共有特徴空間に投影されます。このマルチモーダル調整メカニズムにより、特定の設定の直接トレーニングを必要とせずに、CoDiは任意のモダリティまたはモダリティの組み合わせに対して条件を付けることができます。出力LDMは、結合された入力特徴に注意を払い、クロスモダリティ生成を可能にします。このアプローチにより、CoDiはさまざまなモダリティの組み合わせを効果的に処理し、高品質な出力を生成することができます。 CoDiのトレーニングの第2段階は、多数の多対多生成戦略を処理できるモデルの能力を促進し、異なるLDMからの潜在変数を共有潜在空間に投影する環境エンコーダVと、各散布器にクロスアテンションモジュールを導入することで実現されます。現在の知識の範囲では、CoDiはこの能力を持つ最初のAIモデルとして立ち上がっています。このステージでは、LDMのパラメーターは固定され、クロスアテンションパラメーターとVのみがトレーニングされます。環境エンコーダーが異なるモダリティの表現を整列させるため、LDMはVを使用して出力表現を補間することで、任意の共同生成モダリティのセットとクロスアテンドできます。このシームレスな統合により、CoDiは可能な生成組み合わせすべてでトレーニングする必要がなく、任意のモダリティの任意の組み合わせを生成できます。その結果、トレーニング目的の数は指数関数から線形関数に削減され、トレーニングプロセスの効率が大幅に向上します。モデルによって生成されたいくつかの出力サンプルは、各生成タスクについて以下に報告されています。 https://arxiv.org/abs/2305.11846 これがCoDiの概要であり、最先端の品質を持つ任意の生成に対する効率的なクロスモーダル生成モデルです。興味がある場合は、以下のリンクでこの技術について詳しく学ぶことができます。

2023年に知っておくべきトップ10のパワフルなデータモデリングツール

イントロダクションデータ駆動型の意思決定の時代において、競争力を維持するために正確なデータモデリングツールを持つことは企業にとって不可欠です。新しい開発者として、堅牢なデータモデリングの基礎は、データベースを効果的に扱うために重要です。適切に構成されたデータ構造は、スムーズなワークフローを確保し、データの損失や誤配置を防止します。大規模で複雑なタスクに取り組むために、データモデリングツールを利用することがますます重要になっています。これらのツールは時間を節約するだけでなく、データモデリングのプロセスを簡素化することができます。トランスフォーメーションに寄与するトップ10のデータモデリングツールを発見してください。効率性を求める経験豊富なプロフェッショナルから、ユーザーフレンドリーなソリューションを求める初心者まで、あなたのニーズに合わせて提供します。データの真のポテンシャルを引き出し、自信を持って賢い決定をする旅に出ましょう！データモデリングツールとは何ですか？データモデルは、UML図を使用してしばしば視覚的にデータ仕様を表します。データはSQLまたはNoSQLデータベースに格納され、データモデリングにはどの情報を収集し、どのように格納するかを決定することが含まれます。データモデリングツールは、データモデリングプロセスを効率化するために使用されます。これらのツールは、データとその複数のモデル層との間のギャップを埋めます。これらのツールは、既存のデータベースをリバースエンジニアリングし、スキーマとモデルを比較およびマージし、自動的にデータベーススキーマまたはDTDを生成することができます。効果的なデータモデリングソフトウェアは、魅力的な視覚的表現とデータベースとのシームレスな統合を提供します。ユーザーフレンドリーなデータモデリングツールは、概念的なデータモデリングをよりアクセスしやすくします。データモデリングツールを選ぶ際に考慮すべきことは何ですか？データモデリングツールを選ぶ際には、特定のニーズを決定することが重要です。必須要件と望ましい要件を分類し、後者を優先させます。この決定は長期的な影響を持つ可能性があるため、組織内のさまざまな視点からの意見を考慮してください。すべてのデータモデリングツールが物理モデルと論理モデルの作成、リバースエンジニアリング、およびフォワードエンジニアリングなどの基本的なタスクを処理できますが、追加の要因も考慮する必要があります。これには、チームベースのモデリング機能、バージョニング、図のカスタマイズオプション、モデルリポジトリの機能、概念的なデータモデルのサポート、エンタープライズメタデータリポジトリとの統合、および異なるモデルレベル（概念的、論理的、物理的）にわたるオブジェクトラインの維持のためのデータ合理化が含まれます。これらの要因は、あなたのデータモデリングニーズについての情報を提供し、適切な選択をするのに役立ちます。トップ10のデータモデリングツール 1. ER/Studio Embarcadero Technologiesが開発したER/Studioは、データアーキテクト、モデラー、DBA、ビジネスアナリストにとって有用であり、データベース設計とデータ再利用を管理するために役立ちます。ツールによって、データベースコードを自動的に生成することができます。属性と定義の完全なドキュメントを備えたツールは、ビジネスコンセプトをモデリングするのに役立ちます。特徴論理モデルと物理モデルの両方をサポートツールによって、新しいデータベースの変更に対する影響分析が実施されます。自動化とスクリプトのサポートサポートされるプレゼンテーションファイルの種類には、HTML、PNG、JPEG、RTF、XML、Schema、DTDが含まれます。 ER/Studioによって、モデルとデータベースの一貫性が保証されます。価格…

Pythonの依存関係管理：どのツールを選ぶべきですか？

あなたのデータサイエンスプロジェクトが拡大するにつれて、依存関係の数も増えますプロジェクトの環境を再現可能かつメンテナンス可能に保つために、効率的な依存関係を使用することが重要です...

AIによる光通信の加速化

通信効率の向上は、光フォトニクス技術を人工知能に導入するのに役立ちます

2023年の製品マネージャーにとって最高のAIツール

AI市場の急速な拡大は、製品マネージャーの生産性向上に加えて、新しい職種の出現を促進する可能性があることに多くの人々が驚嘆しています。しかし、数千ものツールがアクセス可能で、毎週さらに多くのツールが登場すると、圧倒されてしまうことが簡単です。 ClickUp ClickUpは、あらゆる規模やセクターのチーム間のコミュニケーションを促進するオールインワンのプロジェクト管理ツールです。製品の作成や計画などのタスクに対して、使いやすく、適応性が高いため、製品管理の解決策として、ClickUpは主要な位置を占めています。多数のプレメイドの製品チームテンプレートを備えた高度に柔軟なプラットフォームであり、ClickUpの適応性と有用なツールにより、どのチームでもプラットフォームを自分たちのニーズやワークフローのニュアンスに合わせてカスタマイズできます。 Jam JamGPTは、製品マネージャーが問題を理解し、エンジニアリングチームに伝えることができる潜在的な修正箇所を見つけるのを支援する最新のAIツールです。生産性が向上し、技術的な議論にアクセスできるようになります。製品マネージャーが非技術的な背景でもコンテキストを提供できるJamGPTの容量は、各レベルでの機能の展開を容易にするものです。ClickUp、Slack、またはGithubなどのプロジェクト管理ツールに、インテリジェントなAIアシスタントと主要なバグレポート機能で収集された貴重なデータを統合することで、製品の改善の共有と作業がスムーズになります。 Motion Motionは、AIを利用して、ミーティング、タスク、プロジェクトを考慮した日々のスケジュールを作成する賢明なツールです。計画の手間を省いて、より生産的な生活を始めましょう。 ChatGPT ほとんどの質問に適切な回答を提供することで、検索エンジンクエリーよりも優れた体験を製品マネージャーに提供することで、ChatGPTは最も人気のある自然言語処理（NLP）ツールの1つになりました。製品マネージャーが行ったテストでは、結果は彼らが尋ねた質問に敏感であることが示されました。 ChatGPTの適応性は、主要なセールスポイントです。製品の成長、顧客サービスなどを向上させるためにユニークな質問に回答することができます。製品マネージャーにとって役立つため、提出されたデータを分析して顧客の痛点を特定し、次に開発する製品のアイデアを提供し、感情分析を実行することができます。 Canva Canvaの無料の画像ジェネレーターは、製品マネージャーの日々の業務にどれだけ役立つかを簡単に確認できます。ステークホルダーミーティング、製品ローンチなどでプレゼンテーションやデッキに使用する適切なビジュアルを見つけることは常に難しかったです。しばしば、望むものを明確に心に描いているのに、利用可能なストック写真を修正する必要があります。CanvaのAI駆動エディタを使用すると、トピックをブレインストーミングし、入力に基づいて理想のビジュアルを見つけるための検索結果を微調整できます。 TLDV 正直に言いますと、製品マネージャーとしてのあなたの時間の多くはミーティングに費やされます。ステークホルダーに新しい製品機能を提示したり、エンジニアリングチームにそれを販売しようとしたりする場合には、強力なプレゼンテーションが不可欠です。TLDVは、ミーティングのノートを取り、それらを箇条書きにまとめて、より生産的になるためのAIプログラムです。ユーザーとのインタビューで最大限に活用するには、ノートを取ることに心を配る必要があります。TLDVは、そのような問題を解決します。 Notion 最も人気のあるノートアプリの1つであるNotionは、最新のAI機能でアップグレードされました。これにより、製品マネージャーは、ビジネスウィキや製品ロードマップを確立するための能力の高い人工知能の支援を受け、コミュニケーションを改善し、要約などの繰り返しの作業にかかる時間を削減することができます。 Otter.AI Otter.aiは、会議や議論を正確に記録し、転写するAI駆動プラットフォームです。AIを活用して、会話を瞬時に転写し、検索可能でアクセス可能で暗号化されたメモを簡単に共有できるようにします。 Otterは、自動的にZoom、Microsoft Teams、Google Meetミーティングに参加して録音することができます。キーポイントが強調され、タスクが割り当てられ、簡単に共有および呼び出せる要約が生成されます。ビジネス、教育、個人設定のユーザーが、iOS、Android、Chromeで時間を節約するのに役立つと感じています。多くのユーザーは、その精度、多様性（さまざまなスピーカーから転写できる）、時間を節約する自動スライドキャプチャ機能を称賛しています。 Collato あなたのチームが生成した書類の山から特定の製品情報を追跡できないですか？Collatoは、チームの人々が必要とする情報を追跡し、クリックひとつで簡単に利用できるようにする人工知能アシスタントです。製品マネージャーは、様々な技術をシングルビジュアルマップに同期し、統合することにより、情報のサイロを減らすことができます。製品ロードマップの重要な文書が紛失した際に毎回30分を無駄にする代わりに、必要なすべての情報に簡単にアクセスできるようになります。 Midjourney…

AgentGPT ブラウザ内の自律型AIエージェント

あなたのAIエージェントに名前と目標を与え、割り当てられた目的を達成するのを見てください

Artificial Intelligence

単一モダリティとの友情は終わりました – 今やマルチモダリティが私の親友です：CoDiは、合成可能な拡散による任意から任意への生成を実現できるAIモデルです

ジェネレーティブAIは、今ではほぼ毎日聞く用語です。私はジェネレーティブAIに関する論文をどれだけ読んでまとめたか覚えていません。彼らは印象的で、彼らがすることは非現実的で魔法のようであり、多くのアプリケーションで使用できます。テキストプロンプトを使用するだけで、画像、動画、音声などを生成できます。近年のジェネレーティブAIモデルの大幅な進歩により、以前は不可能と考えられていたユースケースが可能になりました。テキストから画像へのモデルで始まり、信じられないほど素晴らしい結果が得られたことがわかった後、複数のモダリティを扱うことができるAIモデルの需要が高まりました。最近は、任意の入力の組み合わせ（例：テキスト+音声）を取り、様々な出力の組み合わせ（例：ビデオ+音声）を生成できるモデルの需要が急増しています。これを対処するためにいくつかのモデルが提案されていますが、これらのモデルは、共存し相互作用する複数のモダリティを含む現実世界のアプリケーションに関して制限があります。モダリティ固有の生成モデルを多段的なプロセスでつなげることは可能ですが、各ステップの生成力は本質的に限定されるため、手間がかかり、遅いアプローチとなります。また、独立に生成された単一モダルストリームは、組み合わせるときに一貫性や整合性が欠けることがあり、後処理の同期が困難になる場合があります。任意の入力モダリティの混合を処理し、任意の出力の組み合わせを柔軟に生成するためのモデルをトレーニングするには、膨大な計算およびデータ要件が必要です。可能な入力-出力の組み合わせの数は指数関数的に増加し、多数のモダリティグループに対して整列したトレーニングデータはまれまたは存在しないためです。ここで、この課題に取り組むために提案されたCoDiというモデルを紹介しましょう。 CoDiは、任意のモダリティの任意の組み合わせを同時に処理および生成することを可能にする新しいニューラルアーキテクチャです。 CoDiの概要。出典：https://arxiv.org/pdf/2305.11846.pdf CoDi は、入力条件付けおよび生成拡散ステップの両方で複数のモダリティを整列させることを提案しています。さらに、対照的な学習のための「ブリッジングアライメント」戦略を導入し、線形数のトレーニング目標で指数関数的な入力-出力の組み合わせを効率的にモデル化できるようにしています。 CoDi の主要なイノベーションは、潜在的な拡散モデル（LDM）、多モダル条件付けメカニズム、およびクロスアテンションモジュールの組み合わせを利用して、任意の-to-任意の生成を処理することができる能力にあります。各モダリティ用に別々のLDMをトレーニングし、入力モダリティを共有特徴空間に射影することで、CoDi は、このような設定の直接的なトレーニングなしで、任意のモダリティまたはモダリティの組み合わせを生成できます。 CoDiの開発には、包括的なモデル設計と多様なデータリソースでのトレーニングが必要です。最初に、テキスト、画像、動画、音声などの各モダリティに対して潜在的な拡散モデル（LDM）をトレーニングします。これらのモデルは独立して並行してトレーニングでき、モダリティに固有のトレーニングデータを使用して、卓越した単一モダリティ生成品質を確保します。音声+言語のプロンプトを使用して画像を生成する場合の条件付きクロスモダリティ生成では、入力モダリティを共有の特徴空間に射影し、出力LDMは入力特徴の組み合わせに注意を払います。この多モダル条件付けメカニズムにより、拡散モデルは直接的なトレーニングなしで、任意のモダリティまたはモダリティの組み合わせを処理できるようになります。 CoDiモデルの概要。出典：https://arxiv.org/pdf/2305.11846.pdf トレーニングの第2ステージでは、CoDiは、任意の出力モダリティの任意の組み合わせを同時に生成する多対多の生成戦略を処理します。これは、各ディフューザーにクロスアテンションモジュールを追加し、環境エンコーダーを追加して、異なるLDMの潜在変数を共有潜在空間に投影することによって実現されます。このシームレスな生成能力により、CoDiは、すべての可能な生成組み合わせでトレーニングすることなく、任意のモダリティのグループを生成できるため、トレーニング目標の数を指数関数から線形関数に減らすことができます。（※以下、原文のHTMLコードを保持します） In the second stage of training, CoDi…

現代のデータエンジニアリングにおいてMAGE：効率的なデータ処理を可能にする

イントロダクション今日のデータ駆動型の世界では、あらゆる業界の組織が膨大なデータ、複雑なパイプライン、そして効率的なデータ処理の必要性に直面しています。Apache Airflowなどの従来のデータエンジニアリングソリューションは、これらの困難に対処するためにデータ操作をオーケストレーションし、制御することで重要な役割を果たしてきました。しかし、技術の急速な進化により、データエンジニアリングの景観を再構築するMageという新しい競合者が登場しました。学習目標第3者のデータをシームレスに統合および同期化すること変換のためのPython、SQL、およびRによるリアルタイムおよびバッチパイプラインの構築データ検証で再利用可能かつテスト可能なモジュラーコード寝ている間に複数のパイプラインを実行、監視、およびオーケストレーションすることクラウド上で協働し、Gitとバージョン管理を行い、利用可能な共有ステージング環境を待つことなくパイプラインをテストすること Terraformテンプレートを介してAWS、GCP、およびAzureなどのクラウドプロバイダーでの高速な展開データウェアハウスで非常に大きなデータセットを直接変換するか、Sparkとのネイティブ統合を介して変換すること直感的なUIを介して組み込みの監視、アラート、および観測性まるで腕木式に簡単でしょうか？それならMageを絶対に試してみるべきです！この記事では、Mageの機能と機能性について説明し、これまでに学んだことやそれを使用して構築した最初のパイプラインを強調します。この記事はData Science Blogathonの一部として公開されました。 Mageとは何ですか？ Mageは、AIによって駆動され、機械学習モデル上に構築された現代的なデータオーケストレーションツールであり、かつてないほどのデータエンジニアリングプロセスを効率化し最適化することを目的としています。これは、データ変換と統合のための効果的でありながら簡単なオープンソースデータパイプラインツールであり、Airflowのような確立されたツールに対して強力な代替手段となる可能性があります。自動化と知能の力を組み合わせることで、Mageはデータ処理ワークフローを革新し、データの取り扱いと処理の方法を変革しています。Mageは、その無比の機能と使いやすいインターフェイスにより、これまでにないデータエンジニアリングプロセスの簡素化と最適化を目指しています。ステップ1：クイックインストール Mageは、Docker、pip、およびcondaコマンドを使用してインストールでき、またはクラウドサービス上で仮想マシンとしてホストできます。 Dockerを使用する #Dockerを使用してMageをインストールするコマンドライン >docker…

フロントエンド開発のトレンド

最先端の進歩や最高水準のイノベーションが、現在ウェブ開発の世界を形作っている様子について、私たちと一緒に深く掘り下げてみませんか

検索増強視覚言語事前学習

Google Research Perceptionチームの学生研究者Ziniu Huと研究科学者Alireza Fathiによる投稿 T5、GPT-3、PaLM、Flamingo、PaLIなどの大規模なモデルは、数百億のパラメータにスケーリングされ、大規模なテキストおよび画像データセットでトレーニングされると、多大な量の知識を格納する能力を示しました。これらのモデルは、画像キャプション、ビジュアルクエスチョンアンサリング、オープンボキャブラリー認識などのダウンストリームタスクで最先端の結果を達成しています。しかし、これらのモデルはトレーニングに膨大な量のデータを必要とし、数十億のパラメータ（多くの場合）を持ち、著しい計算要件を引き起こします。また、これらのモデルをトレーニングするために使用されるデータは古くなる可能性があり、世界の知識が更新されるたびに再トレーニングが必要になる場合があります。たとえば、2年前にトレーニングされたモデルは、現在のアメリカ合衆国大統領に関する古い情報を提供する可能性があります。自然言語処理（RETRO、REALM）およびコンピュータビジョン（KAT）の分野では、検索増強モデルを使用してこれらの課題に取り組む研究がなされてきました。通常、これらのモデルは、単一のモダリティ（テキストのみまたは画像のみ）を処理できるバックボーンを使用して、知識コーパスから情報をエンコードおよび取得します。ただし、これらの検索増強モデルは、クエリと知識コーパスのすべての利用可能なモダリティを活用できず、モデルの出力を生成するために最も役立つ情報を見つけられない場合があります。これらの問題に対処するために、「REVEAL：Retrieval-Augmented Visual-Language Pre-Training with Multi-Source Multimodal Knowledge Memory」（CVPR 2023に掲載予定）では、複数のソースのマルチモーダル「メモリ」を利用して知識集中型クエリに答えることを学ぶビジュアル言語モデルを紹介します。REVEALは、ニューラル表現学習を使用して、さまざまな知識ソースをキー-バリューペアから成るメモリ構造に変換し、エンコードします。キーはメモリアイテムのインデックスとして機能し、対応する値はそれらのアイテムに関する関連情報を格納します。トレーニング中、REVEALは、キーエンベッディング、値トークン、およびこのメモリから情報を取得する能力を学習して、知識集中型クエリに対処します。このアプローチにより、モデルパラメータは暗記に専念するのではなく、クエリに関する推論に焦点を当てることができます。多様な知識ソースから複数の知識エントリを取得する能力を持つビジュアル言語モデルを拡張することで、生成を支援します。マルチモーダル知識コーパスからのメモリ構築私たちのアプローチは、異なるソースからの知識アイテムのキーと値のエンベッディングを事前に計算し、キー-バリューペアにエンコードして統一された知識メモリにインデックスするREALMと似ています。各知識アイテムは、より詳細に表現されたトークンエンベッディングのシーケンスである値としてエンコードされます。以前の研究とは異なり、REVEALは、WikiData知識グラフ、Wikipediaのパッセージと画像、Web画像テキストペア、ビジュアルクエスチョンアンサリングデータなど、多様なマルチモーダル知識コーパスを活用しています。各知識アイテムは、テキスト、画像、両方の組み合わせ（たとえば、Wikipediaのページ）、または知識グラフからの関係または属性（たとえば、バラク・オバマは6’2 “の背丈）の場合があります。トレーニング中、モデルパラメータが更新されるたびに、REVEALはキーと値のエンベッディングを連続的に再計算します。ステップごとにメモリを非同期に更新します。圧縮を使用したメモリのスケーリングメモリ値をエンコードするための素朴な解決策は、各知識アイテムのトークンのすべてのシーケンスを保持することです。次に、モデルは、すべてのトークンを連結してトランスフォーマーエンコーダーデコーダーパイプラインに送信することで、入力クエリとトップkの取得されたメモリ値を融合することができます。このアプローチには2つの問題があります。1つ目は、数億の知識アイテムをメモリに保持する場合、各メモリ値が数百のトークンから構成されている場合、実用的ではないことです。2つ目は、トランスフォーマーエンコーダーが自己注意のために合計トークン数×kに対して2次の複雑度を持っていることです。そのため、Perceiverアーキテクチャを使用して知識アイテムをエンコードおよび圧縮することを提案しています。Perceiverモデルは、トランスフォーマーデコーダーを使用して、フルトークンシーケンスを任意の長さに圧縮します。これにより、kが100にもなるトップkメモリエントリを取得できます。以下の図は、メモリのキー-バリューペアを構築する手順を示しています。各知識項目は、マルチモーダル視覚言語エンコーダを介して処理され、画像とテキストのトークンのシーケンスに変換されます。キー・ヘッドはこれらのトークンをコンパクトな埋め込みベクトルに変換します。バリュー・ヘッド（パーセプター）は、これらのトークンを少なくし、知識項目に関する適切な情報を保持します。異なるコーパスからの知識エントリを統一されたキーとバリューの埋め込みペアにエンコードし、キーはメモリのインデックスに使用され、値にはエントリに関する情報が含まれます。…

Learn more about Search Results 同期 - Page 29