Search Results この

「このAI研究は、グラフ上の大規模言語モデル（LLM）について包括的な概要を共有します」

よく知られたLarge Language Models（LLMs）であるGPTやBERT、PaLM、LLaMAは、自然言語処理（NLP）と自然言語生成（NLG）においていくつかの大変な進歩をもたらしました。これらのモデルは大規模なテキストコーパスで事前学習され、質問応答やコンテンツ生成、要約など、複数のタスクで驚異的なパフォーマンスを発揮しています。 LLMsは平文のテキストを扱うことができることが証明されていますが、テキストデータがグラフ形式の構造情報とリンクされたアプリケーションを扱う必要性がますます高まっています。研究者たちは、LLMsの良好なテキストベースの推論力を活用して、マッチングサブグラフ、最短パス、接続推論などの基本的なグラフの推論タスクにLLMsをどのように適用できるかを研究しています。LLMsの統合に関連付けられているグラフベースのアプリケーションには、純粋なグラフ、テキスト豊かなグラフ、テキスト対応グラフの3つのタイプがあります。これらの機能とGNNとの相互作用に応じて、LLMsをタスク予測器、GNNの特徴エンコーダー、またはGNNとのアライナーとして扱うテクニックがあります。 LLMsはグラフベースのアプリケーションでますます人気が高まっていますが、LLMsとグラフの相互作用を調査する研究は非常に少ないです。最近の研究では、研究チームが大規模な言語モデルとグラフの統合に関連した状況と方法の体系的な概要を提案しています。目的は、テキスト豊かなグラフ、テキスト対応グラフ、純粋なグラフの3つの主要なカテゴリに可能な状況を整理することです。チームは、アライナー、エンコーダー、または予測器としてLLMsを使用する具体的な方法を共有しています。各戦略には利点と欠点があり、リリースされた研究の目的はこれらのさまざまなアプローチを対比することです。チームは、LLMsをグラフ関連の活動で使用する利点を示すことで、これらの技術の実用的な応用に重点を置いています。チームは、これらの方法の適用と評価を支援するためのベンチマークデータセットとオープンソーススクリプトに関する情報を共有しています。結果は、この急速に発展している分野でのさらなる研究と創造性の必要性を強調して、可能な将来の研究トピックを概説しています。チームは、彼らの主な貢献を以下のようにまとめています。チームは、言語モデルがグラフで使用される状況を体系的に分類することで貢献を果たしました。これらのシナリオは、テキスト豊かな、テキスト対応、純粋なグラフの3つのカテゴリに整理されています。この分類法は、さまざまな設定を理解するための枠組みを提供します。言語モデルは、グラフのアプローチを用いて詳細に分析されました。評価は、さまざまなグラフ状況の代表的なモデルをまとめたもので、最も徹底的なものとなっています。言語モデルをグラフに関連する研究に関連して、実世界の応用、オープンソースのコードベース、ベンチマークデータセットなど、多くの資料がキュレーションされています。言語モデルをグラフでのさらなる研究のための6つの可能な方向が提案されており、基本的なアイデアを掘り下げています。

このAIの論文は、生成型AIモデルのサイバーセキュリティに関する意味を明らかにしています-リスク、機会、倫理的な課題

生成AI（GenAI）モデル、ChatGPT、Google Bard、そしてMicrosoftのGPTなどは、AIインタラクションを革新しました。これらはテキスト、画像、音楽などの多様なコンテンツを作成し、コミュニケーションや問題解決に影響を与えることで、さまざまな領域を再構築しています。ChatGPTの急速な普及は、GenAIが日常のデジタルライフに統合され、人々のAIとの認識とやり取りを変えていることを反映しています。人間のような会話を理解し生成する能力により、AIはより広範な観客に対してアクセス可能で直感的になり、認識を大きく変えることができました。 GenAIモデルの状態は、GPT-1からGPT-4などの最新の試行まで、急速に進化しています。それぞれの試行は、言語理解、コンテンツ生成、およびマルチモーダル機能において、大きな進歩を示してきました。しかし、この進化には課題もあります。これらのモデルの高度化は、倫理的な懸念、プライバシーのリスク、および悪意のある主体が悪用するかもしれない脆弱性とともにやってきます。この観点から、最近の論文では、特にChatGPTについて、セキュリティとプライバシーの影響について詳しく検討されています。この論文では、ChatGPTにおいて倫理的な境界とプライバシーを侵害する脆弱性が明らかにされ、悪意のあるユーザーに悪用される可能性があることが示されています。論文では、Jailbreaksや逆心理学、およびプロンプトインジェクション攻撃などのリスクが強調され、これらのGenAIツールに関連する潜在的な脅威が示されています。また、サイバー犯罪者がソーシャルエンジニアリング攻撃、自動ハッキング、およびマルウェアの作成にGenAIを誤用する可能性についても探求されています。さらに、ポテンシャルな攻撃に対抗するために、GenAIを利用した防御技術についても論じられており、サイバーディフェンスの自動化、脅威インテリジェンス、安全なコード生成、および倫理的なガイドラインの強化を強調しています。この研究チームは、ChatGPTを操作する方法について詳細に探求しました。DAN、SWITCH、およびCHARACTER Playなどのジェイルブレーキング手法について説明し、制約を上書きし倫理的な制約を回避することを目指しています。これらの手法が悪意のあるユーザーによって悪用された場合の潜在的なリスクが強調され、有害なコンテンツの生成やセキュリティ侵害が起こる可能性があります。さらに、ChatGPT-4の機能が制限されずに利用される場合にインターネットの制限を破る可能性がある心理プロンプトインジェクション攻撃にも踏み込んでおり、ChatGPTなどの言語モデルの脆弱性を紹介し、攻撃ペイロード、ランサムウェア/マルウェアコード、およびCPUに影響を与えるウイルスの生成の例を提供しています。これらの探求は、AIモデルの潜在的な誤用による重要なサイバーセキュリティの懸念を明確にし、ChatGPTのようなAIモデルがソーシャルエンジニアリング、フィッシング攻撃、自動ハッキング、およびポリモーフィックマルウェアの生成にどのように誤用されるかを示しています。研究チームは、ChatGPTがサイバーディフェンスに貢献するいくつかの方法を探求しました： – 自動化：ChatGPTはSOCアナリストを支援し、インシデントの分析、レポートの生成、および防御戦略の提案を行います。 – レポート作成：サイバーセキュリティデータに基づいて理解可能なレポートを作成し、脅威の特定とリスクの評価を支援します。 – 脅威インテリジェンス：広範なデータを処理して脅威を特定し、リスクを評価し、緩和策を推奨します。 – セキュアコーディング：コードレビューにおけるセキュリティバグの検出を支援し、セキュアなコーディングのプラクティスを提案します。 – 攻撃の特定：データを分析して攻撃パターンを説明し、攻撃の理解と予防を支援します。 – 倫理的なガイドライン：AIシステムの倫理的なフレームワークの要約を生成します。 – テクノロジーの向上：侵入検知システムと統合して脅威検知を向上させます。 – インシデント対応：即時のガイダンスを提供し、インシデント対応プレイブックを作成します。 –…

このAIペーパーは、写真リアルな人物モデリングと効率的なレンダリングのブレイクスルーであるHiFi4Gを明らかにします

4D（時空）人間パフォーマンスのボリューメトリックな記録とリアルな表現は、観客とパフォーマーの間の障壁を取り払います。それはテレプレゼンスやテレエデュケーションなど、没入型のVR / AR体験を提供します。一部の早期システムは、記録された映像からテクスチャモデルを再現するために明示的に非剛体登録を使用しています。しかし、それらは依然として遮蔽とテクスチャの不足に対して感受性があり、再構築の出力にはギャップとノイズが生じます。最近のNeRFを例に挙げる最新のニューラルブレイクスルーは、写真のようなリアルなボリュームレンダリングを実現するために、明示的な再構築ではなく、座標ベースのマルチレイヤパーセプトロン（MLP）を最適化します。特定の動的なNeRFのバリエーションでは、追加の暗黙変形フィールドを使用して、すべてのライブフレームでの特徴の再現に対してカノニカルな特徴空間を保持しようとします。ただし、このようなカノニカルデザインは、重要なトポロジーの変化や大きな動きに対して敏感です。最近の手法では、平面分解やハッシュエンコーディングによって、3D特徴グリッドを簡潔に説明し、動作時のメモリとストレージの問題を解決しました。最近、静的なシーンを表すための明示的なパラダイムへ戻る3Dガウシアンスプラッティング（3DGS）があります。これにより、3DガウシアンプリミティブのGPUフレンドリーなラスタライゼーションに基づく、過去に実現できなかったリアルタイムかつ高品質な放射場レンダリングが可能です。いくつかの進行中のプロジェクトでは、3DGSを動的な設定に適応させるために変更されています。一部は、動的なガウシアンの非剛体運動に注力し、その過程でレンダリングの品質を失います。他のものは、元の3DGSの明示的でGPUフレンドリーなエレガンスを失い、追加の暗黙の変形フィールドを使用して動きの情報を補完することができないため、長時間の動きを処理することができません。本研究では、ShanghaiTech大学、NeuDim、ByteDance、およびDGeneの研究チームが、高密度ビデオから高品質な4D人間パフォーマンスを再現するための完全に明示的かつコンパクトなガウシアンベースのHiFi4Gメソッドを紹介しています（図1を参照）。彼らの主なコンセプトは、非剛体トラッキングと3Dガウシアン表現を組み合わせて、運動と外観データを分離し、コンパクトで圧縮フレンドリーな表現を実現することです。HiFi4Gは、現在の暗黙のレンダリング技術の最適化速度、レンダリング品質、およびストレージオーバーヘッドに関して、顕著な改善を示します。彼らの明示的な表現の助けを借りて、彼らの結果はGPUベースのラスタ化パイプラインに容易に統合することもできます。これにより、VRヘッドセットを身に着けたままバーチャルリアリティで高品質な人間パフォーマンスを目の当たりにすることができます。研究チームはまず、細かいガウシアンと粗い変形グラフからなるデュアルグラフ技術を提供し、ガウシアン表現と非剛体トラッキングを自然に結び付けます。前者では、研究チームはNeuS2を使用してフレームごとのジオメトリプロキシを作成し、埋め込み変形（ED）をキーフレームのように使用します。このような明示的なトラッキング手法により、シーケンスがパートに分割され、各セグメント内で豊富な運動が与えられます。キーボリュームの更新と同様に、研究チームは3DGSを使用して現在のセグメント内のガウシアンの数を制限し、以前のセグメントから誤ったガウシアンを除外し、新しいガウシアンを更新します。次に、研究チームは細かいガウシアングラフを構築し、粗いEDネットワークから各ガウシアン運動を補完します。ガウシアングラフをEDグラフで単純に曲げてスクリーン空間に当てはめると、顕著な不自然な歪みが生じます。制限なしに継続的な最適化が行われることから、ぶれのアーティファクトも生じます。ガウシアン特性の更新と非剛体運動の先行に適切なバランスを取るために、研究チームは4Dガウシアン最適化アプローチを提案しています。研究チームは、各ガウシアンの外観特性（不透明度、スケーリング係数、球面調和）の一貫性を保証するために、時間の経過による正則化を採用しています。研究チームは、近隣のガウシアン間でローカルにできるだけ剛体に近い運動を生成するために、運動特性（位置と回転）のスムーズ化項を提案しています。非剛体移動を示す領域におけるちらつきアーティファクトを罰するため、これらの正則化に適応的な加重メカニズムが追加されています。研究チームは最適化後に空間的に時間的にコンパクトな4Dガウス関数を生成します。研究チームは、ガウスパラメータのための従来の残差補正、量子化、エントロピー符号化に従う同梱の圧縮技術を提案し、HiFi4Gを消費者にとって有用なものとしています。圧縮率は約25倍で、各フレームに必要なストレージ容量は2MB未満です。これにより、VRヘッドセットを含むさまざまなデバイスで人間のパフォーマンスを没入感ある観察することが可能です。要点をまとめると、彼らの主な貢献は以下の通りです：・研究チームは、人間のパフォーマンスレンダリングのためのガウススプラットと非剛体トラッキングを結ぶコンパクトな4Dガウス表現を提案しました。・研究チームは、異なる正則化設計を使用して空間的に時間的に一貫性のある4Dガウス関数を効率的に復元するための二重グラフアプローチを提供します。・研究チームは、複数のプラットフォーム上で低ストレージな没入型人間パフォーマンス体験を実現するための補完的な圧縮アプローチを提供します。

このAI論文は、イギリスのインペリアルカレッジロンドンとEleuther AIが対話エージェントの行動を理解するための枠組みとしてロールプレイを探究しています

“`html 現代社会では、人工知能（AI）の統合が人間の相互作用を根本的に変えています。ChatGPTなどの大規模言語モデル（LLMs）の出現により、人間のような認知能力と自動化された対応の間の境界が曖昧になっています。イギリスの帝国カレッジロンドンとEleuther AIの研究チームによる最新の論文では、この進化するAI知能の領域を航海するために、言語アプローチを再評価する必要性に光を当てています。 AIによって駆動されたチャットボットの魅力は、機械的なアルゴリズムではなく感情を持つ存在との会話に似た会話をエミュレートする驚異的な能力です。しかし、人間との相互作用のこのエミュレーションは、個人の感情的なつながり形成への脆弱性とリスクを引き起こす懸念があります。研究者は、これらのLLMsに関する言語と認識を再調整する必要性を強調しています。問題の本質は、社交性と共感への内在的な人間の傾向にあります。これにより、人間のような属性を持つ存在と関わることへの脆弱性が生じます。しかし、この傾向は、詐欺やプロパガンダなどの不正目的でLLMsを悪用する悪意のある行為者による潜在的な危険性をもたらす可能性があります。チームは、「理解」「思考」「感情」といった人間的な特性をLLMsに帰因することは避けるべきだと警告し、これにより脆弱性が生まれ、保護が必要となると述べています。論文では、過度な感情的な依存やAIチャットボットへの頼りすぎのリスクを緩和するための戦略を提案しています。まず、ユーザーの理解を簡略化するために、AIチャットボットを特定の役割を果たす俳優として捉えることが重要です。さらに、潜在的な多角的キャラクターの広範な範囲内で様々な役割を演じる指揮者として捉えることにより、より複雑で技術的な視点が得られます。研究者は、包括的な理解を促進するために、これらの異なるメタファー間でのスムーズな移行を推奨しています。チームは、人々のAIチャットボットとの相互作用にアプローチする方法が、彼らの認識と脆弱性に大きく影響することを強調しました。多様な視点を受け入れることで、これらのシステムに備わる潜在能力をより包括的に把握することができます。言語の改革の必要性は、意味的な変化を超えて、認知パラダイムの根本的な変化を必要としています。研究者によって示されたように、「異種の心のようなアーティファクト」を理解するには、従来の擬人化からの脱却が必要です。代わりに、AIチャットボットの単純化されたと複雑な概念モデル間を流動的に移動できるダイナミックなマインドセットが必要とされます。結論として、この論文は、言語の適応と認知的な柔軟性が絶えず進化するAI組み込み相互作用の風景を航海する上での重要性を強調しています。技術が進化するにつれて、AIチャットボットに関するディスカッションの再構築は不可欠です。言語の再調整と多様な視点の受け入れにより、個人はこれらの知的システムの潜在能力を活用しながら内在するリスクを緩和し、人間の認知とAI知能の間に調和のとれた関係を築くことが可能です。 “`

「このAIニュースレターは、あなたが必要とするすべてです #77」

今週のAIのニュースは、Google（ジェミニ）とミストラル（8x7B）による新しい大規模言語モデルのリリースが主でしたモデルの発表におけるアプローチは、プレスイベントとデモによるもので、非常に異なっていました...

このAI論文は、コントロール可能なマルチビュー画像生成および3Dコンテンツ作成を革新するニューラルネットワークアーキテクチャー、MVControlを紹介しています

最近、2D画像制作の驚くべき進展がありました。テキストの入力プロンプトにより、高精細なグラフィックスを簡単に生成することができます。テキストから画像の生成に成功することは稀であり、3Dトレーニングデータが必要なため、テキストから3Dへの移行は難しいです。拡散モデルと微分可能な3D表現の良い性質により、最近のスコア蒸留最適化（SDS）ベースの手法では、事前学習済みの大規模テキストから画像を生成するモデルから3D知識を抽出し、大量の3Dデータで完全に学習する代わりに、印象的な結果を達成しています。DreamFusionは、3Dアセットの作成に新たなアプローチを導入した模範的な研究です。過去1年間で、2Dから3Dへの蒸留パラダイムに基づいて方法論が急速に進化してきました。複数の最適化段階を適用することで、生成品質を改善するための多くの研究が行われており、3D表現の前に拡散を最適化したり、スコア蒸留アルゴリズムをさらに精密化したり、パイプライン全体の詳細を向上させたりしています。これらの手法は細かいテクスチャを生成できますが、2Dの拡散先行は依存していないため、生成された3Dコンテンツの視点の一貫性を確保することは困難です。そのため、複数のビュー情報を事前学習済みの拡散モデルに強制的に組み込むための試みがいくつか行われています。ベースモデルは制御ネットワークと統合され、制御されたテキストからマルチビュー画像の生成が可能になります。同様に、研究チームは制御ネットワークのみを訓練し、MVDreamの重みはすべて凍結されています。研究チームは実験的に、相対姿勢条件が条件画像に関してテキストからマルチビューの生成を制御するためにより良い結果をもたらすことを発見しました。これに対して、MVDreamが絶対座標系で記述されたカメラの姿勢で訓練されている場合でも、事前学習済みのMVDreamネットワークの記述とは異なります。さらに、視点の一貫性は、シングルイメージの作成に対応する条件付けメカニズムを持つ2D ControlNetの制御ネットワークをベースモデルとの相互作用に直接採用することで容易に達成できます。これらの問題に対処するために、浙江大学、西湖大学、同济大学の研究チームは、制御ネットワークを基にした独自の条件付けテクニックを作成し、制御されたテキストからマルチビューの生成を提供するために十分に成功したControlNetアーキテクチャを提案しました。幅広い2DデータセットLAIONと3DデータセットObjaverseの一部を共同で使用してMVControlを訓練しました。この研究では、エッジマップを条件として使用することを調査しましたが、彼らのネットワークは深度マップ、スケッチ画像など、さまざまな種類の入力状況を活用する能力に制約はありません。訓練が終了すると、研究チームはMVControlを使用して制御されたテキストから3Dアセットの生成に3D先行を提供することができます。具体的には、MVControlネットワークと事前学習済みのStable-Diffusionモデルに基づくハイブリッド拡散先行が使用されます。細かいステップでは、ベースモデルから十分なジオメトリを得た段階でのテクスチャの最適化のみが行われます。包括的なテストにより、提案された手法が入力条件画像と書かれた説明を使用して、高精度で細かい制御が可能なマルチビュー画像と3Dコンテンツを生成できることが示されています。まとめると、以下が彼らの主な貢献です。・ネットワークが訓練された後、SDS最適化を介した制御されたテキストから3Dコンテンツ合成にハイブリッド拡散の一部として使用できます。・独自のネットワーク設計を提案し、細かい制御が可能なテキストからマルチビュー画像の生成を実現します。 • 彼らのアプローチは、入力条件画像とテキストのプロンプトによって細かく制御されることができる高精度なマルチビュー画像と3Dアセットを生成することができます。これは、広範な実験結果によって示されています。 • SDS最適化による3Dアセットの生成に加えて、彼らのMVControlネットワークは、3Dビジョンとグラフィックのコミュニティでさまざまなアプリケーションに役立つ可能性があります。

このAIサブカルチャーのモットーは、「行く、行く、行く」

「効果的なアクセラレーショニズム」として知られる風変わりなプロテクノロジー運動は、パワフルなAIの束縛を解き放ち、その過程でパーティーを楽しみたいと願っています

このGoogleとUC BerkeleyのAI論文は、NeRFillerを紹介します：2Dインペインティング拡散モデルを使用して3Dシーン再構築を革新する人工知能アプローチ

3Dキャプチャの欠けた部分を効果的に補完する方法はありますか？Google ResearchとUC Berkeleyの研究論文では、「NeRFiller」という新しい3Dインペインティング手法を紹介しています。この手法は、再構築の失敗や観測の不足によってしばしば欠落する、不完全な3Dシーンやオブジェクトの再構築の課題に対処しています。この手法は、参照例を通じてインペインティングプロセスを制御することで、精密かつカスタマイズ可能なシーンの補完を可能にします。NeRFillerは、3Dキャプチャ内のシーンやオブジェクトを強化する3D生成インペインティング手法であり、3D再構築の改善に効果的な解決策となります。この研究では、伝統的な2Dインペインティングから大規模インペインティングのLaMaのような先進的な技術まで、さまざまな手法を用いて3Dシーンの欠落した部分を補完する方法を探求しています。確率的および潜在的な拡散モデルに取り組み、テキストや画像を入力とする3D生成アプローチを考慮しています。オブジェクトの削除設定の関連性が強調され、3Dインペインティングのためのさまざまなベースラインとデータセットが評価されています。ビデオやシーン編集の関連研究に触れながらも、主に既存の3Dシーンのコンテキスト内でのシーン補完に焦点を当てています。この研究では、3Dシーンの補完とインペインティングの課題に取り組み、3Dに対応したマルチビュー一致アプローチの重要性を強調しています。シーン補完とオブジェクトの削除を区別し、3Dシーン内で新しいコンテンツを生成することに焦点を当てています。3D一貫性のあるイメージのための2D生成インペインティングモデルの制約について議論されています。提案されたNeRFillerアプローチは、テキストから画像への拡散モデルのグリッド事前現象を活用し、インペインティングでのマルチビュー一貫性を強化します。3Dシーンの最適化のための反復的な手法を利用し、グリッドインペインティングを大規模な画像コレクションに拡張しています。Masked NeRFやLaMaskなどのベースラインとの比較を行い、NeRFillerの効果を示しています。比較や新規ビューメトリクス、イメージ品質、ジオメトリメトリクスを含む評価も行われています。 NeRFillerは、3Dシーンの欠落した領域を補完するための生成的な2D拡散モデルを利用した手法です。さまざまなインペインティングの推定値の課題と、2Dモデルの3D一貫性の欠如に取り組んでいます。NeRFillerは、顕著なインペインティング結果のための統合機構を取り入れ、3Dキャラクターを促進します。反復的な3Dシーンの最適化を活用し、グリッドインペインティングを大規模な画像コレクションに拡張します。Masked NeRFやLaMaskといったベースラインとの比較を行い、NeRFillerの効果を示しています。比較や新規ビューメトリクス、イメージ品質、ジオメトリメトリクスを含む評価も行われています。結論として、NeRFillerは3Dシーン内の欠落した部分を正確に補完することができる強力な3Dインペインティングツールです。ギャップを埋めたり、不要な要素を削除する能力は、オブジェクト削除のベースラインを上回ります。Joint Multi-View Inpaintingの導入により、複数の画像間でノイズの予測を平均化することで一貫性を強化しています。NeRFillerは、最新のベースラインと比較することで、ユーザー指定の3Dシーンの補完を達成しています。ユーザーが指定した仕様で3Dキャプチャの欠落部分をインペインティングするための貴重なフレームワークを提供しています。

「このAI研究は、姿勢オブジェクト認識を次のトークン予測として新しいアプローチを提案します」という意味です

どのようにして効果的に物体認識にアプローチできるのでしょうか？ Meta AIとメリーランド大学の研究チームは、画像埋め込みからテキストトークンを予測してラベルを形成するために言語デコーダを利用する新しい手法を開発し、物体認識の問題に取り組みました。また、パフォーマンスを損なうことなく、より効率的なデコーダの作成戦略も提案しました。深層学習時代以前から存在した物体認識は、画像注釈に貢献してきました。領域のスライシングや単語の予測などの手法を用いて、領域と単語を語彙に基づいて結びつけました。画像とテキストを共有空間に共同埋め込みすることで、画像とテキストのマッチングに取り組み、フレーズのグラウンディングを強調しました。画像注釈はトピックモデルからトランスフォーマベースのアーキテクチャへ進化しました。GPTやLLaMAなどの言語モデルは視覚認識に貢献し、検出、フューショット認識、説明、推論などに応用されました。言語モデルからの建築的な概念、例えばプレフィックスのアイデアなどは、ビジョン-言語ドメインで影響を与え、探索されてきました。この研究は、画像エンコーダが埋め込みを生成し、言語デコーダが物体のラベルを予測するフレームワークを導入することによって、コンピュータビジョンにおける物体認識に取り組んでいます。従来の固定埋め込みを持つ従来の手法とは異なり、提案手法では認識を次のトークンの予測として扱い、画像の埋め込みからタグの自己回帰的なデコーディングを可能にします。この手法により、事前に定義されたラベルの必要性がなくなり、柔軟で効率的な認識が促進されます。非因果的な注意マスクやコンパクトなデコーダなどの主要な革新は、パフォーマンスを損なうことなく効率を向上させ、コンピュータビジョンにおける物体認識への新しい解決策を提供します。研究では、次のトークン予測に基づく物体認識に関する手法を提案し、画像埋め込みからテキストトークンを予測してラベルを作成する言語デコーダを使用します。デコーダは非因果的な注意マスクを組み込んで自己回帰を行い、画像トークンをプレフィックスとして扱います。推論時には、複数のラベルから並列トークンサンプリングを行い、確率に基づいてランキングします。効率性のために、事前学習された言語モデルから中間ブロックを削除するコンパクトなデコーダ構築戦略が提案されていますが、パフォーマンスは保持されます。研究はCLIP、Open Flamingo、LLaVA、BLIP-2、InstructBLIP、CaSEDと比較し、トップ-kの予測と適合率-再現率曲線を評価しています。提案手法はトップ10の予測で競合他社を一貫して上回り、ラベル生成の優れた関連性を示しています。適合率-再現率曲線は強い線形相関を示し、kが増加するにつれて高い再現率が得られ、データセット全体で予測品質が向上していることを示唆しています。デコーダの切り詰めによる摘出解析に関する研究では、CC3Mではわずかなパフォーマンスの低下が見られましたが、COCOとOpenImagesでは変化がありませんでした。これは、物体認識のための初期のLLaMA 7Bモデルブロックの重要性を強調し、よりコンパクトなデコーダのために11番目以降のブロックを削除することを示しています。結論として、提案された次のトークン予測を活用した自己回帰的な物体認識手法は、データセット全体でトップ10の予測を生成する他の手法よりも優れた関連性を示しています。適合率-再現率曲線で観察される強い線形相関は、すべてのテストデータセットで予測品質が向上していることを示唆しています。デコーダの切り詰めに関する摘出解析の研究では、CC3Mではわずかなパフォーマンスの低下が見られましたが、COCOとOpenImagesでは変化がありませんでした。また、LLaMAモデルの中間トランスフォーマーブロックを削除することで、よりコンパクトなデコーダが得られ、パフォーマンスも保持されました。これは、物体認識においてLLMの一部の知識の重要性を強調しています。さらなる研究では、一回のサンプリングでの競合の懸念に対処するため、緩和策を探索することに焦点を当てることができます。他の可能性としては、事前に定義されたサブセットや参照ピボットなしで、特にLLMと物体認識を直接的に結びつける生成モデルの直接のアライメントを調査することがあります。また、訓練データのボリュームを大幅に増やして、未知のデータや概念を解釈または認識するための依存度を減らす効果を検証することも有益であり、時間の経過とともに新しいラベルを増やしていくオープンワールドのパラダイムと一致しています。

「この男性は誰でもバイラルにすることができます（10か月で21億回の視聴回数）」

「以下は、短編コンテンツで1か月で1億ビューを獲得するための6つのステップのフレームワークです...」

Learn more about Search Results この - Page 3