Learn more about Search Results MarkTechPost - Page 11

MITとFAIR Metaの研究者は、「組織化された条件つき画像生成 (Representation-Conditioned Image Generation; RCG)：クラス非依存の画像生成における画期的なAIフレームワーク」を発表しました

人の注釈に頼らずに高品質な画像を生成する方法はありますか？MIT CSAILとFAIR Metaのこの論文では、人の注釈に頼らずに高品質な画像を生成するという課題に取り組んでいます。彼らは、事前に学習されたエンコーダを介して画像分布から得られた自己教師あり表現分布を利用する新しいフレームワークである「Representation-Conditioned Image Generation (RCG)」を紹介しています。このフレームワークは、クラス非依存の画像生成に優れた結果を達成し、クラス条件付きの画像生成では先導的な手法と競合しています。歴史的には、教師あり学習がコンピュータビジョンを主導してきましたが、対照的な学習などの自己教師あり学習方法がその差を縮めました。以前の画像生成の研究は、人の注釈を利用した条件付き生成が優れていましたが、非条件付き生成は課題を抱えていました。導入されたRCGフレームワークは、人の注釈を必要とせずにクラス条件付きおよびクラス非条件付きの画像生成で優れた結果を達成し、自己教師あり画像生成の重要な進歩を示しています。自己教師あり学習のための「Representation Diffusion Model (RDM)」を使用することで、画像生成における教師あり学習と教師なし学習のギャップを埋めることができます。RCGは、ピクセルジェネレータとRDMを統合することにより、クラス非条件付きの画像生成を可能にします。RCGは、Denoising Diffusion Implicit Modelsを通じて訓練された表現空間でのサンプリングのためのRDMを統合し、生成モデルパフォーマンスの向上のためのクラス分類器フリーガイダンスを組み込んでいます。MAGEによって示されるように、Moco v3などの事前学習済み画像エンコーダは、RDMへの入力のために表現を正規化します。 RCGフレームワークは、クラス非条件付きの画像生成において優れた結果を達成し、クラス条件付きの画像生成における先導的な手法と競合しています。ImageNet 256×256データセットでは、RCGはフレチェットイネプション距離3.31およびイネプションスコア253.4を達成し、高品質な画像生成を示しています。表現に基づく条件づけにより、RCGはADM、LDM、MAGEなどのさまざまなピクセルジェネレータによるクラス非条件付きの生成を劇的に向上させ、追加のトレーニングエポックにより性能をさらに向上させます。RCGの自己条件づけ画像生成手法は、さまざまな現代的な生成モデルを使って、クラス非条件付きの生成を一貫して向上させることを証明しています。 RCGフレームワークは、自己教師あり表現分布を活用し、クラス非条件付きの画像生成において画期的な結果を達成しました。さまざまな生成モデルとのシームレスな統合により、クラス非条件付きのパフォーマンスを大幅に向上させ、人の注釈から解放された自己条件づけ手法は条件付き手法を超える可能性を秘めています。RCGの軽量設計とタスク固有のトレーニング適応性により、大規模な未ラベルデータセットを活用することができます。RCGは高品質な画像合成のための非常に効果的で有望な手法となっています。

「このAI研究は、姿勢オブジェクト認識を次のトークン予測として新しいアプローチを提案します」という意味です

どのようにして効果的に物体認識にアプローチできるのでしょうか？ Meta AIとメリーランド大学の研究チームは、画像埋め込みからテキストトークンを予測してラベルを形成するために言語デコーダを利用する新しい手法を開発し、物体認識の問題に取り組みました。また、パフォーマンスを損なうことなく、より効率的なデコーダの作成戦略も提案しました。深層学習時代以前から存在した物体認識は、画像注釈に貢献してきました。領域のスライシングや単語の予測などの手法を用いて、領域と単語を語彙に基づいて結びつけました。画像とテキストを共有空間に共同埋め込みすることで、画像とテキストのマッチングに取り組み、フレーズのグラウンディングを強調しました。画像注釈はトピックモデルからトランスフォーマベースのアーキテクチャへ進化しました。GPTやLLaMAなどの言語モデルは視覚認識に貢献し、検出、フューショット認識、説明、推論などに応用されました。言語モデルからの建築的な概念、例えばプレフィックスのアイデアなどは、ビジョン-言語ドメインで影響を与え、探索されてきました。この研究は、画像エンコーダが埋め込みを生成し、言語デコーダが物体のラベルを予測するフレームワークを導入することによって、コンピュータビジョンにおける物体認識に取り組んでいます。従来の固定埋め込みを持つ従来の手法とは異なり、提案手法では認識を次のトークンの予測として扱い、画像の埋め込みからタグの自己回帰的なデコーディングを可能にします。この手法により、事前に定義されたラベルの必要性がなくなり、柔軟で効率的な認識が促進されます。非因果的な注意マスクやコンパクトなデコーダなどの主要な革新は、パフォーマンスを損なうことなく効率を向上させ、コンピュータビジョンにおける物体認識への新しい解決策を提供します。研究では、次のトークン予測に基づく物体認識に関する手法を提案し、画像埋め込みからテキストトークンを予測してラベルを作成する言語デコーダを使用します。デコーダは非因果的な注意マスクを組み込んで自己回帰を行い、画像トークンをプレフィックスとして扱います。推論時には、複数のラベルから並列トークンサンプリングを行い、確率に基づいてランキングします。効率性のために、事前学習された言語モデルから中間ブロックを削除するコンパクトなデコーダ構築戦略が提案されていますが、パフォーマンスは保持されます。研究はCLIP、Open Flamingo、LLaVA、BLIP-2、InstructBLIP、CaSEDと比較し、トップ-kの予測と適合率-再現率曲線を評価しています。提案手法はトップ10の予測で競合他社を一貫して上回り、ラベル生成の優れた関連性を示しています。適合率-再現率曲線は強い線形相関を示し、kが増加するにつれて高い再現率が得られ、データセット全体で予測品質が向上していることを示唆しています。デコーダの切り詰めによる摘出解析に関する研究では、CC3Mではわずかなパフォーマンスの低下が見られましたが、COCOとOpenImagesでは変化がありませんでした。これは、物体認識のための初期のLLaMA 7Bモデルブロックの重要性を強調し、よりコンパクトなデコーダのために11番目以降のブロックを削除することを示しています。結論として、提案された次のトークン予測を活用した自己回帰的な物体認識手法は、データセット全体でトップ10の予測を生成する他の手法よりも優れた関連性を示しています。適合率-再現率曲線で観察される強い線形相関は、すべてのテストデータセットで予測品質が向上していることを示唆しています。デコーダの切り詰めに関する摘出解析の研究では、CC3Mではわずかなパフォーマンスの低下が見られましたが、COCOとOpenImagesでは変化がありませんでした。また、LLaMAモデルの中間トランスフォーマーブロックを削除することで、よりコンパクトなデコーダが得られ、パフォーマンスも保持されました。これは、物体認識においてLLMの一部の知識の重要性を強調しています。さらなる研究では、一回のサンプリングでの競合の懸念に対処するため、緩和策を探索することに焦点を当てることができます。他の可能性としては、事前に定義されたサブセットや参照ピボットなしで、特にLLMと物体認識を直接的に結びつける生成モデルの直接のアライメントを調査することがあります。また、訓練データのボリュームを大幅に増やして、未知のデータや概念を解釈または認識するための依存度を減らす効果を検証することも有益であり、時間の経過とともに新しいラベルを増やしていくオープンワールドのパラダイムと一致しています。

新しいCMUとMetaによるAI研究、PyNeRFの導入：スケールに意識したグリッドベースのレンダリングにおけるニューラル輝度場の進化

ニューラル・ラディアンス・フィールド（NeRF）は、シーン再構成時のスケールの変動とエイリアシングのアーティファクトを減らすためにどのように改善できるのでしょうか？ CMUとMetaからの新しい研究論文では、ピラミッド状のニューラル・ラディアンス・フィールド（PyNeRF：Pyramidal Neural Radiance Fields）を提案することで、この問題に取り組んでいます。PyNeRFは、異なる空間グリッド解像度でモデルヘッドを訓練することにより、さまざまなカメラ距離でシーンを再構成する際に生じる視覚的な歪みを軽減するのに役立ちます。PyNeRFはパフォーマンスに大きな影響を与えることなく、NeRFを高速化しながら高品質のシーン再構成を維持する効果的な解決策です。 NeRFに触発されて、この研究ではボクセルグリッドやテンソル近似を使用して描画速度とメモリ効率を向上させるためのグリッドベースの手法（NSVF、Plenoxels、DVGO、TensoRF、K-Planes、Instant-NGP）を探求しています。PyNeRFは、速度の利点と品質の維持を兼ね備え、Instant-NGPやNerfactoなどの他の高速描画手法を凌駕し、描画品質とトレーニング速度で優れた結果を示します。 Nerfを含む最近のニューラルボリューメトリックレンダリングの進歩は、現実的な視点合成の進展をもたらしています。ただし、NeRFはMLP表現と仮定により遅いため、エイリアシングが発生します。Mip-NeRFなどのグリッドベースの手法はトレーニングを加速しますが、位置符号化との互換性に欠けます。PyNeRFは、分割と征服のNeRF拡張と古典的な技術からインスピレーションを受けています。PyNeRFのモデルピラミッドはレイに沿ってサンプリングされ、分割アプローチが採用されることにより、高速化されたNeRF実装の速度を維持しながら、描画品質が改善されます。効率的かつ高品質な新しい視点合成のための幅広い解決策を提供します。研究では、より大きなボリュームサンプルの描画に向けて、グリッドベースのモデルを修正し、異なる空間グリッド解像度でモデルヘッドを訓練することを提案しています。バックボーンモデルとしてSUDSを使用し、徐々により高い解像度でトレーニングします。学習した特徴をボクセルグリッドやハッシュテーブルなどの構造に保存するさまざまなグリッドベースの加速手法について議論されています。研究者は、LaplacianPyNeRFや他の補間手法と比較して、特徴グリッドの再利用と2Dピクセル領域の使用の影響を評価しています。主な貢献は、既存のグリッド描画手法において描画速度を保持しながら視覚的な忠実度を向上させる多目的の分割手法です。 PyNeRFは、合成と実世界のシーンにおいて誤差率を20〜90％低下させ、パフォーマンスへの影響を最小限に抑えることで描画品質を大幅に向上させます。Mip-NeRFと比較して、トレーニング速度が60倍速い状態で誤差を20％削減します。PyNeRFは2時間でSUDS品質に収束し、さまざまなメトリックでベースラインを凌駕しますが、SUDSには4時間かかります。さまざまな合成およびマルチスケールブレンダーデータセットでのテストと評価によって、PyNeRFの高品質な再構築はArgoverse 2 Sensorデータセットでの評価に証明されています。まとめると、PyNeRFは高速ボリューメトリックレンダラーのアンチエイリアシング機能の向上において印象的な進展を示し、さまざまなデータセットで優れた結果を示しています。この手法は、現実世界のキャプチャを共有することでニューラルボリューメトリックレンダリングの研究を更に進めることを提唱していますが、高品質なニューラル表現の効率的な構築におけるセキュリティとプライバシーのリスクにも言及しています。今後の研究は、追加の実世界のキャプチャの共有や統合ボリュームを階層レベルに割り当てるための代替マッピング関数の探求から利益を得ることができるでしょう。モデルのトレーニング中にプライバシーフィルタリングのためにセマンティック情報を使用することも有益な調査方向です。将来の興味深い展望には、高速なNeRF手法において描画速度を保持しながら視覚的な忠実度を向上させるためのアーキテクチャのさらなる探求が含まれます。潜在的な研究領域には、ピラミッドアプローチを他の高速NeRF実装に適用し、そのパフォーマンスを評価することがあります。

マイクロソフトの研究者が提案するTaskWeaver：LLMを活用した自律エージェントの構築のためのコード優先の機械学習フレームワーク

大規模言語モデル（LLMs）は、印象的な自然言語生成および解釈能力を示しています。これらのモデルの例には、GPT、Claude、Palm、Llamaがあります。チャットボット、バーチャルアシスタント、コンテンツ生成システムなど、様々な応用でこれらのモデルが広く使用されています。LLMsは、より直感的かつ自然な体験を提供することで、人々がテクノロジーとのインタラクションを完全に変えることができます。エージェントは、自律的なエンティティであり、タスクの計画、環境の監視、適切な対応策の実施が可能です。LLMsやその他のAI技術を使用するエージェントも、このカテゴリに該当します。 Langchain、Semantic Kernel、Transformers Agent、Agents、AutoGen、およびJARVISなど、多くのフレームワークがタスク指向の対話にLLMsを使用しようと試みています。これらのフレームワークを使用すると、ユーザーは自然言語で質問をして回答を得ることで、LLMパワードのボットと対話することができます。ただし、多くのフレームワークには、データ分析活動や特定の領域に固有の状況にうまく対応できる機能が制約されているという欠点があります。現在のほとんどのフレームワークには、洗練されたデータ構造を処理するためのネイティブサポートの不足がその主な欠点の一つです。データ分析アプリケーションや他の多くのビジネスシナリオでは、LLMパワードエージェントはネストされたリスト、辞書、またはデータフレームなどの複雑なデータ構造を処理する必要があります。ただし、現在の多くのフレームワークは、特にデータを複数のプラグインやチャットラウンド間で共有する場合に、これらの構造の管理に支援が必要です。これらの状況では、フレームワークは複雑な構造を文字列またはJSONオブジェクトとしてエンコードし、プロンプトに保持するかデータをディスクに永続化します。これらの手法は機能しますが、特に大規模なデータセットで作業する場合には困難になり、エラーレートを上げることがあります。現在の方法がドメイン知識を組み込むために設定可能ではないという別の欠点もあります。これらのフレームワークは、迅速なエンジニアリングツールとサンプルを提供する一方で、ドメイン固有の情報を計画とコード生成プロセスに組み込むための体系的な手段を提供する必要があります。特定のドメインニーズに合わせて計画とコード生成プロセスを制御することは制約のために難しいです。現在の多くのフレームワークには、ユーザーの要件の広範な範囲に対応することが困難になる可能性があるという別の問題もあります。プラグインは一般的な要件を処理できますが、臨時の要求を処理するためには支援が必要です。臨時のクエリごとに別のプラグインを作成することは現実的ではありません。ユーザーのクエリを実行するために独自のコードを開発できるエージェントの能力は、これらの場合には重要になります。この問題を解決するには、独自のコードの実行とプラグインの実行をスムーズに統合するソリューションが必要です。これらの欠点を克服するために、Microsoftの研究チームはTaskWeaverというLLMパワードの自律エージェントを作成するためのコードファーストフレームワークを提案しました。TaskWeaverの特徴的な機能は、ユーザー定義のプラグインを呼び出し可能な関数として扱うことで、各ユーザーリクエストを実行可能なコードに変換することができることです。TaskWeaverは、洗練されたデータ構造のサポート、柔軟なプラグインの使用、および動的なプラグインの選択を提供し、他のフレームワークの制約を克服するのに役立ちます。TaskWeaverはLLMsのコーディング能力を活用して複雑なロジックを実装し、例を通じてドメイン固有の知識を統合します。さらに、TaskWeaverは開発者に直感的なインターフェースを提供し、作成されたコードの安全な実行を大幅に向上させています。研究チームは、TaskWeaverのアーキテクチャと実装について説明し、さまざまなジョブをどのようにうまく処理するかを示すいくつかの事例研究を紹介しています。TaskWeaverは、課題の多いジョブを処理し、特定のドメイン条件に適合するために変更することが可能な知能を持つ会話エージェントを作成するための強力で柔軟なフレームワークを提供しています。

イリノイ大学の研究者は、コードのための完全なオープンソース大規模言語モデル（LLM）のシリーズであるマジコーダを紹介しました

イリノイ大学アーバナ・シャンペーン校と清華大学の研究者チームは、オープンソースのコードスニペットからの低バイアスと高品質なコーディングチャレンジの生成の課題に取り組むために、Magicoderを導入しました。Magicoderは、Pythonテキストからコードを生成する、多言語のコーディング、データサイエンスプログラムの言語モデルを含むさまざまなコーディングベンチマークで、既存のLLMよりも優れたパフォーマンスを発揮します。 CodeGen、CodeT5、StarCoder、CODELLAMAなどのような主要なベースモデルは、LLMのコード生成と理解の基本的な能力を確立しています。事前学習されたLLMを改善するためには、自己指導とEvol-Instructのような手法を使った指示の調整が提案されており、HumanEval、MBPP、APPS、およびCodeContestsなどの既存のコードベンチマークは、自然言語の説明から単一機能プログラムを開発する際のLLMの評価に利用されます。 Magicoderは、コードのための完全なオープンソースのLLMシリーズであり、OSS-INSTRUCTを使用して75,000件の合成指示データでトレーニングされています。これは、GitHubのシードコードスニペットから多様性と現実世界の関連性を確保しながら、LLMにコーディングの問題と解決策を引き起こすように促します。評価には、HumanEvalとMBPPのようなベンチマークが使用され、pass1メトリックに焦点が当てられます。INSTRUCTORは、埋め込みの類似性に基づいてOSS-INSTRUCT生成データを分類するために使用されます。データのクリーニング技術、含められているのは浄化とプロンプトのフィルタリングなどがあり、堅牢性が向上しています。 Magicoderは、最大でも70億を超える控えめなパラメータサイズで、優れたパフォーマンスを示しています。OSS-INSTRUCTを使用して75,000件の合成指示データをトレーニングしたMagicoderは、Pythonテキストからコードを生成する、多言語のコーディング、データサイエンスプログラムの言語モデリングなど、先進的なコードモデルよりも優れたパフォーマンスを発揮します。拡張版のMagicoderSは、コード生成性能をさらに向上させ、さまざまなベンチマークで同じまたはより大きなサイズの他のモデルを上回ります。MagicoderS-CL-7Bは、コードモデルの中で最先端の結果を同時に達成し、堅牢で優れたコード生成能力を示します。まとめると、この研究では、オープンソースのコードスニペットからコーディングチャレンジを生成するためにLLMを利用する効果的な手法であるOSS-INSTRUCTの有用性が強調されています。OSS-INSTRUCTを使用して訓練されたMagicoderは、大きなパラメータを持つ他のLLMよりもさまざまなコーディングベンチマークで優れたパフォーマンスを発揮します。また、Evol-Instructと組み合わせると、ChatGPTのような先進的なモデルと同様に、HumanEvalベンチマークで印象的なパフォーマンスを発揮するMagicoderSモデルを向上させます。この研究では、将来のLLMに関する研究や、OSS-INSTRUCTを拡大してより高品質なデータを生成するために、モデルの重み、トレーニングデータ、およびソースコードをオープンソース化することを推奨しています。

「Neosyncをご紹介します：開発環境やテストにおいて、製造データを同期化し、匿名化するためのオープンソースソリューション」

ソフトウェア開発では、テストと開発の目的で機密性の高い本番データを扱う際に、チームはしばしば課題に直面します。データのプライバシーとセキュリティをバランスする必要性と、強力なテストの必要性の両立は難しいものです。既存の解決策には、データの匿名化や合成データの作成に手作業が必要な場合もありますが、これらのプロセスをより便利かつ効率的にする必要があるかもしれません。この問題に取り組む一つの一般的な手法は、テストのためにデータを手動で匿名化または生成することです。しかし、これは時間がかかり、エラーを起こしやすく、潜在的なセキュリティリスクを引き起こす可能性があります。技術の進歩に伴い、Neosyncと呼ばれる新しいオープンソースのソリューションが現れました。このソリューションは、このプロセスを簡略化し、合理化するために登場しました。 Neosyncは、本番データベースのスナップショットにシームレスに接続することで、チームが本番スキーマに基づいた合成データを生成したり、既存の本番データを匿名化したりすることを可能にするプラットフォームです。この匿名化されたまたは合成データは、ローカル開発、ステージング、および継続的な統合テストを含むさまざまな環境で同期できます。 Neosyncの主な特徴は、自動的に合成データを生成し、機密情報を匿名化し、特定のテストニーズに対応するために本番データベースのサブセットを作成する能力です。このプラットフォームはGitOpsベースのアプローチを採用しており、既存の開発者ワークフローにスムーズに適合します。Neosyncはまた、テスト中に発生する可能性のある外部キーの破損に関する懸念を解決するためにデータの整合性を確保します。 Neosyncの特筆すべき側面の一つは、ジョブの再試行、失敗、再生を処理する包括的な非同期パイプラインです。これにより、開発者にとって頑強かつ信頼性の高いテスト環境が確保されます。このプラットフォームは、事前に構築されたトランスフォーマーを使用してさまざまなデータ型をサポートし、特定の要件に応じてカスタムトランスフォーマーを定義することも可能です。 Neosyncは、どのワークフローにもシームレスに統合される世界クラスの開発者体験を提供することで、その機能を実証しています。PostgresやMySQLなどの複数のデータベースシステム、およびS3などのストレージソリューションのサポートにより、その汎用性が向上しています。KubernetesやDockerなどのツールを使用することで、効率的でスケーラブルな開発環境が提供されます。まとめると、Neosyncは、効率的なテストとデータプライバシーのバランスを求める開発者にとって貴重なソリューションです。オープンソースの性質により、チームは最も機密性の高いデータを自身のインフラストラクチャ内に保持することができ、安全で信頼性の高いテスト環境を促進します。自動データ生成、匿名化、およびさまざまなデータベースのサポートなどの機能により、Neosyncは現代の開発者のベストプラクティスにぴったりと合致し、より優れた、より強靭なアプリケーションの構築に貢献しています。

ビデオスワップに会おう：対話型意味ポイント対応でビデオの被写体交換をカスタマイズする人工知能フレームワーク

最近、ビデオ編集において人工知能（AI）を使った編集が進化しています。今回はその中でも特に有望な分野として、拡散ベースのビデオ編集が注目されています。この手法は、スタイル変更や背景の交換などの課題に対して、事前学習済みのテキストから画像/ビデオに拡散させるモデルを利用します。しかし、ビデオ編集における最も困難な部分は、ソースから編集されたビデオへのモーションの移行と、全体のプロセスでの時間的な一貫性の確保です。ほとんどのビデオ編集ツールは、時間的な一貫性とモーションの整列を保持することに焦点を当てています。しかし、形状の変更に取り組む場合には効果的ではありません。このギャップに対処するために、本論文の著者（ショーラボの研究者、シンガポール国立大学、およびMetaの研究者）は、VideoSwapというフレームワークを開発しました。このフレームワークは、密な点の代わりに意味的な点の一致を使用して主体のモーション軌跡を整列させ、形状を変更するために使用されます。密な点の一致を使用することで、時間的な一貫性が向上しますが、編集されたビデオの主体の形状の変更を制限します。一方、意味的な点の一致を使用する方法は柔軟ですが、さまざまなオープンワールドの設定で変動するため、一般的な条件モデルの学習が困難となります。研究者たちは、限られた数のソースビデオフレームのみを使用して意味的な点の制御を学習しようとしました。その結果、ソースビデオフレーム上で最適化された点が、主体のモーション軌跡を整列させるだけでなく、主体の形状も変えることができることがわかりました。さらに、最適化された意味的な点は、意味や低レベルの変化を超えて転送することもできます。これらの観察結果から、ビデオ編集で意味的な点の一致を使用することが有効とされています。研究者たちは以下の方法でフレームワークを設計しました。まず、モーションレイヤーを画像拡散モデルに統合し、時間的な一貫性を確保しました。次に、ソースビデオ内で意味的な点を特定し、主体のモーション軌跡の転送に使用しました。この手法は、高レベルの意味的な整列に焦点を当てるため、低レベルの詳細を学習しないようになっており、意味的な点の整列を向上させています。さらに、VideoSwapにはユーザーとのポイントのやり取りもあり、多数の意味的な点の対応において点の削除やドラッグなどの操作が可能です。研究者たちは、Latent Diffusion Modelを使用してフレームワークを実装し、基礎モデルとしてAnimateDiffでモーションレイヤーを採用しました。結果として、従来のビデオ編集手法と比較して、VideoSwapはソースのモーション軌跡を整列させつつ、対象の概念の形状を変更することに成功しました。また、研究者たちは、ヒューマンエバルエーターを使用して結果を検証し、主体の一貫性、モーションの整列、時間的な一貫性などのメトリックにおいて、VideoSwapが他の比較手法を圧倒する結果を示しました。まとめると、VideoSwapは複雑な形状を含むビデオ編集にも適用可能な柔軟なフレームワークです。この方法は、プロセス中の人間の介入を制限し、意味的な点の一致を使用してビデオの主体を交換します。また、形状の変更と同時にソースオブジェクトのモーション軌跡を整列させることができ、複数のメトリックにおいて従来の方法を上回る先端的な結果を示しています。

Amazon AlexaのAI研究者がQUADRoを発表：QAシステムの向上に向けた画期的なリソースで、440,000以上のアノテーション付きの例があります

人工知能（AI）と機械学習（ML）の能力は、あらゆる可能な産業に進出することを成功裏に可能にしました。最近では、大規模言語モデル（LLM）と質問応答システムの導入により、AIコミュニティは大きな進歩を遂げています。事前計算されたデータベースから効率的に応答を取得することは、自動質問応答（QA）システムの開発における一般的なステップです。主なQAパラダイムには、オープンブック型とクローズドブック型の2つがあります。オープンブック型、またはリトリーブアンドリード型は、適切な素材を大量の文書コーパス、頻繁にインターネットから取得する2つの手順を経て、異なるモデルや手法を適用して取得された素材から解決策を取り出す手法です。一方、クローズドブック型は最近の手法であり、外部のコーパスを利用せずにT5などのSeq2Seqモデルを基にしたモデルを訓練することで、結果を生成します。クローズドブック技術は優れた結果を示しているものの、多くの産業アプリケーションに対してリソースが過剰であり、システムのパフォーマンスに重大なリスクをもたらす可能性があります。質問応答型データベース（DBQA）は、パラメータや大規模なコーパスの情報に頼るのではなく、事前生成された質問応答のデータベースから応答を取得する方法です。これらのシステムの主要な部分は、質問と回答のデータベース、データベースのクエリに対する検索モデル、および最適な回答を選ぶランキングモデルです。DBQA技術により、迅速な推論と再学習モデルなしで新しいペアを追加できる能力が可能となり、新しい情報を導入することができます。 DBQA技術の課題の一つは、検索およびランキングモデルの開発における充分なトレーニングデータの不足です。既存のリソースはスコープと内容の面で不足しており、注釈プロセスの品質を向上させる必要があるものや、質問と質問の類似性に焦点を当て、回答を無視するものが多数存在しています。これらの課題に対処するため、研究者チームは質問応答データベースの検索に関するデータセットとモデルであるQUADRoを提案しました。これは訓練と評価のために特別に作成された新しいオープンドメインの注釈リソースです。リポジトリの15,211の入力質問には、各質問に関連する30の質問応答ペアがあります。このコレクションには合計で443,000の注釈付きサンプルが含まれています。入力クエリに対する各ペアの重要性を示すバイナリインジケータがラベル付けされています。研究チームはまた、このリソースの品質と特性をいくつかの重要なQAシステムコンポーネントに関して評価するための徹底した実験も行いました。これらの要素には、トレーニング方法、入力モデルの構成、および回答の関連性が含まれます。実験は、このデータセットで訓練されたモデルの挙動とパフォーマンスを検討することで、関連する応答を取り出すために提案された方法がどれだけうまく機能するかを示しました。まとめると、この研究は、自動品質保証システムにおけるトレーニングとテストデータの不足を解決するために、有用なリソースを導入し、リソースの属性を慎重に評価することで、包括的な理解を支援しています。トレーニング戦略と回答の関連性のような重要な要素に重点を置くことで、評価が補完されます。

『Google AI Researchが効率的な連成振動子のシミュレーションに革新的な量子アルゴリズムを導入』

古典力学は、物体の運動、それに作用する力、およびその活動に関連付けられたエネルギーについて扱います。量子力学は、物質とエネルギーの振る舞いを原子スケールと亜原子レベルで記述する物理学の基本理論です。量子コンピュータは、古典コンピュータよりも指数関数的に速く問題を解決することを約束しています。しかし、ショアの因数分解アルゴリズムや量子シミュレーションなどの、これほどの劇的なスピードアップを示す例はほんの一握りです。古典力学の問題は、特に結合した調和振動子のシミュレーションにおいて計算上の障壁を持っています。質量がばねで結ばれた系は、この振動子の一つの群の変位が系全体で連続的な振動を引き起こす一般的な例です。質量の数が増えるにつれて、これらの相互に関連する運動をシミュレートする複雑さも増します。複雑さの課題は、長い間古典力学のシミュレーションを妨げ続けてきました。そのため、研究者たちは、すべての質量とばねの位置と速度を量子ビット系の量子波動関数に符号化するマッピング技術を考案しました。量子ビット系のパラメータの指数関数的な増加を利用して、研究者たちは、質量の情報を効率的に符号化するにはおおよそ log(N) 個の量子ビットが必要であることを見つけました。これは、量子ビット系の量子波動関数を記述するパラメータの数が、量子ビットの数に指数関数的に増加するためです。このパラメータの指数関数的な成長の利用により、量子ビット系の波動関数の進化によって後でボールとばねの座標が決定されるため、このようなシステムをシミュレートするために必要なリソースは、単純な古典的なアプローチに比べてはるかに少なくて済みます。研究者たちは、量子アルゴリズムで効率的に解決可能な任意の問題を、結合した振動子ネットワークを含む状況に変換できることを示しました。この発見により、量子コンピュータの使用方法に新たな可能性が生まれました。また、古典的なシステムについて考えることにより、量子アルゴリズムの新しい開発方法も提案されました。研究者たちは、古典力学と量子力学の動力学が等価であることを証明するだけでなく、この研究は指数的なスピードアップを提供するさらなる量子アルゴリズムの開発への道を切り開いています。この革新的な量子アルゴリズムにより、計算上要求の厳しい問題を解決する能力が革命的に向上しました。彼らは、古典的な波が量子環境でどのように伝播するかを理解することにより、科学者が難解な問題を効果的に解決するための新たな可能性を開くことができると述べています。まとめると、この研究は古典力学と量子コンピューティングを組み合わせる重要な一歩となります。発見された量子アルゴリズムは、効率的なシミュレーションによる結合した古典的調和振動子を行う強力なツールを提供します。この革新的な発見の可能性が広がるにつれて、量子コンピューティングの範囲も拡大しています。

マイクロソフトと清華大学の研究者は、「SCA（Segment and Caption Anything）を提案し、SAMモデルに地域キャプションの生成能力を効率的に装備する」と述べています

コンピュータビジョンと自然言語処理の交差点では、画像内のエンティティの領域キャプションの生成の課題に常に取り組んできました。この課題は、トレーニングデータにセマンティックラベルが存在しないことにより、特に複雑です。研究者は、このギャップに効率的に対処する方法を追求し、モデルが多様なイメージ要素を理解し、説明するための方法を見つけることを目指しています。 Segment Anything Model（SAM）は、強力なクラス非依存セグメンテーションモデルとして登場し、さまざまなエンティティをセグメント化する驚異的な能力を示しています。ただし、SAMは領域キャプションを生成する必要があり、その潜在的な応用範囲が制限されます。そのため、マイクロソフトと清華大学の研究チームは、SAMの能力を効果的に活用するためにSCA（Segment and Caption Anything）という解決策を提案しました。SCAは、SAMの重要な拡張と見なすことができます。それは効率的に領域キャプションを生成する能力をSAMに与えるように設計されています。ブロックの構築に類似して、SAMはセグメンテーションのための堅牢な基盤を提供し、SCAはこの基盤に重要なレイヤーを追加します。この追加機能は、軽量のクエリベースのフィーチャーミキサーの形で提供されます。従来のミキサーとは異なり、このコンポーネントはSAMと因果言語モデルを結びつけて、領域固有の特徴を言語モデルの埋め込み空間と整合させます。この整合は、後続のキャプション生成に重要であり、SAMの視覚的理解と言語モデルの言語的能力との相乗効果を生み出します。 SCAのアーキテクチャは、画像エンコーダ、フィーチャーミキサー、マスクまたはテキストのためのデコーダヘッドの3つの主要なコンポーネントの熟慮された組み合わせです。モデルの要となるフィーチャーミキサーは、軽量な双方向トランスフォーマーです。これはSAMと言語モデルを結びつける結合組織として機能し、領域固有の特徴を言語の埋め込みと最適化する役割を果たします。 SCAの主な強みの一つは、効率性です。数千万個のトレーニング可能なパラメータを持つ、トレーニングプロセスがより高速かつスケーラブルになります。この効率性は、SAMのトークンをそのまま保持しながら、追加のフィーチャーミキサーにのみ焦点を当てた戦略的な最適化から生じます。研究チームは、領域キャプションデータの不足を克服するために、弱い監督による事前トレーニング戦略を採用しています。このアプローチでは、モデルは物体検出とセグメンテーションタスクで事前トレーニングされ、完全な文章の説明ではなくカテゴリ名を含むデータセットを活用します。このような弱い監督による事前トレーニングは、限られた領域キャプションデータを超えて視覚的概念の一般的な知識を転送するための実用的な解決策です。 SCAの有効性を検証するためには、比較分析、さまざまなビジョンラージランゲージモデル（VLLM）の評価、およびさまざまな画像エンコーダのテストが行われています。モデルはリファリング式生成（REG）タスクで強力なゼロショットパフォーマンスを示し、その適応性と汎化能力を示しています。まとめると、SCAはSAMの堅牢なセグメンテーション能力をシームレスに拡張する有望な進歩です。軽量なフィーチャーミキサーの戦略的な追加とトレーニングの効率性とスケーラビリティにより、SCAはコンピュータビジョンと自然言語処理の持続的な課題に対する注目すべき解決策となります。

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us