Search Results 3

基本に戻る週３：機械学習の紹介

「VoAGIのバック・トゥ・ベーシックスシリーズの第3週へようこそ今週は、機械学習の世界にダイブしていきます」

Machine learning

新しいAI研究が「SWIM-IR」をリリース！2800万対33の言語にわたる大規模な合成多言語検索データセット

Google Research、Google DeepMind、そしてウォータールー大学の研究者は、多言語リトリーバルにおける限られた人間によってラベル付けされたトレーニングデータの課題に対処するため、33の言語をカバーする合成リトリーバルトレーニングデータセットであるSWIM-IRを紹介しています。SAP（要約してから尋ねるプロンプティング）の手法を活用して、SWIM-IRは人間の監督なしで多言語密なリトリーバルモデルの合成ファインチューニングを可能にするために構築されています。SWIM-IRでトレーニングされたSWIM-Xモデルは、XOR-Retrieve、XTREME-UP、およびMIRACLを含むさまざまなベンチマークで人間によって監督された厚いリトリーバルモデルと競争力を示しています。この研究は、多言語密なリトリーバルモデルの限定された成功に対処し、非英語の言語に対する十分な監督トレーニングデータの不足が原因であるとしています。この合成データセットは、多言語密なリトリーバルモデルのファインチューニングを可能にし、XOR-Retrieve、XTREME-UP、およびMIRACLなどのベンチマークで評価されています。その結果、合成データセットによるトレーニングは、人間によって監督されたモデルと競争力のあるパフォーマンスを示し、高価な人間によるラベル付けトレーニングデータの代替手段としての可能性を示しています。 SWIM-IRは、SAP技術を用いて生成された33言語にわたる合成リトリーバルトレーニングデータセットです。SWIM-IRを用いて、この研究ではDense Passage Retrieval（DPR）モデルを適応し、多言語T5-baseチェックポイントからの初期化と英語MS MARCOデータセットでのファインチューニングを行うことで、mContrieverとmDPRのゼロショットベースラインを再現します。mC4データセットでの事前学習と、バッチ内のネガティブサンプルに対する相反損失の利用により、研究者はクロス言語クエリ生成にPaLM 2 Smallモデルを使用しています。 SWIM-IRからの合成トレーニングデータを使用したSWIM-Xモデルは、多言語密なリトリーバルタスクで競争力のあるパフォーマンスを示しています。SWIM-X（7M）は、XOR-RetrieveベンチマークのRecall5ktで最良のファインチューニングモデルであるmContriever-Xを7.1ポイント上回ります。さらに、限定予算ベースラインのSWIM-X（500k）は、mContriever-Xを3.6ポイント上回ります。SWIM-X（180K）は、MIRACLベンチマークで競争力があり、nDCG10で最良のゼロショットモデルを6.6ポイント上回りますが、ハードネガティブを持つ人間によって監督されたトレーニングペアを持つmContriever-Xには及びません。合成ベースラインのSWIM-X（120K）およびSWIM-X（120K）MTは、Recall5ktの点で既存のモデルを上回る優れた結果を示しています。この研究では、SWIM-IRによるハードネガティブのサンプリングなど、最適なトレーニング技術の重要性を強調し、合成モデルのパフォーマンスをさらに向上させる必要性を指摘しています。研究で使用されたSWIM-IRデータセットには、文脈不明確化、コードスイッチング、パッセージの品質と長さ、LLM生成時の事実の不一致などの制約があります。この研究は、LLMが情報源に対して十分な根拠を持たないテキストを生成する可能性があり、生成された出力における誤情報や幻想のリスクをもたらすことを認識しています。これらの制限は生成されたクエリの品質と正確さに影響を与えるかもしれませんが、直接的には下流の多言語リトリーバルタスクには影響を与えません。ただし、この研究では、SAPアプローチやファインチューニングプロセスなどの手法の制約については詳細に議論されていません。 SWIM-IRは、複数の言語で情報を含んだクエリを生成するためにSAPアプローチを使用して作成された合成多言語リトリーバルトレーニングデータセットです。33の言語で28百万のクエリ-パッセージのトレーニングペアを提供するSWIM-IRは、人間によるラベル付けトレーニングデータを必要とせずに多言語密なリトリーバルモデルのファインチューニングを容易にします。その結果、SWIM-Xモデルは、クロス言語および単言語のベンチマークで既存のリコールおよび平均相互ランクモデルを上回る競争力のあるパフォーマンスを発揮します。これにより、高価な人間によるラベル付けリトリーバルトレーニングデータの費用対効果の高い代替手段としてのSWIM-IRの可能性が強調され、堅牢な多言語密なリトリーバルモデルの開発が可能になります。

このMITのAI論文では、ロボット操作に革新的な方法を紹介しています：エンコードされた特徴フィールドとビジョン言語モデルによる2Dから3Dのギャップの橋渡し

MITとAIおよび基礎相互作用研究所（IAIFI）の研究チームは、ロボットの操作に革新的なフレームワークを紹介し、予測不可能な複雑な環境で物体を理解し操作する能力の向上に取り組んでいます。課題は、ロボットが3Dジオメトリの詳細な理解を持つ必要があることであり、これは2Dイメージの特徴からは不十分な場合がよくあります。現在、多くのロボットのタスクでは、空間的な理解と意味的な理解の両方が必要です。たとえば、倉庫のロボットは、製品マニフェストのテキストの記述に基づいて整理されたストレージ容器からアイテムを取り出す必要があります。これには、幾何学的な特性と意味的な属性の両方に基づいて、安定したアイテムの把持能力が必要です。 2Dイメージの特徴と3Dジオメトリのギャップを埋めるため、研究者はFeature Fields for Robotic Manipulation（F3RM）と呼ばれるフレームワークを開発しました。このアプローチは、精緻化された特徴フィールドを活用して、正確な3Dジオメトリと2D基礎モデルの豊かな意味論を組み合わせます。重要な考え方は、事前にトレーニングされたビジョンモデルとビジョン言語モデルを使用して特徴を抽出し、それらを3D特徴フィールドに蒸留することです。 F3RMフレームワークには、特徴フィールドの蒸留、特徴フィールドを使用した6自由度（6-DOF）のポーズ表現、および開放テキスト言語ガイダンスの3つの主要なコンポーネントが含まれます。蒸留された特徴フィールド（DFFs）は、Neural Radiance Fields（NeRF）の概念を拡張し、ビジョンモデルから密な2D特徴を復元するための追加の出力を含めています。これにより、モデルは3D位置を特徴ベクトルにマッピングすることができ、空間的な情報と意味的な情報を統合します。ポーズ表現には、ギリパーの座標フレーム内の一連のクエリポイントを使用し、これらは3Dガウス分布からサンプリングされます。これらのポイントはワールドフレームに変換され、特徴はローカルジオメトリに基づいて重み付けされます。生成された特徴ベクトルはポーズの表現に結合されます。フレームワークには、オブジェクト操作のための開放テキスト言語コマンドの組み込み機能も含まれます。ロボットはテストの際に、オブジェクトの操作を指定する自然言語のクエリを受け取ります。それから関連するデモンストレーションを取得し、粗い把持を初期化し、提供された言語ガイダンスに基づいて把持姿勢を最適化します。結果として、研究者は把持と配置のタスク、および言語ガイドの操作についての実験を行いました。密度、色、およびアイテム間の距離を理解できました。カップ、マグ、ドライバーハンドル、およびキャタピラの耳の実験では成功しました。ロボットは形状、外観、材料、およびポーズが大きく異なるオブジェクトにも一般化することができました。また、デモンストレーション中に見たことのない新しいカテゴリのオブジェクトに対しても、自由テキストの自然言語コマンドに正しく応答しました。結論として、F3RMフレームワークは、ロボット操作システムのオープンセット汎化の課題に対する有望な解決策を提供します。2D視覚の事前知識と3Dジオメトリを組み合わせ、自然言語のガイダンスを組み込むことにより、ロボットが多様で複雑な環境で複雑なタスクを処理する道を開きます。シーンごとにモデル化にかかる時間など、まだ制限はありますが、このフレームワークはロボティクスと自動化の分野を進歩させるための重要なポテンシャルを秘めています。

「浙江大学の研究者がUrbanGIRAFFEを提案し、難しい都市のシーンに対する制御可能な3D認識画像の生成に取り組む」

“` UrbanGIRAFFEは、浙江大学の研究者が提案した写真のようなイメージ合成の手法であり、操作可能なカメラの位置とシーンの内容を紹介しています。自由なカメラの視点制御とシーンの編集における都市のシーンの生成の課題に対処するために、このモデルは構成可能かつ制御可能な戦略を用いており、粗い3D全視野の事前知識を利用しています。さらに、シーンを事物、オブジェクト、空に分解することで、大きなカメラの動き、スタッフの編集、オブジェクトの操作など、多様な制御が可能となっています。条件付きイメージ合成では、従来の手法が優れており、特に生成対抗ネットワーク（GAN）を利用して写真のようなイメージを生成するものがあります。しかし、既存の手法は、イメージ合成を意味論的セグメンテーションマップやレイアウトに基づいて行ってきたことが主流であり、複雑な対応の取りにくい都市のシーンを無視してきました。UrbanGIRAFFEは、都市のシーンのための専用の3D認識可能な生成モデルであり、これらの制約に対応し、大きなカメラの動き、スタッフの編集、オブジェクトの操作に対する多様な制御を提供しています。 GANは、条件付きイメージ合成において制御可能で写真のようなイメージを生成するために有効な手法となっています。しかし、既存の手法は、対象を中心としたシーンに限定されており、都市のシーンに支援が必要であり、自由なカメラの視点制御やシーンの編集に制約があります。UrbanGIRAFFEは、シーンをスタッフ、オブジェクト、空に分解し、意味的なボクセルグリッドとオブジェクトのレイアウトを活用して、多様な制御が可能な状態にします。 UrbanGIRAFFEは創造的な手法で都市のシーンをスタッフ、オブジェクト、空に分解し、事物と物事のための事前分布を利用して、複雑な都市環境を解きほぐします。このモデルには、粗い意味的および幾何学的情報を統合するために意味的なボクセルグリッドを事物ジェネレータとして利用する条件つきの事物ジェネレータがあります。オブジェクトの配置事前知識により、乱雑なシーンからオブジェクトジェネレータを学習します。敵対的および再構成の損失と合わせてエンドツーエンドでトレーニングされたモデルは、サンプリング位置を最適化するためにレイボクセルおよびレイボックスの相互交差戦略を活用し、必要なサンプリングポイントの数を減らすことができます。総合的な評価では、提案されたUrbanGIRAFFEの手法は、合成および実世界のデータセットにおいてさまざまな2Dおよび3Dの基準を上回り、優れた制御性と忠実度を示しています。KITTI-360データセットでの質的評価では、UrbanGIRAFFEは背景モデリングにおいてGIRAFFEを上回る性能を発揮し、スタッフの編集とカメラの視点制御を向上させることが可能となっています。KITTI-360での略取研究は、再構成損失、オブジェクトの判別器、革新的なオブジェクトモデリングなど、UrbanGIRAFFEのアーキテクチャの要素の有効性を確認しています。推論時に移動平均モデルを採用することで、生成されるイメージの品質をさらに向上させることができます。 UrbanGIRAFFEは、都市のシーンに対する制御可能な3D認識可能なイメージ合成の複雑なタスクに革新的に対応し、カメラの視点操作、意味レイアウト、オブジェクトの相互作用において顕著な柔軟性を実現しています。3D全視野の事前知識を活用することで、このモデルはシーンをスタッフ、オブジェクト、空に効果的に解釈し、構成的な生成モデリングを可能にしています。今後の方向性には、新しいシーンサンプリングのための意味的なボクセルジェネレータの統合や、光の環境の色からの光の制御の探索などが含まれます。再構成の損失の重要性は、忠実度を保ち、特にまれに遭遇する意味クラスを生成するために、多様な結果を生み出すために強調されます。 UrbanGIRAFFEの将来の研究には、新しいシーンサンプリングのための意味的なボクセルジェネレータの統合、多様で新しい都市のシーンの生成能力の向上が含まれます。また、光の色を環境から分離することで、生成されたシーンの視覚的な側面においてより詳細な制御を提供するための光の制御の探索も計画されています。生成されたイメージの品質を向上させるためには、推論時に移動平均モデルを使用すると良いでしょう。 “`

Partners

Learn more about Search Results 3 - Page 11

基本に戻る週３：機械学習の紹介

新しいAI研究が「SWIM-IR」をリリース！2800万対33の言語にわたる大規模な合成多言語検索データセット

このMITのAI論文では、ロボット操作に革新的な方法を紹介しています：エンコードされた特徴フィールドとビジョン言語モデルによる2Dから3Dのギャップの橋渡し

「浙江大学の研究者がUrbanGIRAFFEを提案し、難しい都市のシーンに対する制御可能な3D認識画像の生成に取り組む」

「2023年最終的なLLMOpsガイド：初心者からエキスパートまでの無料トレーニング」

会社独自のChatGPTを開発するには、技術の1/3とプロセス改善の2/3が必要です

2023年のデータの求人市場を解読する：数字は過剰供給か機会を示唆しているのか？

地図の課題に挑む：「#30DayMapChallenge」を半分過ぎて

「線形代数からディープラーニングまで 7冊の本（2023年冬のアップデート）」

「オンラインプログラムで第3位のデータサイエンスのマスターをしましょう」

Find the right Blockchain Investment for you