Search Results Meta

スタンフォード大学とFAIR Metaの研究者が、CHOIS（言語によってガイドされたリアルな3D人間対物体の相互作用を合成するための画期的なAI方法）を発表しました

CHOIS（Choice of Human-Object Interactive Scenario）によって、スタンフォード大学とFAIRメタに所属する研究者は、3Dシーン内のオブジェクトと人間の同期した動きの生成の問題に取り組みました。このシステムは、疎なオブジェクトウェイポイント、物事と人間の最初の状態、テキストの説明に基づいて操作されます。指定された3D環境内で、両方のエンティティの現実的で制御可能な動きを生成することで、人間とオブジェクトの相互作用を制御します。 AMASSなどの大規模で高品質なモーションキャプチャデータセットを活用することで、アクション条件付きの合成やテキスト条件付きの合成を含む、生成的な人間の動きのモデリングへの関心が高まっています。以前の研究では、テキストから多様な人間の動きを生成するためにVAE形式が使用されていましたが、CHOISは人間とオブジェクトの相互作用に重点を置いています。手の動きの合成に焦点を当てる既存の手法とは異なり、CHOISはオブジェクトの掴む前の全身の動きを考慮し、人間の動きに基づいてオブジェクトの動きを予測することで、多様な3Dシーンにおける相互作用の包括的な解決策を提供します。 CHOISは、コンピュータグラフィックス、エンボディドAI、ロボット工学にとって重要な3D環境での現実的な人間の行動の合成のための重要なニーズに対応しています。CHOISは、言語の説明、初期状態、疎なオブジェクトウェイポイントに基づいて同期した人間とオブジェクトの動きを生成し、現実的な動きの生成、環境の混雑への対応、言語の説明からの相互作用の合成といった課題に取り組んでおり、多様な3Dシーンにおける制御可能な人間-オブジェクトの相互作用の包括的なシステムを提供しています。このモデルは、言語の説明、オブジェクトのジオメトリ、初期状態に基づいて同期したオブジェクトと人間の動きを生成するために、条件付きの拡散手法を使用しています。サンプリングプロセス中に制約を組み込むことで、現実的な人間とオブジェクトの接触を保証しています。トレーニングフェーズでは、接触制約を明示的に強制することなく、オブジェクトの変換を予測するための損失関数を使用してモデルを誘導します。 CHOISシステムは、ベースラインと抜粋に対して厳密な評価が行われており、条件の一致、接触の正確性、手とオブジェクトの貫通の削減、足の浮遊などのメトリクスで優れたパフォーマンスを示しています。FullBodyManipulationデータセットでは、オブジェクトのジオメトリ損失がモデルの能力を向上させています。3D-FUTUREデータセットでは、CHOISはベースラインを上回る性能を示し、新しいオブジェクトへの汎化能力を示しています。人間の主観的研究では、入力テキストとのより良い整合性と、ベースラインと比較して優れた相互作用品質を強調しています。位置と姿勢の誤差などの定量的なメトリクスは、生成された結果の地面の真実の動きからの乖離を測定します。結論として、CHOISは言語の説明と疎なオブジェクトウェイポイントに基づいて現実的な人間-オブジェクトの相互作用を生成するシステムです。手順では、トレーニング中にオブジェクトのジオメトリ損失を考慮し、サンプリング中に効果的なガイダンス用語を使用して結果のリアリティを向上させています。CHOISで学習された相互作用モジュールは、言語と3Dシーンからのオブジェクトウェイポイントに基づいて長期的な相互作用を生成するパイプラインに統合することができます。CHOISは、提供された言語の説明と一致する現実的な人間-オブジェクトの相互作用の生成において、大幅な改善を遂げています。今後の研究では、入力ウェイポイントとのオブジェクト動きの一致度を向上させるために、オブジェクトのジオメトリ損失などの追加の監視を統合することができます。接触制約を強制するための高度なガイダンス用語の検討は、より現実的な結果につながる可能性があります。多様なデータセットとシナリオへの評価の拡張により、CHOISの一般化能力をテストすることができます。さらなる人間の主観的な研究は、生成された相互作用についてより深い洞察を提供するでしょう。3Dシーンからのオブジェクトウェイポイントを基に、学習された相互作用モジュールを適用して長期的な相互作用を生成することも、CHOISの適用範囲を拡大することになります。

MITとFAIR Metaの研究者は、「組織化された条件つき画像生成 (Representation-Conditioned Image Generation; RCG)：クラス非依存の画像生成における画期的なAIフレームワーク」を発表しました

人の注釈に頼らずに高品質な画像を生成する方法はありますか？MIT CSAILとFAIR Metaのこの論文では、人の注釈に頼らずに高品質な画像を生成するという課題に取り組んでいます。彼らは、事前に学習されたエンコーダを介して画像分布から得られた自己教師あり表現分布を利用する新しいフレームワークである「Representation-Conditioned Image Generation (RCG)」を紹介しています。このフレームワークは、クラス非依存の画像生成に優れた結果を達成し、クラス条件付きの画像生成では先導的な手法と競合しています。歴史的には、教師あり学習がコンピュータビジョンを主導してきましたが、対照的な学習などの自己教師あり学習方法がその差を縮めました。以前の画像生成の研究は、人の注釈を利用した条件付き生成が優れていましたが、非条件付き生成は課題を抱えていました。導入されたRCGフレームワークは、人の注釈を必要とせずにクラス条件付きおよびクラス非条件付きの画像生成で優れた結果を達成し、自己教師あり画像生成の重要な進歩を示しています。自己教師あり学習のための「Representation Diffusion Model (RDM)」を使用することで、画像生成における教師あり学習と教師なし学習のギャップを埋めることができます。RCGは、ピクセルジェネレータとRDMを統合することにより、クラス非条件付きの画像生成を可能にします。RCGは、Denoising Diffusion Implicit Modelsを通じて訓練された表現空間でのサンプリングのためのRDMを統合し、生成モデルパフォーマンスの向上のためのクラス分類器フリーガイダンスを組み込んでいます。MAGEによって示されるように、Moco v3などの事前学習済み画像エンコーダは、RDMへの入力のために表現を正規化します。 RCGフレームワークは、クラス非条件付きの画像生成において優れた結果を達成し、クラス条件付きの画像生成における先導的な手法と競合しています。ImageNet 256×256データセットでは、RCGはフレチェットイネプション距離3.31およびイネプションスコア253.4を達成し、高品質な画像生成を示しています。表現に基づく条件づけにより、RCGはADM、LDM、MAGEなどのさまざまなピクセルジェネレータによるクラス非条件付きの生成を劇的に向上させ、追加のトレーニングエポックにより性能をさらに向上させます。RCGの自己条件づけ画像生成手法は、さまざまな現代的な生成モデルを使って、クラス非条件付きの生成を一貫して向上させることを証明しています。 RCGフレームワークは、自己教師あり表現分布を活用し、クラス非条件付きの画像生成において画期的な結果を達成しました。さまざまな生成モデルとのシームレスな統合により、クラス非条件付きのパフォーマンスを大幅に向上させ、人の注釈から解放された自己条件づけ手法は条件付き手法を超える可能性を秘めています。RCGの軽量設計とタスク固有のトレーニング適応性により、大規模な未ラベルデータセットを活用することができます。RCGは高品質な画像合成のための非常に効果的で有望な手法となっています。

新しいCMUとMetaによるAI研究、PyNeRFの導入：スケールに意識したグリッドベースのレンダリングにおけるニューラル輝度場の進化

ニューラル・ラディアンス・フィールド（NeRF）は、シーン再構成時のスケールの変動とエイリアシングのアーティファクトを減らすためにどのように改善できるのでしょうか？ CMUとMetaからの新しい研究論文では、ピラミッド状のニューラル・ラディアンス・フィールド（PyNeRF：Pyramidal Neural Radiance Fields）を提案することで、この問題に取り組んでいます。PyNeRFは、異なる空間グリッド解像度でモデルヘッドを訓練することにより、さまざまなカメラ距離でシーンを再構成する際に生じる視覚的な歪みを軽減するのに役立ちます。PyNeRFはパフォーマンスに大きな影響を与えることなく、NeRFを高速化しながら高品質のシーン再構成を維持する効果的な解決策です。 NeRFに触発されて、この研究ではボクセルグリッドやテンソル近似を使用して描画速度とメモリ効率を向上させるためのグリッドベースの手法（NSVF、Plenoxels、DVGO、TensoRF、K-Planes、Instant-NGP）を探求しています。PyNeRFは、速度の利点と品質の維持を兼ね備え、Instant-NGPやNerfactoなどの他の高速描画手法を凌駕し、描画品質とトレーニング速度で優れた結果を示します。 Nerfを含む最近のニューラルボリューメトリックレンダリングの進歩は、現実的な視点合成の進展をもたらしています。ただし、NeRFはMLP表現と仮定により遅いため、エイリアシングが発生します。Mip-NeRFなどのグリッドベースの手法はトレーニングを加速しますが、位置符号化との互換性に欠けます。PyNeRFは、分割と征服のNeRF拡張と古典的な技術からインスピレーションを受けています。PyNeRFのモデルピラミッドはレイに沿ってサンプリングされ、分割アプローチが採用されることにより、高速化されたNeRF実装の速度を維持しながら、描画品質が改善されます。効率的かつ高品質な新しい視点合成のための幅広い解決策を提供します。研究では、より大きなボリュームサンプルの描画に向けて、グリッドベースのモデルを修正し、異なる空間グリッド解像度でモデルヘッドを訓練することを提案しています。バックボーンモデルとしてSUDSを使用し、徐々により高い解像度でトレーニングします。学習した特徴をボクセルグリッドやハッシュテーブルなどの構造に保存するさまざまなグリッドベースの加速手法について議論されています。研究者は、LaplacianPyNeRFや他の補間手法と比較して、特徴グリッドの再利用と2Dピクセル領域の使用の影響を評価しています。主な貢献は、既存のグリッド描画手法において描画速度を保持しながら視覚的な忠実度を向上させる多目的の分割手法です。 PyNeRFは、合成と実世界のシーンにおいて誤差率を20〜90％低下させ、パフォーマンスへの影響を最小限に抑えることで描画品質を大幅に向上させます。Mip-NeRFと比較して、トレーニング速度が60倍速い状態で誤差を20％削減します。PyNeRFは2時間でSUDS品質に収束し、さまざまなメトリックでベースラインを凌駕しますが、SUDSには4時間かかります。さまざまな合成およびマルチスケールブレンダーデータセットでのテストと評価によって、PyNeRFの高品質な再構築はArgoverse 2 Sensorデータセットでの評価に証明されています。まとめると、PyNeRFは高速ボリューメトリックレンダラーのアンチエイリアシング機能の向上において印象的な進展を示し、さまざまなデータセットで優れた結果を示しています。この手法は、現実世界のキャプチャを共有することでニューラルボリューメトリックレンダリングの研究を更に進めることを提唱していますが、高品質なニューラル表現の効率的な構築におけるセキュリティとプライバシーのリスクにも言及しています。今後の研究は、追加の実世界のキャプチャの共有や統合ボリュームを階層レベルに割り当てるための代替マッピング関数の探求から利益を得ることができるでしょう。モデルのトレーニング中にプライバシーフィルタリングのためにセマンティック情報を使用することも有益な調査方向です。将来の興味深い展望には、高速なNeRF手法において描画速度を保持しながら視覚的な忠実度を向上させるためのアーキテクチャのさらなる探求が含まれます。潜在的な研究領域には、ピラミッドアプローチを他の高速NeRF実装に適用し、そのパフォーマンスを評価することがあります。

「FacebookとInstagramにて、Metaが新しいAI機能を発表」

人工知能において注目すべき進展が詰まった2022年において、Metaは革新的な進歩を遂げ、確実にリードを取っています。仮想アシスタントの向上からコンテンツ作成の革命まで、このテックジャイアントは2023年においてAIの風景を形作る準備が整っています。Facebook、Instagram、WhatsApp、Messengerを通じて、20の新たな方法でGenerative AIがエクスペリエンスを向上させることができます。本記事では、メッセージングアプリ、画像生成、コンテンツの発見、プライバシー対策にわたるAIエクスペリエンスの最新情報について深く掘り下げます。 META AIの進化 META AI、仮想アシスタントは今ではより直感的であり、モバイル上で詳細な回答と正確な検索結果の要約を提供します。ユーザーはWhatsAppを含むメッセージングプラットフォームでAIチャットを開始したり、Ray-Ban Metaスマートグラスを使用して音声コマンドを使用することで、シームレスにMETA AIと対話することができます。さらに、META AIはチャットに限らず、FacebookやInstagramのプロダクト体験の豊かさに貢献しています。投稿へのコメントの提案から商品のコピーの向上まで、META AIはインタラクションをより魅力的にするために重要な役割を果たしています。友達と一緒に画像を作成し、Riffしよう META AIのテキストから画像への機能には「再構築」というエキサイティングな追加があります。この新機能により、ユーザーはMessengerやInstagramのグループチャット内で協力して画像を作成し、修正することができます。ユーザーは初期の画像を生成し、友人はテキストプロンプトを提案することで、まったく新しい画像を作成することができます。この協力的でエンターテイニングな機能により、画像の作成と共有に新たな次元が加わります。リールで新しいエクスペリエンスを見つけよう METAは、リールをMETA AIのチャットに導入し、ユーザーにコンテンツの探索、クリエイターとのつながり、インスピレーションの見つけ方を提供します。旅行の計画を立てたり、グループチャットで興味を話し合ったりする際に、リクエストしてリールを見て提案を視覚化することができます。この統合は、スイート内のアプリでよりつながりのあるパーソナライズされたエクスペリエンスを作成するというコミットメントを示しています。 Facebookでのエクスペリエンスを向上させる META AIの影響力はFacebookにも及び、革新的な機能がテストされています。パーソナライズされたバースデーグリーティングの作成やFeed投稿の編集、新しいチャットのトピックの提案など、日常のエクスペリエンスを簡素化するための取り組みです。さらにAIは、Marketplaceにおいて検索能力を向上させ、ユーザーが製品に関する関連情報をより簡単に見つけ、代替案を見つけることができるようにします。クリエイターがファンに返信するのを助ける Instagramのクリエイターは、META AIがダイレクトメッセージ内での推奨返信を導入することで喜びに包まれます。この機能は、コミュニケーションを効率化し、クリエイターがより効果的に観客と交流することを可能にします。AIはトーンやコンテンツを分析し、関連する返信を生成することで、クリエイターとファンの間の迅速かつアクセスしやすいインタラクションを促進します。 META AIでImagineを体験する…

詳細に説明されたLlama 2：Metaの大型言語モデル！

MetaのLlama 2についてもっと知りたいですか？ここには基礎から高度な仕様まで、すべてを網羅した初心者向けガイドがあります

「GoとMetalシェーディング言語を通じてAppleのGPUをプログラミングする」

以下では、GoとネイティブCの間でcgoを使用してインターフェースを作成するプロセス、これを使用してAppleのMetal Performance ShadersフレームワークのObjective-Cバインディングとインターフェースを作成する方法について説明します

IBMとMETAが責任あるイノベーションのためのAI連携を結成

責任あるAIイノベーションへの重要な一歩として、IBMとMetaは共同でAIアライアンスを立ち上げました。この連携により、世界中の50以上の有名な組織が結集しています。この協力の目的は、人工知能（AI）におけるオープンで透明性のあるイノベーションを促進することです。重点は安全性、多様性、経済機会に置かれています。このアライアンスには、AMD、CERN、Dell Technologies、NASA、Oracleなどの有名な組織、さらに多くの主要な大学や研究機関が含まれています。協力的なイノベーションの必要性 AIの進化は前例のない機会を提供し、私たちの生活、仕事、交流方法を変革しています。個別の組織がオープンな科学と技術に取り組む一方で、AIアライアンスは協力の重要性を強調しています。開発者、研究者、採用者を結集することで、アライアンスはイノベーションの加速、リスクの特定、製品が市場に出る前の責任あるAIの開発を目指しています。目標と焦点領域アライアンスは、その使命をガイドするための明確な目標を定めています。アライアンスは、グローバルなAIシステム開発のためのベンチマーク、標準、ツール、リソースを開発する予定です。さらに、オープンな基盤モデルを進め、活気のあるAIハードウェアアクセラレータエコシステムを育成することを目指しています。また、グローバルなAIスキルの構築を支援し、教育コンテンツを開発します。これらの取り組みは、公共の議論と政策立案に貢献することを目指しています。 AIアライアンスは、自らの使命をガイドするために明確な目標を設定しています: 1. ベンチマークと評価基準: 安全性、セキュリティ、信頼性の確保を含む、責任あるAIシステム開発を支援するために、ツールとリソースをグローバルに開発します。 2. オープンな基盤モデル: 気候、教育などの社会的課題に対処するため、多様なオープンな基盤モデルの進化を促進します。 3. AIハードウェアアクセラレータエコシステム: 必須の有用なソフトウェア技術を向上させることにより、活気のあるAIハードウェアアクセラレータエコシステムを育成します。 4. グローバルなAIスキルの構築: 基盤となるAIモデルやツールの研究プロジェクトへの貢献を行うため、探索的な研究をサポートし、学術コミュニティと連携します。 5. 教育コンテンツとリソース: AIの利点、リスク、規制について、公衆や政策立案者に情報を提供するコンテンツを開発します。 6. オープンな開発イニシアチブ:…

ニューヨーク大学とMetaの研究者が、「Dobb-E」という家庭用ロボット操作のためのオープンソースかつ汎用フレームワークを紹介した

NYUとMetaの研究者チームは、DobbEという高度に適応性のあるシステムを開発し、家庭環境におけるロボットの操作学習の課題に取り組みました。DobbEはユーザーのデモンストレーションから学習し、適応することができるシステムです。実験では、システムの効率性が示されましたが、現実の環境でのユニークな課題も浮き彫りにされました。この研究は、ロボットのデータセットの大量収集に関する最近の進歩を認識し、家庭や第一者のロボットとの相互作用に焦点を当てたデータセットのユニークさを強調しています。iPhoneの機能を活用して、このデータセットは高品質のアクションとレアな深度情報を提供します。既存の自動操作に焦点を当てた表現モデルに比べ、汎用的な表現のためのドメイン内での事前学習が重視されています。さらなる改善のために、ロボット以外の家庭のビデオからのドメイン外情報をデータセットに追加することを提案し、その研究の可能性を認めています。序文では、包括的な家庭用アシスタントの構築における課題に取り組み、制御された環境から実際の家庭への転換を主張しています。効率性、安全性、ユーザーの快適さが強調され、これらの原則を体現するフレームワークとしてDobbEが紹介されています。大規模なデータと最新の機械学習を利用した効率性、安全性のための人間のデモンストレーション、ユーザーの快適さのためのエルゴノミックなツールを組み合わせて、ハードウェア、モデル、アルゴリズムをHello Robot Stretchの周りに統合しています。ニューヨークの家庭データセット、22の家庭からの多様なデモンストレーション、ビジョンモデルのための自己教師あり学習手法も議論されています。この研究では、行動複製フレームワークを用いてDobbEを訓練し、人間やエキスパートエージェントの振る舞いを模倣します。設計されたハードウェアセットアップにより、異なる家庭のデータ、iPhoneのオドメトリなどを活用してデモンストレーションの収集とロボットに転送がスムーズに行われます。基礎モデルはこのデータで事前学習されます。訓練されたモデルは実際の家庭でテストされ、視覚表現、必要なデモンストレーション、深度知覚、デモンストレータの専門知識、パラメトリックポリシーの必要性など、システムの異なるコンポーネントを評価するアブレーション実験が行われます。 DobbEは、5分のデモンストレーションと15分のHome Pretrained Representationsモデルの適応のみで、未知の家庭環境で81％の成功率を示しました。10の異なる家庭で30日間にわたって、DobbEは109のタスクのうち102を成功裏に学習し、ビジュアル表現にはResNetモデル、アクション予測には2層ニューラルネットワークなど、シンプルながらパワフルな方法の効果を証明しました。タスクの達成時間と難易度は回帰分析によって分析され、アブレーション実験ではグラフィカル表現やデモンストレータの専門知識など、異なるシステムコンポーネントが評価されました。結論として、DobbEはさまざまな家庭環境でテストされた費用対効果の高い多目的なロボット操作システムで、驚異的な81％の成功率を示しました。DobbEチームは、システムのソフトウェアスタック、モデル、データ、ハードウェア設計を自由にオープンソース化し、家庭用ロボットの研究の推進とロボット執事の広範な普及を促進しています。DobbEの成功は、行動複製やアクション予測のための2層ニューラルネットワークなど、パワフルでシンプルな手法によるものです。実験はまた、照明条件や影がタスクの実行に影響を与える課題についての示唆も提供しました。

MITとMeta AIからのこのAI研究は、高度なリアルタイムのロボットにおける手でのオブジェクト再配置のための革新的かつ手ごろな価格のコントローラーを発表します

MITとMeta AIの研究者は、単一の深度カメラを使用して、多様な形状のオブジェクトをリアルタイムに再配置するオブジェクト再配置コントローラを開発しました。この開発によって解決される課題は、一貫性のあるポイントの姿勢を必要とせずに、新たな条件に汎用的で効率的なオブジェクト操作システムが必要です。このプラットフォームは、オブジェクト再配置だけでなく、他の巧妙な操作タスクにも展開でき、将来の研究のためのさらなる改善の機会が示されています。オブジェクト再配置の研究で使用される現在の方法には、特定のオブジェクトに焦点を当て、範囲が限定された遅い操作、高価なセンサーに依存し、シミュレーション結果のみが得られる制約があります。これらの方法は、シミュレーションから実世界のシナリオへの転送の課題を効果的に解決する必要があります。成功率は、タスクによって異なるエラー閾値によって決定されます。学生のビジョンポリシーネットワークは、これらの制限を対処するためにトレーニングされ、データセット間で最小限の汎化ギャップを示しました。この研究では、手の中でのオブジェクト再配置の課題に対処することで、ロボットの手の器用さを向上させる方法を提示しています。以前の手法では制約があるため、高価なセンサーが必要であり、柔軟性に限界があります。これらの制約を克服するために、シミュレーションで強化学習を用いてコントローラをトレーニングし、新しい形状に対して実世界での汎化を成功させました。視覚入力を使用してコントローラをトレーニングし、効果的なシミュレーションから実世界への転送を達成する方法についても議論が行われました。提案された方法は、シミュレーションでビジョンベースのオブジェクト再配置コントローラをトレーニングし、ゼロショット転送のために直接実世界で展開することを含みます。トレーニングでは、Isaac Gymの物理シミュレータを使用したテーブルトップセットアップで、容量向上型の畳み込みネットワークとゲート付きリカレントユニットを使用します。報酬関数には成功基準と追加の整形項が組み込まれています。方法の有効性を評価するために、3Dプリントおよび実世界のオブジェクトの両方でテストが行われ、エラー分布および定義された閾値内の成功率に基づいてシミュレーションと実世界の結果が比較されます。シミュレーションでトレーニングされた単一のコントローラは、150のオブジェクトの再配置に成功し、3本指と変更された4本指のD’Clawマニピュレータの両方で実世界に展開されました。標準のワークステーションを使用して、12 Hzのリアルタイムパフォーマンスが達成されました。OptiTrackモーションキャプチャシステムを使用した評価では、正確なオブジェクト再配置と新しいオブジェクト形状への汎化能力が示されました。エラー分布と閾値内の成功率の分析により、シミュレーションから実世界への転送の課題に対するシステムの有効性と追加の仮定なしでの精度向上の可能性が示されました。まとめると、この研究は、リアルタイムの強化学習によるコントローラの開発に成功し、実世界でのオブジェクト再配置を効果的に行うことができます。ただし、システムの中央の再配置時間は約7秒であり、再配置タスクにおける形状情報の重要性についての疑問を投げかけます。それは、シミュレーション結果を実世界に転送する重要性の課題を示しています。これらの課題にもかかわらず、コントローラは手の中での巧妙な操作において、特に構造のない環境での応用の可能性を持ち、追加の仮定なしでの精度向上の必要性を強調しています。将来の研究の潜在的なアプローチは、形状特徴を組み込むことで、コントローラの性能を向上させる方法を探ることです。特に、正確な操作と新しい形状への一般化の観点でのコントローラの訓練の視覚的な入力の利用を調査する価値があるかもしれません。最後に、従来の作品との比較的研究は、既存の文献における研究結果を文脈化するのに役立つかもしれません。また、オープンソースハードウェアを使用した巧妙な操作もさらなる調査が求められます。

「訴訟は、MetaがInstagramやFacebookを子供たちをハメるためにデザインしたと主張しています」

「メタは文書で、過去10年間にわたりティーンエイジャーのオンライン体験を安全にするための取り組みを誤って伝えていると主張し、ティーンエイジャーとその親をサポートするために30以上のツールがあることを指摘しました」

Learn more about Search Results Meta