Search Results 同期

スタンフォード大学とFAIR Metaの研究者が、CHOIS（言語によってガイドされたリアルな3D人間対物体の相互作用を合成するための画期的なAI方法）を発表しました

CHOIS（Choice of Human-Object Interactive Scenario）によって、スタンフォード大学とFAIRメタに所属する研究者は、3Dシーン内のオブジェクトと人間の同期した動きの生成の問題に取り組みました。このシステムは、疎なオブジェクトウェイポイント、物事と人間の最初の状態、テキストの説明に基づいて操作されます。指定された3D環境内で、両方のエンティティの現実的で制御可能な動きを生成することで、人間とオブジェクトの相互作用を制御します。 AMASSなどの大規模で高品質なモーションキャプチャデータセットを活用することで、アクション条件付きの合成やテキスト条件付きの合成を含む、生成的な人間の動きのモデリングへの関心が高まっています。以前の研究では、テキストから多様な人間の動きを生成するためにVAE形式が使用されていましたが、CHOISは人間とオブジェクトの相互作用に重点を置いています。手の動きの合成に焦点を当てる既存の手法とは異なり、CHOISはオブジェクトの掴む前の全身の動きを考慮し、人間の動きに基づいてオブジェクトの動きを予測することで、多様な3Dシーンにおける相互作用の包括的な解決策を提供します。 CHOISは、コンピュータグラフィックス、エンボディドAI、ロボット工学にとって重要な3D環境での現実的な人間の行動の合成のための重要なニーズに対応しています。CHOISは、言語の説明、初期状態、疎なオブジェクトウェイポイントに基づいて同期した人間とオブジェクトの動きを生成し、現実的な動きの生成、環境の混雑への対応、言語の説明からの相互作用の合成といった課題に取り組んでおり、多様な3Dシーンにおける制御可能な人間-オブジェクトの相互作用の包括的なシステムを提供しています。このモデルは、言語の説明、オブジェクトのジオメトリ、初期状態に基づいて同期したオブジェクトと人間の動きを生成するために、条件付きの拡散手法を使用しています。サンプリングプロセス中に制約を組み込むことで、現実的な人間とオブジェクトの接触を保証しています。トレーニングフェーズでは、接触制約を明示的に強制することなく、オブジェクトの変換を予測するための損失関数を使用してモデルを誘導します。 CHOISシステムは、ベースラインと抜粋に対して厳密な評価が行われており、条件の一致、接触の正確性、手とオブジェクトの貫通の削減、足の浮遊などのメトリクスで優れたパフォーマンスを示しています。FullBodyManipulationデータセットでは、オブジェクトのジオメトリ損失がモデルの能力を向上させています。3D-FUTUREデータセットでは、CHOISはベースラインを上回る性能を示し、新しいオブジェクトへの汎化能力を示しています。人間の主観的研究では、入力テキストとのより良い整合性と、ベースラインと比較して優れた相互作用品質を強調しています。位置と姿勢の誤差などの定量的なメトリクスは、生成された結果の地面の真実の動きからの乖離を測定します。結論として、CHOISは言語の説明と疎なオブジェクトウェイポイントに基づいて現実的な人間-オブジェクトの相互作用を生成するシステムです。手順では、トレーニング中にオブジェクトのジオメトリ損失を考慮し、サンプリング中に効果的なガイダンス用語を使用して結果のリアリティを向上させています。CHOISで学習された相互作用モジュールは、言語と3Dシーンからのオブジェクトウェイポイントに基づいて長期的な相互作用を生成するパイプラインに統合することができます。CHOISは、提供された言語の説明と一致する現実的な人間-オブジェクトの相互作用の生成において、大幅な改善を遂げています。今後の研究では、入力ウェイポイントとのオブジェクト動きの一致度を向上させるために、オブジェクトのジオメトリ損失などの追加の監視を統合することができます。接触制約を強制するための高度なガイダンス用語の検討は、より現実的な結果につながる可能性があります。多様なデータセットとシナリオへの評価の拡張により、CHOISの一般化能力をテストすることができます。さらなる人間の主観的な研究は、生成された相互作用についてより深い洞察を提供するでしょう。3Dシーンからのオブジェクトウェイポイントを基に、学習された相互作用モジュールを適用して長期的な相互作用を生成することも、CHOISの適用範囲を拡大することになります。

マルチモーダルAIがデジタルのつながりを作り出す

「複数の要素とデータストリームを組み合わせることにより、マルチモーダルAIはよりスマートで人間らしいシステムの可能性を提供します」

「Pixel 8 Pro」という初めてのAI搭載スマートフォンは、現在Gemini Nanoで稼働しており、さらにAIのアップデートがPixelポートフォリオにも導入されています」

ニューフィーチャードロップは、Pixelハードウェアへのアップデートをもたらしますさらに、Gemini Nanoは、Pixel 8 Proのデバイス内生成AI機能をパワーアップします

「音波センサーを使用したロボットのネットワークは、パイプを監視します」

研究者たちは、誘導音波センサーを使用することで、独立したロボットのネットワークが大型パイプの欠陥を検査できることを示しました

「Ego-Exo4Dを紹介：ビデオ学習とマルチモーダルパーセプションに関する研究をサポートするための基礎データセットとベンチマークスイート」

今日、AIはほとんどの想像できる分野で応用されています。それは確かに私たちの生活を変え、プロセスを合理化し、効率を向上させてくれました。これまで想像もできなかったことを実現するため、人間のスキル理解をさらに向上させることができるかもしれません。この研究論文では、AIシステムをより優れた人間のスキル理解をするように装備することに焦点を当てています。人間のスキルを捉えるためには、自己中心的（第一人称）および外向的（第三人称）の視点の両方を考慮する必要があります。さらに、これらの両者の間に連携が必要とされます。他人の行動を自分自身にマッピングすることは、より良い学習のために重要です。既存のデータセットは、自己-外向きのデータセットが非常に限られており、規模が小さく、カメラ間の同期がしばしば欠けているため、この潜在能力を実現するために十分に適していません。この問題に対処するために、Metaの研究者は、Ego-Exo4Dという基礎データセットを導入しました。これは多モーダル、多視点、大規模で、世界中の複数の都市からのさまざまなシーンで構成されています。より良い理解のためには、時には両方の視点が必要です。たとえば、シェフが第三者の視点から機器を説明し、第一人称の視点から手の動きを見せる場合などです。したがって、より良い人間のスキルを達成するために、Ego-Exo4Dは各シーケンスに第一人称視点と複数の外向き視点を含んでいます。さらに、研究者たちは、すべての視点が時間的に同期していることを保証しています。マルチビューデータセットは、身体のポーズやオブジェクトとの相互作用を捉えるために作成されました。 Ego-Exo4Dは、身体のポーズの動きやオブジェクトとの相互作用を捉えるために、熟練した人間の活動に重点を置いています。このデータセットには、料理、自転車修理など、さまざまなドメインの多様な活動が含まれており、データはラボ環境ではなく本物の環境で収集されています。データの収集には、800人以上の参加者が募集され、堅牢なプライバシーと倫理基準が遵守されました。このデータセットのすべてのビデオは時間に関連付けられています。つまり、カメラを着用した人物が自分の行動を説明し、第三者が各カメラの映像を説明し、第三者がカメラをつけた人物のパフォーマンスを批評するという特徴があり、他のデータセットとは異なる点です。さらに、トレーニング用の自己-外気データがない場合、熟練した活動の自己中心的な認識において主要な研究課題が生じます。そのため、研究者は、コミュニティがスタートするための出発点を提供するために、一連の基本的なベンチマークを考案しました。これらのベンチマークは、関係、認識、熟練度、自己ポーズの4つのタスクのファミリーに整理されています。結論として、Ego-Exo4Dは、さまざまなドメインの熟練した人間の活動からなる、前例のない規模の包括的なデータセットです。これは従来のデータセットの欠点を補う、前例のないデータセットです。このデータセットは、活動認識、身体のポーズ推定、AIコーチングなどの多くの領域で応用され、その先にある、多モーダル活動、自己-外向きなどの研究の推進力となると研究者たちは信じています。

テーブルの6つの高度な可視化

「Tableau（タブロー）は、データの可視化ツールであり、データの可視化、ダッシュボード、ストーリーの作成に使用されます私が最初にこのツールを使い始めた時、データの可視化を作成するために頻繁に「表示」機能を使用しました...」

「GoとMetalシェーディング言語を通じてAppleのGPUをプログラミングする」

以下では、GoとネイティブCの間でcgoを使用してインターフェースを作成するプロセス、これを使用してAppleのMetal Performance ShadersフレームワークのObjective-Cバインディングとインターフェースを作成する方法について説明します

共同グラフニューラルネットワーク

この投稿は、ベン・フィンケルシュタイン、イスマイル・チェイラン、およびシンユエ・ファンとの共著であり、論文B. Finkelshtein et al.、Cooperative Graph Neural Networks（2023）arXiv：2310.01267に基づいていますグラフ...

Amazon Kendraを使用して保険請求をインテリジェントに処理するために、Amazon Comprehendで作成されたカスタムメタデータを使用します

構造化データとは、データベース内の列に格納された情報のように固定されたパターンに従うデータ、およびテキスト、画像、またはソーシャルメディアの投稿などの特定の形式やパターンを持たない非構造化データの両方が、さまざまな組織で生産され、消費され続けています例えば、国際データコーポレーション（IDC）によると、[…]

『Re Invent 2023の私のお勧め』

ここに私のお気に入りのリストがありますが、特定の順序はありません (Koko ni watashi no okiniiri no risuto ga arimasu ga, tokutei no junjo wa arimasen.)

Learn more about Search Results 同期 - Page 3