ケンブリッジの研究者たちは、マシンラーニングを利用した仮想現実アプリケーションを開発し、ユーザーが仮想現実空間でツールを開いたり制御したりする「超人的な」能力を持つことができるようにしました

「ケンブリッジの研究者たちが開発したマシンラーニングを利用した仮想現実アプリケーションで、ユーザーは超人的な能力を持ち、仮想現実空間でツールを開いたり制御したりできる」

ホットキーは、通常、従来のデスクトップアプリケーションに見られるキーボードショートカットです。ケンブリッジ大学の研究チームが、キーボード入力が唯一のオプションではない3Dインタラクション空間でのホットキーの適切な代替手段とは何かを探求しています。科学者たちは、手の動きで複数の3Dモデリングツールにアクセスして使用できるVRプログラムを作成しました。ケンブリッジ大学のチームは、「HotGestures」というシステムを作成するために機械学習を利用しました。これは、コンピュータのデスクトップ上のショートカットキーと同様に機能します。

人間は主に視覚的な生き物です。したがって、手のジェスチャーは情報を伝えたり単語間の関係を作り出す自然な方法です。HotGesturesを使用すると、シンプルな手のジェスチャーを介して迅速に仮想ツールにアクセスして使用することができます。この方法は、標準のメニュー操作との組み合わせでうまく機能します。2つのユーザーテストを通じて、研究者はHotGesturesの可能性を確かめることができました。ジェスチャーベースの技術は、迅速かつ効率的なツールの選択とショートカットを提供します。参加者たちは、HotGesturesを受け入れやすかった理由として、その独自性、速度、使用の容易さ、および従来のメニューベースの操作を補完したことを挙げました。HotGesturesを使用すると、メニューを操作せずに仮想現実の図形や形状を作成することができ、注意をそらさずに集中できます。

何年もの間、バーチャルリアリティ（VR）および関連アプリケーションの可能性は、ゲーム業界以外で完全に引き出されていません。ホットキーまたはコマンドショートカット（例：ctrl+c、ctrl+v）は、デスクトップアプリケーションを使用したことがある人々にとっては当たり前のものです。これらのショートカットは、必要な機能を検索する必要がなく、時間を節約するために役立ちますが、適切なコマンドが既にわかっている場合にのみ有用です。研究者のチームワークによって、3D仮想現実環境でホットキーを代替する「HotGestures」のコンセプトが開発されました。

• UCバークレーとスタンフォードの研究者チームがS-LoRAを発表：多数のLoRAアダプターのスケーラブルな提供のために設計された人工知能システム
• メタリサーチャーズがVR-NeRFを紹介：高精細なキャプチャーと仮想現実の歩行可能な空間のレンダリングのための先進的なエンドツーエンドAIシステム
• この中国のAI研究は「Consistent4D」を紹介します：未キャリブレーションの単眼映像から4Dダイナミックオブジェクトを生成するための新しい人工知能手法

たとえば、はさみツールは切る動作でアクティベートされ、スプレーガンはスプレーの動作でアクティベートされます。ユーザーはメニューやキーボードショートカットを探す必要なく、直接目的の機能にアクセスすることができます。ユーザーは、作業を一時停止することなく、メニューを開いたりコントローラーやキーボードのボタンを押したりすることなく、迅速かつ簡単にツールを切り替えることができます。

この研究では、ジェスチャー認識システムのニューラルネットワークを開発しました。このシステムは、ユーザーの手の関節の位置を含むデータストリームに対して予測を行うことで、ジェスチャーを識別することができます。ソフトウェアは、ペン、キューブ、円柱、球体、パレット、スプレー、カット、スケール、複製、削除など、3Dモデルの作成に関連する10種類の異なるアクションを記憶するように開発されました。

グループは30人の参加者を対象にHotGestures、メニューの指示、または両方を使用した2つの予備試験を行いました。ジェスチャーベースの方法を使用すると、よく使用するツールに迅速かつ簡単にアクセスできます。HotGesturesは、その独自性、速度、使用の容易さ、および従来のメニューベースの操作との補完性から、参加者から好評を得ました。研究者たちは、コマンドと自然な手の動きを区別することができるシステムを設計することで、誤ったアクティベーションを防止しました。全体的に、ジェスチャーベースのシステムは速度の面でメニューベースのシステムを上回っています。研究者はデータセットとそれに付随するソースコードを公開し、VRアプリケーションの開発者が自社に組み込むことができるようにしました。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!