ダックAIは、DuckTrackを紹介します：マルチモーダルコンピュータインタラクションデータコレクター

ダックAIがDuckTrackをご紹介：マルチモーダルコンピュータインタラクションデータコレクター

ユーザーの相互作用の正確で精密なトラッキングは、コンピューターエージェントの機能を進化させる上で重要な基盤となります。このタスクは、インテリジェントシステムの開発とトレーニングにおいて中心的な役割を果たしています。認知プロセスを模倣し、独立して業務を実行することを目的としたこれらのシステムの効果は、ユーザーの相互作用の慎重な調査と体系的な記録に依存しています。

ダックAIの研究者は、コンピューターエージェントが収集されたデータに適切に訓練されるように、さまざまな入力を正確に記録するためのDuckTrackを開発しました。DuckTrackは、主要なオペレーティングシステムと互換性のある使いやすいデスクトップアプリを通じて、マウス、キーボード、画面のビデオ、および音声データを同期して収集します。

さらに、DuckTrackはコミュニティデータ収集イニシアチブを開始しました。 このオープンソースの取り組みでは、さまざまなコンピューターの相互作用データの収集に参加する貢献者を募集しています。 DuckTrackは、すべての主要なオペレーティングシステムでスムーズに動作し、Pythonで作成されています。 DuckTrackの機能概要には、マウスおよびキーボードアクションの正確で精密な記録と再生の能力が示されています。 リサーチャーは、画面の録画をOBSと統合することで、その汎用性をさらに向上させると述べています。

• 「データエンジニアリングの面接質問」
• 「AIは医療現場でどのような役割を果たすべきか？」
• アマゾンセージメーカーキャンバスでのMLのためのデータ準備を加速させる

DeepTruckでは、描画タスクにおいて構造的類似性指数（SSIM）は常に0.9を超えています。各イベントは、市場に存在する既存のトラッカーよりも低い誤差範囲で0.03ms ± 0.4msで記録されています。 DuckTrackは、パフォーマンスメトリックにおいて卓越したコミットメントを示しており、最高のトラッキングおよび再生ソリューションを求めるユーザーにとって信頼性のある選択肢となっています。

しかし、DuckTrackにも一定の制限があります。再生時にダブルクリックやトリプルクリックをリアルに再現することは現実的には難しく、これらのアクションの正確性に影響を与えます。さらに、DuckTrackはトラックパッドのジェスチャーを記録することができず、ゲームなどの生の情報を含むシナリオで入力をキャプチャする際に制限があります。 開発者たちは、これらの制限に対処し、コミュニティとの関与を継続することでDuckTrackの能力を向上させるために積極的に取り組んでいます。

リサーチャーは、M2 Pro MBP 14（macOS Sonoma 14.0を実行）、Intel i7-10510U System76 Lemur Pro 9（PopOS！ 22.10（Ubuntuベース）およびWindows 10 22H2を実行）など、さまざまなシステムでDuckTrackをテストしました。彼らは、ReCAPTCHAタスク（人間のような動きの代理）でDuckTrackをテストし、10回の試行全てで100％の成功率を示したと結論づけました。ハードウェアのバリエーションがパフォーマンスにわずかな影響を及ぼすかもしれませんが、オペレーティングシステム間での正確性の一貫性はDuckTrackの信頼性を裏付けています。

リサーチャーは、データの収集と設定に関する詳細なガイドラインを近日発表し、DuckTrackの機能を洗練し進化させるための共同の取り組みを奨励します。

DuckTrackは、コンピューターの相互作用データの収集において革新的な存在であることを証明しています。その精密さへの専念、継続的なコミュニティの参画、改善への重点により、優れた再生とトラッキング機能を求める個人や企業にとって最適な選択肢です。 DuckTrackは、発展する中でより洗練された、シームレスなマルチモーダルなコンピュータの相互作用体験の未来を切り拓いています。

システム用のプリビルトアプリケーションをここからダウンロードしてください。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!