Search Results 17

このAI論文では、革新的なAIフレームワークを使用したDeWaveが公開単語彙BCIのためのEEGからテキストへの翻訳を革新しています

GrapheneX-UTSヒューマンセントリック人工知能センター（シドニー工科大学（UTS））の研究者たちは、沈黙した思考を解読し、それをテキストに変換することができる優れたシステムを開発しました。この技術は、脳卒中や麻痺などの状態により話すことができない個人のコミュニケーションを支援し、人間と機械の相互作用を向上させる可能性があります。この研究チームによってニューオーリンズで開催されたNeurIPS会議でスポットライト記事として発表されたこの研究では、携帯可能で非侵襲的なシステムが紹介されました。グラフェンX-UTS HAIセンターのチームは、シドニー工科大学工学部およびIT部門のメンバーと協力して、侵襲的な手順なしで脳信号をテキスト内容に変換する手法を開発しました。研究中、参加者は特殊なキャップを装着し、脳波活動を電気脳波計（EEG）を通じて記録するための電極を備えたキャップを着用しながら、テキストの文章を沈黙して読みました。記録されたEEGデータは、研究者が開発したAIモデルであるDeWaveを用いて処理され、これらの脳信号を理解可能な単語と文章に変換します。研究者は、このイノベーションが生のEEG波を言語に直接変換することの重要性を強調し、脳からテキストへの変換プロセスに離散エンコーディング技術を統合することを示しました。このアプローチは、神経科学とAIの領域で新たな可能性を開くものです。以前の脳インプラントやMRI機器を使用する侵襲的な手順を必要とする技術とは異なり、チームのシステムは非侵襲的で実用的な代替手段を提供します。さらに、視線追跡に頼らないため、日常的な使用に適応しやすい可能性があります。この研究は、制約がある過去の研究が1人または2人に限定されていたのに対し、29人の参加者を対象にしたもので、強健性と適応性が高いレベルを確保しています。EEG信号を収集するためにキャップを使用することでノイズが発生しますが、本研究では、EEGの変換において非常に優れたパフォーマンスを報告しています。モデルは、動詞の方が名詞に比べて優れたマッチングを示すことをチームは強調しました。ただし、名詞を解読する際には、システムは厳密な翻訳ではなく同義語のペアに対して傾向を示していました。研究者は、意味的に似た単語が単語処理中に似た脳波パターンを引き起こす可能性があると説明しています。現在の翻訳の正確性は、BLEU-1スコアで約40%です。研究者は、このスコアを伝統的な言語翻訳や音声認識プログラムと比較可能なレベルまで向上させることを目指しています。これらのプログラムは通常、90%程度の正確性を実現しています。この研究は、UTSでの脳コンピュータインターフェース技術の先行する進歩を基盤としており、物理的制限によって妨げられていた個人のためのコミュニケーション手段を革新する可能性を示しています。この研究の結果は、思考を言葉にシームレスに翻訳し、コミュニケーションの壁に直面している個人を支援し、人間と機械の相互作用を向上させるという約束を提供しています。

このAI論文は、デュアル1-Dヒートマップを使用したリアルタイムマルチパーソンポーズ推定の画期的な技術であるRTMOを紹介しています

姿勢推定とは、物体の位置と方向を空間上で決定することを含む分野であり、継続的に新しい手法を開発して精度とパフォーマンスを向上させてきました。清華深圳国際研究大学院、上海AIラボ、南洋理工大学の研究者たちは、最近、新しいRTMOフレームワークを開発することでこの分野に貢献しました。このフレームワークは、姿勢推定の精度と効率を向上させるポテンシャルを持ち、ロボット工学、拡張現実、仮想現実など、さまざまなアプリケーションに大きな影響を与える可能性があります。 RTMOは既存の手法における精度とリアルタイム性のトレードオフを解消するために設計されたワンステージの姿勢推定フレームワークです。RTMOは座標の分類と密な予測モデルを統合し、トップダウンアプローチと同等の精度を実現しながら、高速性を維持することで、他のワンステージの姿勢推定器を凌駕しています。リアルタイムのマルチパーソン姿勢推定はコンピュータビジョンの課題であり、既存の手法は速度と精度のバランスをとるために支援が必要です。トップダウンアプローチまたはワンステージアプローチのいずれかには、推論時間または精度の制約があります。RTMOはワンステージの姿勢推定フレームワークであり、YOLOアーキテクチャと座標の分類を組み合わせています。RTMOは動的座標分類器と特別な損失関数を用いて課題を解決し、COCOでの高い平均適合度を維持しながら、リアルタイムのパフォーマンスを実現しています。この研究では、YOLOのようなアーキテクチャを使用し、背骨とハイブリッドエンコーダを持つRTMOというリアルタイムのマルチパーソン姿勢推定フレームワークを提案しています。デュアル畳み込みブロックは各空間レベルでスコアとポーズ特徴を生成します。この手法は動的座標分類器と特別な損失関数を用いて、座標の分類と密な予測モデルの非互換性に対処しています。動的ビンエンコーディングを使用してビンごとの表現を作成し、クラス分類タスクにはガウスラベルスムージングと交差エントロピー損失を用いています。 RTMOは、高い精度とリアルタイム性を備えたワンステージの姿勢推定フレームワークであり、先端のワンステージ姿勢推定器よりも優れた性能を発揮し、同じ背骨を使用しておよそ9倍速く動作します。最大モデルのRTMO-lはCOCO val2017で74.8%のAPを達成し、単一のV100 GPUで秒あたり141フレームを実行します。異なるシナリオで、RTMOシリーズはパフォーマンスと速度で同等の軽量なワンステージ手法を上回り、効率と正確性を示しています。追加のトレーニングデータを使用することで、RTMO-lは最新の81.7の平均適合度を達成します。このフレームワークは、各キーポイントに対して頑強かつコンテキスト感知型の予測を容易にする空間的に正確なヒートマップを生成します。 https://arxiv.org/abs/2312.07526v1 まとめると、この研究の要点は以下の通りです: RTMOは高い精度とリアルタイム性を持つ姿勢推定フレームワークです。 RTMOはYOLOアーキテクチャ内で座標の分類をシームレスに統合しています。 RTMOは、座標ビンを使用した革新的な座標の分類技術を活用し、正確なキーポイントの位置特定を実現しています。 RTMOは、先端のワンステージ姿勢推定器を凌駕し、COCOで高い平均適合度を達成しながらも、大幅に高速です。 RTMOは難しいマルチパーソンのシナリオで優れた性能を発揮し、頑健な、コンテキスト感知型の予測のための空間的に正確なヒートマップを生成します。 RTMOは既存のトップダウンおよびワンステージのマルチパーソン姿勢推定手法のパフォーマンスと速度をバランスさせます。