日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダル姿勢推定arXiv:2610.06970

EVFormer: 一人称視点と筋電を双方向注意で統合する両手姿勢推定モデル

EVFormer: An Egocentric Vision-EMG Bidirectional Attention Model for Bimanual Hand Pose Estimation

シェア:XThreadsFacebookLINEはてブBluesky

一人称RGB映像と両手首の表面筋電を双方向クロス注意とゲート融合で組み合わせ、44関節角度を推定するマルチモーダル手法を提案し、視覚のみ・筋電のみ・後期融合より誤差を約13〜14%低減した。

詳しい要約

1. どんなもの?

- 一人称視点のRGB画像と両手首のsEMGを統合し、44関節角度を推定するマルチモーダル枠組みEVFormerを提案。 - 視覚の自己遮蔽や手同士の接触、物体操作による劣化を補うため、直前200msの両側sEMGを併用。 - 単一被験者のfeasibility studyで、公開EgoEMG記録の時系列分割データを用いて評価。

2. 先行研究と比べてどこがすごい?

- vision-only、sEMG-only、late-fusion、training-meanのbaselineと比較。 - 296テストサンプルでMAE 11.482度を達成し、baselineの13.228-13.610度より低誤差。 - vision-only比で13.20%、late-fusion比で14.23%の相対誤差削減。 - 評価した5ジェスチャクラスのうち4つで最低誤差を記録。

3. 技術・手法の肝は?

- 視覚の空間特徴とsEMGの時間特徴を別々にエンコード。 - sequential bidirectional cross-attentionによりモダリティ間の情報交換を実現。 - feature-wise gated fusionで2モダリティを統合。 - 入力は現在のRGBフレームと直前200msの両側手首sEMG。

4. どうやって有効だと検証した?

- 公開EgoEMG記録1件を用い、時系列で訓練・検証・テストに分割した単一被験者feasibility study。 - 296テストサンプルでMAEを評価し、vision-only、sEMG-only、late-fusion、training-meanと比較。 - 5つのジェスチャクラス別の誤差も評価。

5. 議論はある?

- 一人称視覚とsEMGのfeature-level interactionが両手姿勢推定を改善する予備的証拠を示す。 - 被験者間、記録セッション間、センサ配置、実世界の相互作用条件での追加評価が必要。 - 単一被験者・単一記録のため一般化可能性は未確立。

6. 次に読むべき論文は?

- 要旨で参照・比較されているのはvision-only、sEMG-only、late-fusion、training-meanのbaseline。 - 関連手法としてEgoEMGデータセットを用いた研究や、egocentric hand pose estimation、sEMG-based hand pose estimation、multimodal fusionの文献が次の候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: JiaCheng Ge, SiYu Zhang, ShengJie Li, XinTong Yang

分類: cs.LG, cs.HC

原文アブストラクト

Egocentric bimanual hand pose estimation is important for virtual interaction, wearable control, and rehabilitation, but visual observations are often degraded by self-occlusion, hand-hand contact, and object manipulation. We propose EVFormer, a multimodal framework that combines the current RGB frame with the preceding 200 ms of bilateral wrist surface electromyography (sEMG) to estimate 44 finger and wrist joint angles. EVFormer separately encodes visual spatial features and sEMG temporal features, enables cross-modal information exchange through sequential bidirectional cross-attention, and integrates the two modalities using feature-wise gated fusion. We evaluate EVFormer in a single-participant feasibility study using one synchronized public EgoEMG recording with chronologically separated training, validation, and test splits. On 296 test samples, EVFormer achieves a mean absolute error of 11.482 degrees, compared with 13.228-13.610 degrees for vision-only, sEMG-only, late-fusion, and training-mean baselines. This corresponds to relative error reductions of 13.20% compared with the vision-only model and 14.23% compared with late fusion. EVFormer also achieves the lowest error in four of the five evaluated gesture classes. These results provide preliminary evidence that feature-level interaction between egocentric vision and sEMG can improve bimanual hand pose estimation. Further evaluation across participants, recording sessions, sensor placements, and real-world interaction conditions is required to establish the generalizability of the approach.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI