日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ハンドトラッキングarXiv:2605.21714

適応的視覚-IMU融合による3Dハンドトラッキング

AVI-HT: Adaptive Vision-IMU Fusion for 3D Hand Tracking

シェア:XThreadsFacebookLINEはてブBluesky

視線画像と手袋に装着したIMU信号を適応的に融合し、特に手と物体の相互作用時の遮蔽下でも高精度な3D手の姿勢追跡を実現する手法を提案した。

詳しい要約

1. どんなもの?

- 3D hand pose trackingのためのadaptive visual-IMU fusion手法AVI-HTを提案。 - egocentric imageとon-glove 6-DoF IMU信号をjointly modeling。 - 視覚遮蔽が激しいhand-object interaction (HOI)シナリオで精度と可用性を大幅改善。 - 同期マルチモーダル訓練データとcross-sensor deep attention mechanismが成功の鍵。

2. 先行研究と比べてどこがすごい?

- 単一モーダルおよび既存マルチモーダル追跡手法と比較。 - 2つのhand model (UmeTrack, MANO)で評価。 - mean keypoint errorを16.1%削減、wrist-aligned variantでは24.2%削減。 - 特に視覚遮蔽下での性能向上が顕著。

3. 技術・手法の肝は?

- 同期したon-body vision-IMU sensor streamsとmotion-capture systemによるground-truth 3D hand posesをペアにした訓練データ。 - cross-sensor deep attention mechanismにより、visionと個々のIMU sensorへの信頼度を適応的に調整。 - これにより視覚遮蔽時でもIMU情報を活用可能。

4. どうやって有効だと検証した?

- DexGloveHOI datasetを構築:100K+のペアワイズvision-IMUサンプルと同期3Dアノテーション付きポーズ。 - 日常タスクで多様な物体を操作するシナリオを収録。 - 単一・マルチモーダル追跡手法と比較し、mean keypoint error削減を確認。 - Ablation studiesでIMU sensorの指ごとの寄与やIMUノイズ・時間的ずれへの感度を分析。

5. 議論はある?

- Ablation studiesにより、活動タイプごとのIMU sensorの指ごとの寄与を明らかに。 - IMUノイズとvision-IMU fusionにおける時間的ずれに対するモデルの感度を議論。 - 具体的な限界や将来課題は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:UmeTrack, MANO。 - 関連手法:visual-IMU fusion, cross-sensor deep attention, hand-object interaction tracking。 - 同分野の定番:egocentric hand tracking, multi-modal fusion for pose estimation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyi Kou, Ankit Kumar, Mia Huang, Taylor Niehues, Vatsal Mehta, Ergys Ristani, Li Guan

分類: cs.CV, cs.RO

原文アブストラクト

We present AVI-HT, an adaptive visual-IMU fusion approach for tracking 3D hand poses by jointly modeling the egocentric image with on-glove 6-DoF IMU signals. AVI-HT achieves significantly improved accuracy and availability, particularly in hand-object interaction (HOI) scenarios involving heavy visual occlusion. Two complementary ingredients underpin its success: (1) synchronized multi-modal training data pairing on-body vision-IMU sensor streams with ground-truth 3D hand poses from a motion-capture system, and (2) a cross-sensor deep attention mechanism that adaptively modulates the trust assigned to the vision and individual IMU sensors. To evaluate AVI-HT in real-world settings, we conduct extensive experiments on our DexGloveHOI dataset that consists of 100K+ pairwise vision-IMU samples with synchronized 3D annotated poses, in which users manipulate a variety of objects during daily tasks. We compare against multiple single- and multi-modal tracking approaches under two hand models (UmeTrack, MANO). The results show that AVI-HT reduces mean keypoint error by 16.1% and its wrist-aligned variant by 24.2% over the baselines. Ablation studies further reveal the per-finger contribution of IMU sensors across activity types, and the model's sensitivity to IMU noise and temporal misalignment in vision-IMU fusion.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI