日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
モーションキャプチャarXiv:2606.28604

IMU-HOI: 接触を考慮した慣性融合による人間と物体の相互作用とモーションキャプチャの共生フレームワーク

IMU-HOI: A Symbiotic Framework for Coherent Human-Object Interaction and Motion Capture via Contact-Conscious Inertial Fusion

シェア:XThreadsFacebookLINEはてブBluesky

身体と物体に装着したスパースIMUから、人間の全身姿勢と物体の6自由度軌跡を同時推定するフレームワークを提案。IMUデータから手と物体の接触を確率的に推定し、それを手がかりに人間と物体の動きを統合的に復元する。

詳しい要約

1. どんなもの？

- スパースな IMU から全身 human pose と 6-DoF object trajectory を同時推定する枠組み IMU-HOI を提案。 - 身体と物体に装着した IMU のみを用い、human-object interaction を明示的にモデル化。 - AR/VR や robotics 応用を想定し、vision-based 手法の遮蔽・撮影範囲制約を回避。

2. 先行研究と比べてどこがすごい？

- 既存の IMU-based motion capture は孤立した人間を前提とし、物体接触や dynamics を無視。 - IMU-HOI は物体接触を考慮し、人間と物体の coherent で drift-resilient な軌跡を推定。 - 挑戦的な human-object interaction シナリオで prior inertial motion capture 手法より大幅な精度向上。 - 既存の sparse-IMU mocap backbone に最小変更で組み込め、適用範囲を拡張。

3. 技術・手法の肝は？

- IMU ストリームから hand-object contact を確率的に推定し、高レベル信号として利用。 - 接触 cue に基づき kinematic 推論と inertial 推論をルーティング。 - 3 段階 fusion pipeline で human pose と root translation を精緻化。 - hand-based forward kinematics と object-IMU integration を融合し、物体運動を推定。

4. どうやって有効だと検証した？

- 挑戦的な human-object interaction シナリオでの実験を実施。 - prior inertial motion capture 手法と比較し、大幅な精度向上を確認。 - 既存 sparse-IMU mocap backbone への組み込み可能性も示す。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている prior inertial motion capture 手法。 - sparse-IMU mocap backbone。 - 同分野の定番として vision-based motion capture、IMU-based motion capture、human-object interaction 推定。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lizhou Lin, Songpengcheng Xia, Zengyuan Lai, Lan Sun, Jiarui Yang, Ling Pei

分類: cs.CV

原文アブストラクト

Capturing full-body human motion with object interactions is crucial for AR/VR and robotics applications, yet it remains challenging for conventional vision-based methods due to occlusions and constrained capture volumes. Inertial measurement units (IMUs) offer a compelling alternative without line-of-sight requirements, but existing IMU-based motion capture assumes an isolated human and ignores object contacts and dynamics. To bridge this gap, we present IMU-HOI, a novel framework that jointly recovers full-body human pose and 6-DoF object trajectory from sparse IMUs on the body and object, explicitly modeling human-object interaction. Our approach first infers probabilistic hand-object contacts directly from IMU streams and uses them as a high-level signal to route between kinematic and inertial reasoning. These contact cues drive a three-stage fusion pipeline that refines human pose and root translation, and fuses hand-based forward kinematics with object-IMU integration for object motion, yielding coherent, drift-resilient trajectories for both human and object. Experiments on challenging human-object interaction scenarios demonstrate substantial accuracy gains over prior inertial motion capture methods. Moreover, IMU-HOI can be plugged into existing sparse-IMU mocap backbones with minimal changes, effectively extending the scope of purely inertial motion capture from isolated humans to full human-object interaction and joint motion estimation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →