モーションキャプチャ2026/10/12arXiv:2610.16256

EgoWholeView：頭部搭載カメラのみによる身体と両手の動作キャプチャで身体性デモンストレーションを実現

EgoWholeView: Camera-Only Head-Mounted Capture of Body and Bimanual Hand Motion for Embodied Demonstrations

6台の広角RGBカメラを頭部に装着し、自己中心視点から身体と両手の動きを高精度にキャプチャするウェアラブルシステムを提案。単眼予測と比べ身体と手の精度が向上し、時間的洗練で動きの滑らかさも改善。

詳しい要約

1. どんなもの？

- 頭部装着型の6台同期広角RGBカメラによるウェアラブル身体・両手動作キャプチャシステム - 外向き視点でリグをworld frameに定位 - 下向きの重複ペアでSMPL-X身体とMANO手パラメータを独立予測 - 単眼予測と比べfusionでPA-MPJPEが身体3.7%、手11.2%低減 - temporal refinementで角加速度大きさが身体32.2%、手31.0%低減 - 第三者視点なし・RGBのみで低コスト・ポータブルなegocentric interaction data取得を実現

2. 先行研究と比べてどこがすごい？

- 単一egocentricカメラは限られた視野、scale ambiguity、hand-object occlusionに脆弱 - 単眼予測と比較してfusionによりPA-MPJPEを身体3.7%、手11.2%改善 - temporal refinementで角加速度大きさを身体32.2%、手31.0%低減 - 6カメラ録画でbenchmark-fitted gatesを再調整なしに共有world frameで身体・手状態を生成 - temporal refinementで手の加速度大きさを41.08%低減 - 第三者視点やRGB以外のセンサを使わず低コスト・ポータブルな点が先行研究と異なる

3. 技術・手法の肝は？

- 6台の同期広角RGBカメラを頭部に装着するウェアラブルリグ - 役割特化パイプライン：外向き視点がworld frameでリグを定位 - 下向きの重複ペアがSMPL-X身体とMANO手パラメータを独立予測 - 両予測器をegocentric fisheyeデータに適応 - 予測自体から信頼度cueを測定し、身体・手関節回転のfusionを重み付け - shapeは視点・フレーム間で集約 - ペアのbaselineでmetric scaleを固定し、triangulationでroot translationを復元 - temporal refinementを適用

4. どうやって有効だと検証した？

- 単眼予測との比較でfusionのPA-MPJPE改善を評価：身体3.7%、手11.2% - temporal refinementによる角加速度大きさ低減を評価：身体32.2%、手31.0% - 6カメラ録画でbenchmark-fitted gatesを再調整なしに共有world frameで身体・手状態を生成できることを確認 - temporal refinementで手の加速度大きさを41.08%低減 - 具体的なデータセット名や被験者数は要旨からは不明

5. 議論はある？

- 単一egocentricカメラの限られた視野、scale ambiguity、hand-object occlusionへの対処が動機 - 6カメラfusionとtemporal refinementの有効性を数値で示す - benchmark-fitted gatesが再調整なしに機能する点を報告 - 低コスト・ポータブルなegocentric interaction data取得経路を提示 - 限界や失敗事例、計算コスト、一般化可能性に関する議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない - 関連手法としてSMPL-X、MANO、egocentric fisheyeデータ、monocular prediction、triangulation、temporal refinementが挙げられる - 同分野の定番としてegocentric body/hand motion capture、head-mounted multi-camera capture、teleoperation、self-avatarに関する研究を読むとよい

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yaoqing Hu, Xuguo He, Daohan Cui, Yukun Shi, Kai Chen

分類: cs.CV

原文アブストラクト

Head-mounted body and bimanual motion capture supports self-avatars, teleoperation, and embodied demonstrations. However, a single egocentric camera is vulnerable to a limited field of view, scale ambiguity, and hand-object occlusion. We present EgoWholeView, a wearable capture system of six synchronized wide-angle RGB cameras with a role-specialized pipeline. The outward views localize the rig in a world frame, while an overlapping downward pair independently predicts SMPL-X body and MANO hand parameters. Both predictors are adapted to egocentric fisheye data. To combine the two, reliability cues measured from the predictions themselves weight the fusion of body and hand joint rotations, while shape is aggregated across views and frames. The pair's baseline fixes metric scale, and triangulation recovers root translation. Relative to monocular prediction, fusion reduces PA-MPJPE by 3.7% for the body and 11.2% for the hands, and temporal refinement lowers angular-acceleration magnitude by 32.2% and 31.0%, respectively. On our six-camera recording, the pipeline produces body and hand states in a shared world frame using benchmark-fitted gates without retuning, and temporal refinement lowers hand acceleration magnitude by 41.08%. Using only RGB cameras and no third-person view, EgoWholeView offers a low-cost, portable route to egocentric interaction data.

arXivで原文を読む →arXiv概要ページ

EgoWholeView：頭部搭載カメラのみによる身体と両手の動作キャプチャで身体性デモンストレーションを実現

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell