2D姿勢と3Dモーションの相乗的再構成による広域多人数ビデオモーションキャプチャ
Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space Multi-Person Video Motion Capture in the Wild
多カメラ映像から各人物の3D姿勢を予測し、その結果を次フレームの2Dバウンディングボックス予測にフィードバックすることで、広域・多人数環境での高精度なマーカーレスモーションキャプチャを実現した。
著者: Takuya Ohashi, Yosuke Ikegami, Yoshihiko Nakamura
分類: cs.CV, cs.RO
原文アブストラクト
Although many studies have investigated markerless motion capture, the technology has not been applied to real sports or concerts. In this paper, we propose a markerless motion capture method with spatiotemporal accuracy and smoothness from multiple cameras in wide-space and multi-person environments. The proposed method predicts each person's 3D pose and determines the bounding box of multi-camera images small enough. This prediction and spatiotemporal filtering based on human skeletal model enables 3D reconstruction of the person and demonstrates high-accuracy. The accurate 3D reconstruction is then used to predict the bounding box of each camera image in the next frame. This is feedback from the 3D motion to 2D pose, and provides a synergetic effect on the overall performance of video motion capture. We evaluated the proposed method using various datasets and a real sports field. The experimental results demonstrate that the mean per joint position error (MPJPE) is 31.5 mm and the percentage of correct parts (PCP) is 99.5% for five people dynamically moving while satisfying the range of motion (RoM). Video demonstration, datasets, and additional materials are posted on our project page.
関連論文
- EgoWholeView:頭部搭載カメラのみによる身体と両手の動作キャプチャで身体性デモンストレーションを実現モーションキャプチャ
- 生体力学的知識を活用した多視点マーカーレス手の動きのモーションキャプチャモーションキャプチャ
- IMU-HOI: 接触を考慮した慣性融合による人間と物体の相互作用とモーションキャプチャの共生フレームワークモーションキャプチャ
- IMUと多体動力学モデルを密結合した運動・力学推定手法モーションキャプチャ
- 単眼イベントカメラによるモーションキャプチャシステムモーションキャプチャ
- CoCap: 屋外環境における複数人物シーンの協調モーションキャプチャモーションキャプチャ
