WristCompass: 手首の運動学的連成を学習可能な視覚概念として用いた自己カメラ姿勢推定
WristCompass: Kinematic Coupling as a Learnable Visual Concept for Ego-Camera Orientation
手で隠れたシーンから自己カメラの向きを推定する際、手首の動きとカメラ姿勢の運動学的連成を学習することで、大規模シーン再構成モデルを凌ぐ精度を少数パラメータで達成した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Varun Nair, Vidyut Baradwaj, Jiahang He, Anya Singh, Jai Relan, Cabrel Happi
分類: cs.CV, cs.RO
原文アブストラクト
Recovering ego-camera orientation from manipulation video is a prerequisite for disentangling hand motion from camera motion, a key step in imitation learning from egocentric demonstrations. The obvious approach, inferring orientation from scene geometry, fails when hands occlude the frame: VGGT, a 1B-parameter scene reconstruction model, scores worse than a constant predictor on the TACO benchmark. We identify an alternative visual concept that is present precisely when scene geometry is absent: kinematic coupling dynamics, the structured physical relationship between wrist motion and camera orientation imposed by the arm-shoulder-head chain. We find that this concept is compact (4D inter-wrist features outperform 126D full hand keypoints), temporal (requiring a GRU over short windows rather than per-frame retrieval), and physically grounded (transferring zero-shot across datasets because it is rooted in anatomy rather than scene appearance). Trained only on tabletop manipulation, WristCompass transfers zero-shot to Epic Kitchens cooking video, achieving 14.3$^\circ$ median geodesic error and approaching the performance of a 1B-parameter scene model at 200K GRU parameters.
関連論文
- 平行透視誤差伝播モデルに基づくカメラ位置計測法の研究カメラ姿勢推定
- Cycle-Sync: サイクル一貫性同期によるロバストな大域カメラ姿勢推定カメラ姿勢推定
- DiffPoseNet：直接的な微分可能カメラ姿勢推定カメラ姿勢推定
- 視野外特徴点予測によるモデルベースカメラ姿勢推定カメラ姿勢推定
- 点と直線を統合した相対カメラ姿勢推定カメラ姿勢推定
- カメラ姿勢と特徴対応の同時推定における大域的最適インライア集合最大化カメラ姿勢推定
