360度カメラのみで実現するモジュラー両手ロコマニピュレーションキャプチャのためのキネマティックインターフェース
Kinematic Interface for the Wild: Modular Bimanual Loco-Manipulation Capture from 360$^{\circ}$ Cameras Alone
360度カメラの前後レンズを活用し、追加のトラッキング機器なしで両手の操作と位置推定を同時に行うキャプチャキットKIWIを提案。後方レンズで部屋の地図を作り両手を登録し、前方レンズで操作を記録する。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Benjamin Yang, Weiying Wang, Shenggao Li, Keming Yan, Sasha Wilkinson, Zelin Wang, Yip Fun Yeung, Lingfeng Sun
分類: cs.RO
原文アブストラクト
A wrist-mounted camera for UMI-style data collection must do two jobs: record the manipulation and localize in the scene. Most handheld devices localize online from workspace-facing views crowded by hands and objects, or add dedicated tracking hardware. Room-scale bimanual capture therefore still tends to instrument the operator or the scene for accurate localization. We present KIWI (Kinematic Interface for the Wild), a capture kit whose only electronics are off-the-shelf cameras. Our core system splits the two jobs across the two lenses of a 360-degree camera. The rear lens faces the room and builds a shared metric map that registers both hands, and an optional head camera, in one frame without workspace co-visibility; the front lens records the manipulation, and offline IMU fusion bridges front-lens tracking loss. Through our quick-release plate, the camera module attaches to chopstick grippers, parallel-jaw grippers, hand-wrist mounts, or robot flanges. Across six bimanual recordings, combining the rear and front lenses failed to localize only 0.1% of query frames, whereas front-only bimanual feature alignment failed on 24.8% of frames and lost one recording entirely; against evaluation fiducials, localization error stayed within 4.5 mm. KIWI's recovered poses were sufficiently consistent for the four wrist streams alone to reconstruct the scene as a 3D Gaussian splat.
関連論文
- 四足ロボットのラストマイル把持ナビゲーションのための統合方策学習モデルロコマニピュレーション
- 凍結した歩行ポリシー下での異種歩行ダイナミクスのオンライン学習による高精度ロコマニピュレーションロコマニピュレーション
- フェーズ条件付き方策最適化による多段階ロコマニピュレーションの学習ロコマニピュレーション
- ヒューマノイドの地平線：並列訓練・動的開始・報酬ゲーティングによる全身ロコマニピュレーションのタスク時間拡張ロコマニピュレーション
- HULK: ヒューマノイドの全身力強いロコマニピュレーション学習ロコマニピュレーション
- 接触を決定変数とする：脚式ロコマニピュレーションのための能力トレードオフ接触選択ロコマニピュレーション
