StereoEngine: ステレオカメラなしで両手ロボットのステレオデータを拡張
StereoEngine: Scaling Stereo Bimanual Robot Data without Stereo Cameras
単眼動画からステレオペアを生成する手法と、シミュレーションからフォトリアルなステレオペアを生成する手法を提案し、両手マニピュレーションの性能を向上させた。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jason Chen, I-Chun Arthur Liu, Gaurav Sukhatme, Daniel Seita
分類: cs.RO, cs.CV, cs.LG
原文アブストラクト
Stereo vision is increasingly used for robotic manipulation, with a growing body of work incorporating it into Vision-Language-Action (VLA) models. However, the scarcity of large-scale, real-world stereo datasets remains a fundamental bottleneck for scaling such policies. Recent generative monocular-to-stereo methods target settings such as VR content and autonomous driving. No prior work produces realistic synthetic stereo data for robotic manipulation, where stereo supervision has come predominantly from simulation. We propose StereoEngine, which introduces two complementary methods to synthesize stereo data for robotic manipulation. In the first, we warp a monocular (left) video into the right view using estimated depth and inpaint the disoccluded regions with a video diffusion model, lifting monocular demonstrations into stereo pairs without training on real stereo. In the second, we render a stereo pair in simulation and jointly generate both photorealistic views, producing consistent left-right data without any real video as input. StereoEngine outperforms existing baselines in generated stereo quality, and using its synthetic data for policy mid-training or task-specific fine-tuning substantially improves downstream bimanual manipulation. Project website: https://stereoengine.github.io
関連論文
- 経験時代における実世界コード・アズ・ポリシー:ACE-CaP-0マニピュレーション
- 把持のアドミタンスによる入出力特性評価:設計パラメータと把持挙動の接続マニピュレーション
- ManiLadder:カテゴリ別・多難易度タスクラダーによるロボットマニピュレーションのベンチマークマニピュレーション
- 成功確率を変える事象を記憶する:Criticゲート付きイベントメモリによる長期的マニピュレーションマニピュレーション
- BiPOP: 長期的な両腕ロボット操作のための部分順序計画マニピュレーション
- RUMI: 拡張現実と触覚フィードバックを備えたRobotiq対応の汎用マニピュレーションインターフェースマニピュレーション
