日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.12734

StereoEngine: ステレオカメラなしで両手ロボットのステレオデータを拡張

StereoEngine: Scaling Stereo Bimanual Robot Data without Stereo Cameras

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画からステレオペアを生成する手法と、シミュレーションからフォトリアルなステレオペアを生成する手法を提案し、両手マニピュレーションの性能を向上させた。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの合成ステレオデータ生成フレームワーク。 - 2つの手法を提案。 - 単眼(left)動画を推定depthでwarpし、video diffusion modelでdisocclusion領域をinpaintしてステレオペア化。 - シミュレーションでステレオペアをレンダリングし、両視点をphotorealisticに生成。 - 実ステレオカメラなしでbimanualロボットデータを拡張。

2. 先行研究と比べてどこがすごい?

- 既存のmonocular-to-stereo生成はVRや自動運転向け。 - ロボットマニピュレーション向けのリアルな合成ステレオデータを生成する先行研究はなし。 - 従来のステレオ教師信号は主にシミュレーション由来。 - StereoEngineは生成ステレオ品質で既存baselineを上回る。

3. 技術・手法の肝は?

- 手法1: 単眼(left)動画を推定depthで右視点へwarpし、video diffusion modelでdisocclusionをinpaint。実ステレオで学習せず単眼デモをステレオペアに持ち上げる。 - 手法2: シミュレーションでステレオペアをレンダリングし、両視点をjointlyにphotorealistic生成。実動画入力不要で左右一貫データを生成。 - 生成データをpolicyのmid-trainingやタスク特化fine-tuningに利用。

4. どうやって有効だと検証した?

- 生成ステレオ品質で既存baselineを上回ることを確認。 - 合成データをpolicyのmid-trainingまたはタスク特化fine-tuningに用いると、下流のbimanual manipulationが大幅に改善。 - 詳細な評価指標・データセットは要旨からは不明。

5. 議論はある?

- 大規模実世界ステレオデータ不足がVLAモデルスケーリングのボトルネック。 - 生成ステレオ品質と下流タスク改善を示すが、限界・失敗例・計算コストは要旨からは不明。 - 実ステレオなしでデータ拡張可能という主張。

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存研究: generative monocular-to-stereo methods (VR content, autonomous driving向け)。 - 関連手法: Vision-Language-Action (VLA) models、video diffusion model、simulation-based stereo supervision。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jason Chen, I-Chun Arthur Liu, Gaurav Sukhatme, Daniel Seita

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Stereo vision is increasingly used for robotic manipulation, with a growing body of work incorporating it into Vision-Language-Action (VLA) models. However, the scarcity of large-scale, real-world stereo datasets remains a fundamental bottleneck for scaling such policies. Recent generative monocular-to-stereo methods target settings such as VR content and autonomous driving. No prior work produces realistic synthetic stereo data for robotic manipulation, where stereo supervision has come predominantly from simulation. We propose StereoEngine, which introduces two complementary methods to synthesize stereo data for robotic manipulation. In the first, we warp a monocular (left) video into the right view using estimated depth and inpaint the disoccluded regions with a video diffusion model, lifting monocular demonstrations into stereo pairs without training on real stereo. In the second, we render a stereo pair in simulation and jointly generate both photorealistic views, producing consistent left-right data without any real video as input. StereoEngine outperforms existing baselines in generated stereo quality, and using its synthetic data for policy mid-training or task-specific fine-tuning substantially improves downstream bimanual manipulation. Project website: https://stereoengine.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI