日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作学習arXiv:2606.17040

R2RDreamer: 空間的に汎化する2次元操作ポリシーのための3次元認識データ拡張

R2RDreamer: 3D-aware Data Augmentation for Spatially-generalized 2D Manipulation Policies

シェア:XThreadsFacebookLINEはてブBluesky

実デモから3D編集と2Dビデオ補完を組み合わせて、物体位置や視点が変わっても動作する操作ポリシーを学習するためのデータ拡張手法を提案した。

詳しい要約

1. どんなもの?

R2RDreamerは、実世界の少数のデモンストレーションから空間的に汎化した2D操作ポリシーを学習するためのreal-to-realデータ拡張フレームワークである。3D空間でのaction-observation編集の幾何学的整合性を保ちつつ、視覚的補完を2D video空間で行う。

2. 先行研究と比べてどこがすごい?

従来のsimulation-based augmentationは複雑な環境・物体設定やsim-to-real gapの問題があった。またreal-to-real手法は強い3D scene parsingとgeometry completionに依存し、3D pointcloudポリシー向けの観測を生成しがちだった。R2RDreamerはこれらを回避し、RGBベースの2Dポリシーにも適用可能な点が優れている。

3. 技術・手法の肝は?

- 軽量な3D拡張: 不完全な物体pointcloudとend-effector軌道を共有3Dフレームで編集 - 編集シーンをocclusion-aware reasoningでマスク付きimage-space control videoに投影 - dense-control image-to-videoモデルで時間的に一貫したRGB観測を補完

4. どうやって有効だと検証した?

空間的にシフトした操作タスクにおいて、2D diffusion-styleポリシーとvision-language-actionポリシーの両方で実験を行い、限られたソースデモから空間汎化が改善することを示した。また3D編集、occlusion-aware projection、video completionの寄与を分析で検証した。

5. 議論はある?

要旨からは不明

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていないが、関連手法としてsimulation-based augmentation、real-to-real methods、3D pointcloud policies、2D diffusion-style policies、vision-language-action policiesが挙げられる。同分野の定番としてimitation learning、data augmentation、sim-to-real transferに関する論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiuwei Xu, Haowen Sun, Angyuan Ma, Yiwei Zhang, Zhenyu Wu, Xiaofeng Wang, Bingyao Yu, Zheng Zhu, Jie Zhou, Jiwen Lu

分類: cs.RO, cs.CV

原文アブストラクト

Spatial generalization is critical for imitation-learned manipulation policies, but achieving it typically requires scaling demonstrations across diverse object poses, robot configurations, and camera viewpoints. Data augmentation from a few source demonstrations offers a practical alternative to costly real-world collection. Simulation-based augmentation can create controllable variation, but requires complex environment and object setup and may introduce a sim-to-real gap. Recent real-to-real methods avoid these issues by jointly editing 3D observations and action trajectories from real demonstrations, yet they still rely on strong 3D scene parsing and geometry completion, and often produce observations tailored to 3D pointcloud policies rather than RGB-based 2D policies. We propose R2RDreamer, a real-to-real demonstration augmentation framework that preserves the geometric consistency of 3D action-observation editing while moving visual completion to 2D video space. Specifically, R2RDreamer first performs lightweight 3D augmentation by editing incomplete object pointclouds and end-effector trajectories in a shared 3D frame; it then projects the edited scene into masked image-space control videos with occlusion-aware reasoning and uses a dense-control image-to-video model to complete temporally coherent RGB observations. Experiments on spatially shifted manipulation tasks with both 2D diffusion-style policies and vision-language-action policies show that R2RDreamer improves spatial generalization from limited source demonstrations, with analyses validating the contributions of 3D editing, occlusion-aware projection, and video completion.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI