日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.08547

R2RGEN: 空間的に汎化されたマニピュレーションのための実世界間3Dデータ生成

R2RGEN: Real-to-Real 3D Data Generation for Spatially Generalized Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

点群の観測と行動のペアを直接拡張し、シミュレータやレンダリングを使わずに実世界データを生成するフレームワークを提案。空間的に多様なデータを効率的に生成し、模倣学習による汎化性能を高める。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための real-to-real 3D データ生成フレームワーク R2RGen を提案 - 空間的汎化 (spatial generalization) を目的に、少数の実演から空間的に多様なデータを生成 - pointcloud の observation-action ペアを直接拡張し、実世界データを生成 - simulator も rendering も不要で、効率的かつ plug-and-play - 3段階の統合フレームワークで構成される

2. 先行研究と比べてどこがすごい?

- 従来は sim 上でデータ生成し sim-to-real gap が大きい手法が主流 - 既存手法は fixed-base シナリオや predefined camera viewpoints など制約された設定に限定されがち - R2RGen は simulator/rendering 不要で real-to-real にデータを生成 - 異なる camera setups の実演を shared 3D space で扱える点が特徴 - 固定台座や固定視点の制約を緩和し、mobile manipulation への応用可能性を示す

3. 技術・手法の肝は?

- 第1段階: 異なる camera setups の source demonstrations を scene / trajectory parsing により shared 3D space で前処理 - 第2段階: group-wise backtracking strategy で物体とロボットの位置を拡張 (augment) - 第3段階: camera-aware post-processing で生成データの分布を実世界の 3D sensor に整合 - pointcloud の observation-action ペアを直接拡張する点が肝 - simulator も rendering も使わないため効率的で plug-and-play

4. どうやって有効だと検証した?

- 広範な実験 (extensive experiments) でデータ効率の大幅な向上を実証 - mobile manipulation へのスケーリングと応用の可能性を示す - 具体的なタスク・データセット・比較対象・評価指標は要旨からは不明

5. 議論はある?

- 空間的汎化には多様な空間配置をカバーする大量の人間実演が必要という課題意識 - 既存のデータ生成手法の sim-to-real gap と制約された設定が問題として挙げられる - R2RGen はこれらの課題に対処するが、限界や失敗ケースの詳細は要旨からは不明 - mobile manipulation への応用可能性に言及

6. 次に読むべき論文は?

- imitation learning による visuomotor policy の関連研究 - sim-to-real gap を扱うデータ生成・domain randomization 系の研究 - pointcloud ベースの manipulation policy 研究 - mobile manipulation に関する研究 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiuwei Xu, Angyuan Ma, Hankun Li, Bingyao Yu, Zheng Zhu, Jie Zhou, Jiwen Lu

分類: cs.RO, cs.CV

原文アブストラクト

Towards the aim of generalized robotic manipulation, spatial generalization is the most fundamental capability that requires the policy to work robustly under different spatial distribution of objects, environment and agent itself. To achieve this, substantial human demonstrations need to be collected to cover different spatial configurations for training a generalized visuomotor policy via imitation learning. Prior works explore a promising direction that leverages data generation to acquire abundant spatially diverse data from minimal source demonstrations. However, most approaches face significant sim-to-real gap and are often limited to constrained settings, such as fixed-base scenarios and predefined camera viewpoints. In this paper, we propose a real-to-real 3D data generation framework (R2RGen) that directly augments the pointcloud observation-action pairs to generate real-world data. R2RGen is simulator- and rendering-free, thus being efficient and plug-and-play. Specifically, we propose a unified three-stage framework, which (1) pre-processes source demonstrations under different camera setups in a shared 3D space with scene / trajectory parsing; (2) augments objects and robot's position with a group-wise backtracking strategy; (3) aligns the distribution of generated data with real-world 3D sensor using camera-aware post-processing. Empirically, R2RGen substantially enhances data efficiency on extensive experiments and demonstrates strong potential for scaling and application on mobile manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI