Real2Edit2Real: 3D制御インターフェースによるロボット実演の生成

- Real2Edit2Real は、実世界の少数の manipulation デモンストレーションから新しいデモを生成するデータ拡張フレームワーク。 - 3D control interface を介して 3D 編集性と 2D 視覚データを橋渡しする。 - 多視点 RGB から scene geometry を再構成し、point cloud 上で編集して新しい manipulation trajectory を生成。 - 最後に multi-conditional video generation model で空間的に拡張した多視点 manipulation 動画を合成する。

- 大規模データセットと visuomotor policy の進展に対し、多様なデモ収集コストが spatial generalization のボトルネックである点を問題視。 - 繰り返しのデータ収集を削減するため、3D 編集と 2D 視覚データを組み合わせて新規デモを生成する点が特徴。 - 1-5 個の source demonstration から生成したデータで学習した policy が 50 個の実世界デモと同等以上に達し、data efficiency を最大 10-50x 改善。 - 具体的な先行研究名との比較は要旨からは不明。

- 多視点 RGB 観測から metric-scale 3D reconstruction model で scene geometry を再構成。 - 再構成幾何に基づき point cloud 上で depth-reliable 3D editing を行い、新しい manipulation trajectory を生成。 - robot pose を幾何的に補正して物理的に整合する depth を回復し、信頼できる条件とする。 - depth を主制御信号とし、action・edge・ray maps を併用する multi-conditional video generation model で多視点 manipulation 動画を合成。

- 4 つの実世界 manipulation タスクで実験。 - 1-5 個の source demonstration から生成したデータで学習した policy が、50 個の実世界デモで学習した policy と同等以上。 - data efficiency が最大 10-50x 向上。 - height および texture editing の実験でフレームワークの柔軟性と拡張性を示す。

- 統一的なデータ生成フレームワークとしての可能性を示唆。 - height・texture editing への拡張性を確認。 - 限界や失敗ケース、計算コスト、sim-to-real gap などの詳細な議論は要旨からは不明。

- 要旨で参照・比較されている個別研究は不明。 - 関連手法として、metric-scale 3D reconstruction model、point cloud editing、multi-conditional video generation model、visuomotor policy learning の代表的文献を次に読む候補として挙げる。