日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ生成arXiv:2512.01773

IGen: オープンワールド画像からのロボット学習のためのスケーラブルなデータ生成

IGen: Scalable Data Generation for Robot Learning from Open-World Images

シェア:XThreadsFacebookLINEはてブBluesky

オープンワールド画像から3Dシーン表現とVLM推論を用いてロボットの視覚運動データを生成し、実世界データに匹敵する性能のポリシー学習を可能にするフレームワークを提案。

詳しい要約

1. どんなもの?

- オープンワールド画像からロボット学習用の視覚運動データをスケーラブルに生成するフレームワーク IGen の提案 - 入力はロボット行動が付随しない実世界の2D画像 - 出力は realistic な視覚観測と実行可能な action(SE(3) end-effector pose 列) - generalist robotic policy の学習データ不足を低コストで補うことを狙う

2. 先行研究と比べてどこがすごい?

- 従来の on-robot データ収集は labor-intensive で特定環境に限定されがち - オープンワールド画像は多様だが robot actions が無く、ロボット学習にほぼ未活用だった - IGen はこの欠落を補い、画像から action と視覚観測を生成する点が新しい - 実世界データのみで学習した policy に匹敵する性能を合成データのみで示した点が特長

3. 技術・手法の肝は?

- 非構造な 2D pixels を構造化された 3D scene representation に変換 - vision-language models の推論能力で scene-specific な task instruction を high-level plan に変換 - さらに low-level action として SE(3) end-effector pose 列を生成 - 生成 pose から動的な scene evolution を合成し、時間的に一貫した視覚観測を rendering

4. どうやって有効だと検証した?

- IGen が生成する visuomotor data の品質を実験で検証 - IGen 合成データのみで学習した policy が real-world data で学習した policy と comparable な性能を達成 - 詳細な評価指標・データセット・タスク設定は要旨からは不明

5. 議論はある?

- オープンワールド画像を generalist robotic policy 学習のスケーラブルなデータ源として位置づけ - 合成データのみで実データ相当の性能が得られる可能性を主張 - 限界・失敗ケース・sim-to-real gap 等の議論は要旨からは不明

6. 次に読むべき論文は?

- vision-language models を用いた robot learning / task planning の関連研究 - 3D scene representation を用いた manipulation 研究 - SE(3) end-effector pose 生成・trajectory synthesis の研究 - 合成 visuomotor data による policy training(例: 画像からの data augmentation / synthesis 系) - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenghao Gu, Haolan Kang, Junchao Lin, Jinghe Wang, Duo Wu, Shuzhao Xie, Fanding Huang, Junchen Ge, Ziyang Gong, Letian Li, Hongying Zheng, Changwei Lv, Zhi Wang

分類: cs.RO

原文アブストラクト

The rise of generalist robotic policies has created an exponential demand for large-scale training data. However, on-robot data collection is labor-intensive and often limited to specific environments. In contrast, open-world images capture a vast diversity of real-world scenes that naturally align with robotic manipulation tasks, offering a promising avenue for low-cost, large-scale robot data acquisition. Despite this potential, the lack of associated robot actions hinders the practical use of open-world images for robot learning, leaving this rich visual resource largely unexploited. To bridge this gap, we propose IGen, a framework that scalably generates realistic visual observations and executable actions from open-world images. IGen first converts unstructured 2D pixels into structured 3D scene representations suitable for scene understanding and manipulation. It then leverages the reasoning capabilities of vision-language models to transform scene-specific task instructions into high-level plans and generate low-level actions as SE(3) end-effector pose sequences. From these poses, it synthesizes dynamic scene evolution and renders temporally coherent visual observations. Experiments validate the high quality of visuomotor data generated by IGen, and show that policies trained solely on IGen-synthesized data achieve performance comparable to those trained on real-world data. This highlights the potential of IGen to support scalable data generation from open-world images for generalist robotic policy training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI