日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2609.34010

ZeroBot:生成的Real2Simで数分でゼロから学習

ZeroBot: Learning from Scratch in Minutes with Generative Real2Sim

シェア:XThreadsFacebookLINEはてブBluesky

単一視点画像から画像to3D生成モデルで物体メッシュを作り、シミュレーションで並列強化学習を行い、実機タスクを数分で学習するフレームワーク。

詳しい要約

1. どんなもの?

- 単一視点画像と目標姿勢のみから、ロボットマニピュレーションタスクをゼロから数分で学習する real2sim フレームワーク ZeroBot を提案。 - 人間のデモンストレーション、ポリシー事前学習、既知の物体モデルを一切必要としない。 - 画像から3D生成モデルで物体メッシュを取得し、シミュレーションで大規模並列強化学習を行う。 - 実世界タスク(把持、押し、関節物体操作、多段階操作)で平均119秒の学習時間で87%の成功率を達成。

2. 先行研究と比べてどこがすごい?

- 従来の real2sim やロボット学習では、人間のデモ、事前学習済みポリシー、既知の物体モデルが必要なことが多い。 - ZeroBot はこれらを全てゼロから始め、単一視点画像と目標姿勢のみで学習可能。 - 画像から3D生成モデルを活用し、シミュレーションで効率的に学習する点が新しい。 - 学習時間が数分と非常に短く、実世界タスクで高い成功率を示す。

3. 技術・手法の肝は?

- 単一視点画像から image-to-3D 生成モデルを用いて完全な物体メッシュを生成。 - 生成メッシュをシミュレーション環境に取り込み、大規模並列強化学習を実行。 - 学習加速のため、生成形状と学習された価値関数を活用し、ロボットと物体の接触を含む状態をサンプリングする行動空間を導入。 - これにより効率的な探索と学習を実現。

4. どうやって有効だと検証した?

- 実世界タスク(把持、押し、関節物体操作、多段階操作)で評価。 - 平均学習時間119秒で87%の成功率を達成。 - これらの結果から、画像から3Dモデルを用いた real2sim フレームワークの有効性を示した。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、一般化性に関する議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として image-to-3D 生成モデル、real2sim、大規模並列強化学習、価値関数を用いた探索が挙げられる。 - 同分野の定番として、シミュレーションからのロボット学習(sim-to-real)やデモンストレーションからの学習(imitation learning)に関する論文が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ivan Kapelyukh, Xiaohan Zhang, Stephen James, Laura Herlant, Edward Johns

分類: cs.RO, cs.CV

原文アブストラクト

We present ZeroBot, a real2sim framework for learning a robot manipulation task from scratch in minutes under challenging conditions: zero human demonstrations, zero policy pre-training, and zero known object models. Given only a single view of an object and a goal pose for that object, ZeroBot uses image-to-3D generative models to obtain a complete object mesh, which is used in simulation for large-scale parallel reinforcement learning. To accelerate training, we introduce an action space which leverages the generated geometry and learned value function to sample states involving robot-object contact. When evaluated on real-world tasks including grasping, pushing, articulated object interaction, and multi-stage manipulation, ZeroBot achieves an 87% success rate with an average training time of 119 seconds. These results show the value of using image-to-3D models in a real2sim framework for rapid, autonomous robot learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI