日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作学習arXiv:2605.13775

RoboEvolve: 限られたデータでのロボット操作のためのプランナーとシミュレーターの共進化

RoboEvolve: Co-Evolving Planner-Simulator for Robotic Manipulation with Limited Data

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のデータ不足を解決するため、VLMプランナーとVGMシミュレーターを相互強化する共進化ループで構成されるフレームワークRoboEvolveを提案。未ラベルのシード画像のみから動作を自律生成し、データ効率を大幅に向上させる。

詳しい要約

1. どんなもの?

RoboEvolveは、VLM plannerとVGM simulatorを相互強化の共進化ループで結合したロボットマニピュレーション用フレームワーク。 - ラベルなしseed画像のみで動作 - 認知に着想を得た二段階機構 - daytime exploration: 意味制御された多粒度報酬で物理的に根拠ある行動発見 - nighttime consolidation: near-miss失敗を活用しpolicy最適化を安定化 - 自律的漸進カリキュラムで単純動作から複雑タスクへ拡張

2. 先行研究と比べてどこがすごい?

VLMとVGMによる自律データ合成の限界を克服。 - VLMはsemantic-spatial misalignment、VGMはphysical hallucinationsを抱える - RoboEvolveは両者を共進化させ相互補完 - 効果: base plannerを30絶対ポイント向上、simulator成功率を平均48%増 - データ効率: 500 unlabeled seedsで完全教師ありbaselineを上回り、50倍削減 - 継続学習でcatastrophic forgettingなし

3. 技術・手法の肝は?

VLM plannerとVGM simulatorの共進化ループが肝。 - ラベルなしseed画像のみ使用 - 二段階機構 - daytime exploration: semantic-controlled multi-granular rewardで物理的に根拠ある行動を発見 - nighttime consolidation: near-miss失敗を採掘しpolicy最適化を安定化 - autonomous progressive curriculumで単純から複雑へ自然にスケール

4. どうやって有効だと検証した?

広範な実験で検証。 - base plannerを30絶対ポイント向上 - simulator成功率を平均48%増 - 500 unlabeled seedsで完全教師ありbaselineを上回る(50倍削減) - catastrophic forgettingなしの堅牢な継続学習を実証

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、実機転移の議論は記述なし - 今後の課題や倫理的影響も言及なし

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法を挙げる。 - VLM planner - VGM simulator - 完全教師ありbaseline - 同分野の定番としてrobotic manipulationのdata synthesisやcontinual learning関連

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Harold Haodong Chen, Sirui Chen, Yingjie Xu, Wenhang Ge, Ying-Cong Chen

分類: cs.RO, cs.CV

原文アブストラクト

The scalability of robotic manipulation is fundamentally bottlenecked by the scarcity of task-aligned physical interaction data. While vision-language models (VLMs) and video generation models (VGMs) hold promise for autonomous data synthesis, they suffer from semantic-spatial misalignment and physical hallucinations, respectively. To bridge this gap, we introduce RoboEvolve, a novel framework that couples a VLM planner and a VGM simulator into a mutually reinforcing co-evolutionary loop. Operating purely on unlabeled seed images, RoboEvolve leverages a cognitive-inspired dual-phase mechanism: (i) daytime exploration fosters physically grounded behavioral discovery through a semantic-controlled multi-granular reward, and (ii) nighttime consolidation mines "near-miss" failures to stabilize policy optimization. Guided by an autonomous progressive curriculum, the system naturally scales from simple atomic actions to complex tasks. Extensive experiments demonstrate that RoboEvolve (I) achieves superior effectiveness, elevating base planners by 30 absolute points and amplifying simulator success by 48% on average; (II) exhibits extreme data efficiency, surpassing fully supervised baselines with merely 500 unlabeled seeds--a 50x reduction; and (III) demonstrates robust continual learning without catastrophic forgetting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI