日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2607.02431

WorldSample: ワールドモデリングを用いた実機ロボットの閉ループ強化学習

WorldSample: Closed-loop Real-robot RL with World Modelling

シェア:XThreadsFacebookLINEはてブBluesky

実機ロボットの強化学習において、実ロールアウトとワールドモデル生成を閉ループで結び、高品質な合成遷移を生成して学習を効率化する手法を提案。ポリシー成功率を28%向上させ、訓練ステップを59%削減した。

詳しい要約

1. どんなもの?

- 実ロボットRLの高コスト問題に対処する枠組み WorldSample を提案。 - 物理rollout・world model生成・policy改善を閉ループ化する real-synthetic loop。 - 実rolloutに基づき高忠実な合成transitionを生成し、visual hallucinationを低減。 - 合成transitionをそのまま実経験扱いせず、Policy-Paced Learning (PPL) で選択・スケジューリング。 - 接触豊富・精密なmanipulationタスクで成功率28%向上、訓練step59%削減。

2. 先行研究と比べてどこがすごい?

- ILのdemonstration-coverage制約に対し、RLで試行錯誤的に改善可能。 - 実ロボットRLの高interaction costと単一rollout制約を、world modelによるdata augmentationで緩和。 - 単なる合成遷移利用ではなくPPLでvalue overestimationとhallucination由来ノイズを抑制。 - demonstration-only post-training比でworld modelのvisual fidelityがPSNR +19.4dB、SSIM +0.47改善。

3. 技術・手法の肝は?

- 実rolloutを基盤にpost-trained world modelで高忠実な合成transitionを生成。 - 物理rollout・world-model生成・policy改善を閉ループで接続するreal-synthetic loop。 - Policy-Paced Learning (PPL) によりsample selectionとschedulingを実施。 - 有用なaugmentationとvalue overestimationのバランスを調整し、hallucination-induced noiseを緩和。

4. どうやって有効だと検証した?

- 接触豊富・精密なrobot manipulationタスクで実験。 - baseline比でpolicy成功率28%向上、訓練step59%削減を確認。 - demonstration-only post-training比でworld model visual fidelityがPSNR +19.4dB、SSIM +0.47改善。 - これによりreal-synthetic loopがpolicyとworld model双方に有効と検証。

5. 議論はある?

- 要旨からは不明。 - ただしvalue overestimationやhallucination-induced noiseへの対処がPPLの動機として示唆。 - 実ロボットRLのinteraction cost削減と合成データ利用のバランスが論点。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてimitation learning (IL)、reinforcement learning (RL)、world model、data augmentation、Policy-Paced Learning (PPL) が挙げられる。 - 同分野の定番としてmodel-based RL、real-robot RL、visual fidelity評価 (PSNR, SSIM) に関する研究が次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuquan Xue, Le Xu, Zeyi Liu, Zhenyu Wu, Zhengyi Gu, Xinyang Song, Bofang Jia, Ziwei Wang

分類: cs.RO, cs.AI

原文アブストラクト

Reinforcement learning (RL) can overcome the demonstration-coverage limitation of imitation learning (IL) by allowing robots to improve through trial-and-error interaction beyond the states observed in demonstrations. However, deploying RL on real robots remains constrained by high interaction costs, since each physical rollout is costly and reflects only one realized action-outcome path. To address this challenge, we propose WorldSample, a physically grounded data augmentation framework for real-robot RL that closes a real-synthetic loop between physical rollouts, world-model generation, and policy improvement. Grounded on real rollouts, WorldSample generates high-fidelity synthetic transitions through a post-trained world model, which greatly lowers the visual hallucination. Specifically, rather than simply using these transitions as real-world experience, WorldSample introduces Policy-Paced Learning (PPL) to regulate the training process through sample selection and scheduling, balancing useful augmentation against value overestimation and mitigating the hallucination-induced noise. Experiments on robot manipulation tasks involving contact-rich and precise tasks show that WorldSample improves policy success rate by 28% while reducing training steps by 59% compared with baselines. Furthermore, WorldSample improves world model visual fidelity by 19.4dB in PSNR and 0.47 in SSIM over demonstration-only post-training, validating the effectiveness of the real-synthetic loop for both policy and world model performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI