強化学習/ワールドモデル2025/12/1arXiv:2512.03556

RoboScape-R: 報酬と観測を統合したワールドモデルによる汎化可能なロボティクス強化学習

RoboScape-R: Unified Reward-Observation World Models for Generalizable Robotics Training via RL

ワールドモデルを汎用環境プロキシとして用い、状態遷移の理解から報酬を生成する強化学習フレームワークを提案し、多様なシーンへの汎化性能を向上させた。

詳しい要約

1. どんなもの？

- embodied policy の汎化を目的とした RL フレームワーク「RoboScape-R」 - world model を汎用的な環境プロキシとして利用 - IL と RL の汎化困難という課題に対処 - 特徴は「endogenous」reward の生成 - world model の状態遷移理解から報酬を導出 - タスク固有の手作り報酬への依存を回避 - 対象は多様なシーンでの embodied policy 学習 - out-of-domain シナリオでの汎化を重視

2. 先行研究と比べてどこがすごい？

- IL は expert trajectory への過適合が問題 - RL は統一的な汎用報酬信号の欠如が問題 - 既存 world model は観測予測が中心 - タスク固有の手作り報酬関数に依存 - 汎用訓練環境として不十分 - RoboScape-R は報酬生成まで world model に統合 - 汎用的な訓練環境プロキシを実現 - out-of-domain で平均 37.5% の性能改善を報告

3. 技術・手法の肝は？

- world model を RL における環境プロキシとして活用 - 観測予測に加え報酬生成を担う統合設計 - 新規の world model ベース一般報酬機構を導入 - 実世界の state transition dynamics の内在理解から報酬を生成 - これを「endogenous」reward と呼ぶ - 手作り報酬を必要としない汎用訓練環境を構築 - online 訓練戦略として world model を利用 - 詳細なネットワーク構成や学習手順は要旨からは不明

4. どうやって有効だと検証した？

- 広範な実験を実施と記載 - 従来 RL 手法の限界を緩和することを示す - 効率的かつ汎用的な訓練環境を提供 - 汎化性能を評価 - out-of-domain シナリオで baseline 比平均 37.5% 改善 - 具体的なタスク・データセット・比較手法の詳細は要旨からは不明

5. 議論はある？

- world model を online 訓練戦略として用いる知見を提示 - 汎用環境プロキシとしての可能性を示唆 - 想定される議論・限界は要旨からは不明 - world model の誤差蓄積や報酬の妥当性などは明示されず - 実験規模や適用範囲の制約も要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究 - Imitation Learning (IL) - Reinforcement Learning (RL) - 既存の observation 予測中心の world model - 関連手法として world model ベースの model-based RL - Dreamer 系などの一般名手法 - 具体的な論文名の参照は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinzhou Tang, Yu Shang, Yinuo Chen, Bingwen Wei, Xin Zhang, Shu'ang Yu, Liangzhi Shi, Chao Yu, Chen Gao, Wei Wu, Yong Li

分類: cs.RO, cs.CV

原文アブストラクト

Achieving generalizable embodied policies remains a key challenge. Traditional policy learning paradigms, including both Imitation Learning (IL) and Reinforcement Learning (RL), struggle to cultivate generalizability across diverse scenarios. While IL policies often overfit to specific expert trajectories, RL suffers from the inherent lack of a unified and general reward signal necessary for effective multi-scene generalization. We posit that the world model is uniquely capable of serving as a universal environment proxy to address this limitation. However, current world models primarily focus on their ability to predict observations and still rely on task-specific, handcrafted reward functions, thereby failing to provide a truly general training environment. Toward this problem, we propose RoboScape-R, a framework leveraging the world model to serve as a versatile, general-purpose proxy for the embodied environment within the RL paradigm. We introduce a novel world model-based general reward mechanism that generates ''endogenous'' rewards derived from the model's intrinsic understanding of real-world state transition dynamics. Extensive experiments demonstrate that RoboScape-R effectively addresses the limitations of traditional RL methods by providing an efficient and general training environment that substantially enhances the generalization capability of embodied policies. Our approach offers critical insights into utilizing the world model as an online training strategy and achieves an average 37.5% performance improvement over baselines under out-of-domain scenarios.

arXivで原文を読む →arXiv概要ページ

← 論文一覧