日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.19990

報酬をエージェントとして捉える身体化ワールドモデルの学習

Reward as An Agent for Embodied World Models

シェア:XThreadsFacebookLINEはてブBluesky

身体化ワールドモデルにおいて、報酬をエージェントとして能動的に評価する枠組みと、動的差分に基づく探索多様化手法を導入し、報酬ハッキングを抑えつつ多様な行動生成を可能にする強化学習手法を提案した。

詳しい要約

1. どんなもの?

- 本論文は、embodied world models の改善に RL を用いる際の保守的な rollout 制限を打破する手法を提案する。 - 核心は、探索自体ではなく信頼できる verification の欠如が問題であると主張し、Reward as an Agent と DynDiff-GRPO を統合する。 - これにより、reward hacking を軽減しつつ、より多様な行動と動的発見を可能にする。

2. 先行研究と比べてどこがすごい?

- 既存の RL ベースの world model 改善手法は、訓練分布近傍での保守的 rollout に依存し、探索・行動多様性・動的発見が制限されていた。 - 本研究は、探索の拡大に伴う reward hacking を verification の強化で解決する点が新しい。 - 従来の保守的パラダイムを挑戦し、より広い探索を信頼できる報酬基盤で実現する点が優れている。

3. 技術・手法の肝は?

- 検証側: Reward as an Agent という agentic reward framework を導入。生成された行動を能動的に評価し、分布シフト下でも robust な報酬信号を提供して reward hacking を軽減。 - 探索側: Dynamic-Aware Rollout Diversification through DynDiff-GRPO を導入。action-space 探索を明示的に拡大し、trajectory を多様化、state-action coverage を広げ、保守的 rollout を超えた embodied 行動を促す。 - 両者を統合し、信頼できる報酬基盤の上で多様化サンプリングを可能にする。

4. どうやって有効だと検証した?

- 複数のオープンソース world models において、本手法が reward hacking を効果的に軽減しつつ、精度を大幅に向上させることを示した。 - 物理的妥当性とタスク完了を厳密なテストベッドとして、複雑な動的環境下でのスケーラブルな RL を評価。 - 広い探索が robust な verification に基づけば成功裏にスケールすることを実証。

5. 議論はある?

- 本論文は、保守的 rollout の制限を超えるには verification の強化が不可欠であると議論。 - reward hacking のリスクを指摘し、それを軽減する agentic reward の重要性を強調。 - 広い探索が信頼できる検証と組み合わさることで、より豊かな embodied 行動と動的発見が可能になると主張。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないため、同分野の定番として model-based RL、world models、reward hacking に関する論文を挙げる。 - 具体的には、Dreamer や PlaNet などの world model 手法、および reward learning や inverse RL の関連研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pu Li, Zhigang Lin, Qiang Wu, Yongxuan Lv, Fei Wang, Shan You

分類: cs.AI

原文アブストラクト

While RL has become a promising tool for refining world models, existing methods largely rely on conservative rollouts near the training distribution, limiting exploration, behavioral diversity, and richer dynamic discovery. In this work, we challenge this conservative paradigm. We argue that the core limitation is not exploration itself, but the lack of reliable verification strategies to support broader exploration. Without reliable verification, expanded exploration becomes highly susceptible to reward hacking, where policies exploit imperfect rewards without achieving genuine improvement. To evaluate this motivation, we instantiate our method in embodied world models, where physical plausibility, and task completion provide a rigorous testbed for scalable RL under complex dynamics. On the verification side, we introduce Reward as an Agent, an agentic reward framework that actively evaluates generated behaviors to provide robust reward signals and mitigate reward hacking under distribution shifts. On the exploration side, we introduce Dynamic-Aware Rollout Diversification through DynDiff-GRPO, which explicitly expands action-space exploration to diversify trajectories, broaden state-action coverage, and encourage richer embodied behaviors beyond conservative rollout regimes. By unifying Reward as an Agent with DynDiff-GRPO, we enable RL on a more reliable reward foundation with substantially diversified sampling, effectively mitigating reward hacking while yielding significant accuracy gains across multiple open-source world models, thereby demonstrating that broader exploration can scale successfully when grounded in robust verification.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI