日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2603.11110

ResWM: 残差アクション世界モデルによる視覚強化学習

ResWM: Residual-Action World Model for Visual RL

シェア:XThreadsFacebookLINEはてブBluesky

視覚強化学習において、絶対アクションではなく前ステップからの差分である残差アクションを制御変数とする世界モデルを提案し、制御の滑らかさと学習安定性を向上させた。

詳しい要約

1. どんなもの?

- 視覚RLのための新しい世界モデルフレームワークResWMを提案。 - 制御変数を絶対行動から残差行動(前ステップからの増分)に再定式化。 - Observation Difference Encoderで隣接フレーム間の変化を明示的にモデル化。 - Dreamerスタイルの潜在ダイナミクスモデルに統合。 - 想像ロールアウトと政策最適化を残差行動空間で実施。

2. 先行研究と比べてどこがすごい?

- 従来のモデルベースRLは絶対行動に直接条件付けし、最適行動分布がタスク依存で未知、振動的・非効率な制御を招く。 - ResWMは残差行動により探索空間を縮小し、長期計画を安定化。 - 実世界制御の平滑性と整合。 - DreamerやTD-MPCなどの強力なベースラインをサンプル効率、漸近リターン、制御平滑性で一貫して上回る。

3. 技術・手法の肝は?

- 制御変数を残差行動に変更:前ステップからの増分調整。 - Observation Difference Encoder:隣接フレーム間の変化を明示的にモデル化し、残差行動と自然に結合するコンパクトな潜在ダイナミクスを生成。 - Dreamerスタイルの潜在ダイナミクスモデルに最小限の変更で統合、追加ハイパーパラメータなし。 - 想像ロールアウトと政策最適化を残差行動空間で実行。

4. どうやって有効だと検証した?

- DeepMind Control Suiteでの実験。 - サンプル効率、漸近リターン、制御平滑性で一貫した改善を確認。 - DreamerやTD-MPCなどの強力なベースラインを大幅に上回る。 - より安定でエネルギー効率の良い行動軌道を生成。

5. 議論はある?

- 残差行動モデリングがRLのアルゴリズム進歩とロボティクスの実用要件を橋渡しするシンプルで強力な原理であることを示唆。 - 実世界環境に展開するロボットシステムにとって重要な特性。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- Dreamer - TD-MPC - DeepMind Control Suite - モデルベースRLの世界モデル関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jseen Zhang, Gabriel Adineera, Jinzhou Tan, Jinoh Kim

分類: cs.RO, cs.AI

原文アブストラクト

Learning predictive world models from raw visual observations is a central challenge in reinforcement learning (RL), especially for robotics and continuous control. Conventional model-based RL frameworks directly condition future predictions on absolute actions, which makes optimization unstable: the optimal action distributions are task-dependent, unknown a priori, and often lead to oscillatory or inefficient control. To address this, we introduce the Residual-Action World Model (ResWM), a new framework that reformulates the control variable from absolute actions to residual actions -- incremental adjustments relative to the previous step. This design aligns with the inherent smoothness of real-world control, reduces the effective search space, and stabilizes long-horizon planning. To further strengthen the representation, we propose an Observation Difference Encoder that explicitly models the changes between adjacent frames, yielding compact latent dynamics that are naturally coupled with residual actions. ResWM is integrated into a Dreamer-style latent dynamics model with minimal modifications and no extra hyperparameters. Both imagination rollouts and policy optimization are conducted in the residual-action space, enabling smoother exploration, lower control variance, and more reliable planning. Empirical results on the DeepMind Control Suite demonstrate that ResWM achieves consistent improvements in sample efficiency, asymptotic returns, and control smoothness, significantly surpassing strong baselines such as Dreamer and TD-MPC. Beyond performance, ResWM produces more stable and energy-efficient action trajectories, a property critical for robotic systems deployed in real-world environments. These findings suggest that residual action modeling provides a simple yet powerful principle for bridging algorithmic advances in RL with the practical requirements of robotics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI