日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース強化学習arXiv:2603.18202

R2-Dreamer: デコーダやデータ拡張なしの冗長性低減世界モデル

R2-Dreamer: Redundancy-Reduced World Models without Decoders or Augmentation

シェア:XThreadsFacebookLINEはてブBluesky

画像ベースのモデルベース強化学習において、デコーダを使わず、データ拡張にも頼らない自己教師ありの冗長性低減目的で表現崩壊を防ぐフレームワークR2-Dreamerを提案し、既存手法と同等以上の性能を達成しつつ学習を高速化した。

詳しい要約

1. どんなもの?

- 画像ベースの Model-Based Reinforcement Learning (MBRL) における新フレームワーク R2-Dreamer を提案。 - Decoder-free な MBRL で、Data Augmentation (DA) を使わずに表現崩壊を防ぐ自己教師あり目的を持つ。 - 冗長性削減目的を中核とし、既存フレームワークに容易に統合可能。 - DeepMind Control Suite と Meta-World で評価。

2. 先行研究と比べてどこがすごい?

- 再構成ベース手法はタスク無関係な領域に容量を浪費する問題があった。 - Decoder-free 手法は Data Augmentation (DA) に依存し汎用性が限られていた。 - R2-Dreamer は DA 不要の内部正則化で表現崩壊を防ぎ、DreamerV3 や TD-MPC2 と競合。 - DreamerV3 より 1.59 倍高速に学習し、DMC-Subtle で大きな改善。

3. 技術・手法の肝は?

- Barlow Twins に着想を得た冗長性削減目的を自己教師あり目的として採用。 - これが内部正則化として働き、Data Augmentation (DA) なしで表現崩壊を防止。 - Decoder-free な MBRL フレームワークに統合可能。 - 詳細なアーキテクチャや実装は要旨からは不明。

4. どうやって有効だと検証した?

- DeepMind Control Suite と Meta-World で評価。 - DreamerV3 や TD-MPC2 などの強力なベースラインと競合する性能を確認。 - DreamerV3 より 1.59 倍高速な学習を実現。 - DMC-Subtle で小さなタスク関連物体に対して大きな性能向上。

5. 議論はある?

- 効果的な内部正則化により、汎用性が高く高性能な decoder-free MBRL が可能になると示唆。 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明。 - コードは公開されている。

6. 次に読むべき論文は?

- DreamerV3 - TD-MPC2 - Barlow Twins - Data Augmentation (DA) を用いる decoder-free MBRL 手法 - DeepMind Control Suite および Meta-World に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Naoki Morihira, Amal Nahar, Kartik Bharadwaj, Yasuhiro Kato, Akinobu Hayashi, Tatsuya Harada

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

A central challenge in image-based Model-Based Reinforcement Learning (MBRL) is to learn representations that distill essential information from irrelevant visual details. While promising, reconstruction-based methods often waste capacity on large task-irrelevant regions. Decoder-free methods instead learn robust representations by leveraging Data Augmentation (DA), but reliance on such external regularizers limits versatility. We propose R2-Dreamer, a decoder-free MBRL framework with a self-supervised objective that serves as an internal regularizer, preventing representation collapse without resorting to DA. The core of our method is a redundancy-reduction objective inspired by Barlow Twins, which can be easily integrated into existing frameworks. On DeepMind Control Suite and Meta-World, R2-Dreamer is competitive with strong baselines such as DreamerV3 and TD-MPC2 while training 1.59x faster than DreamerV3, and yields substantial gains on DMC-Subtle with tiny task-relevant objects. These results suggest that an effective internal regularizer can enable versatile, high-performance decoder-free MBRL. Code is available at https://github.com/NM512/r2dreamer.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI