連続強化学習2026/3/12arXiv:2603.11395

ARROW: 拡張リプレイによる堅牢な世界モデル

ARROW: Augmented Replay for RObust World models

連続強化学習における破滅的忘却を防ぐため、モデルベースRLアルゴリズムDreamerV3に、短期・長期の2つのバッファを持つメモリ効率の良いリプレイ手法を導入し、タスク多様性を保ちながら学習を安定化させる手法を提案した。

詳しい要約

1. どんなもの？

- 継続強化学習（continual RL）における新手法 ARROW を提案。 - 脳が予測的な World Model に経験をリプレイするという神経科学の知見に着想。 - DreamerV3 を拡張し、記憶効率の良い分布マッチング型リプレイバッファを導入。 - 固定サイズ FIFO バッファではなく、短期バッファと長期バッファの2つを維持。 - 長期バッファは intelligent sampling によりタスク多様性を保持。 - モデルベース継続RLアルゴリズム。

2. 先行研究と比べてどこがすごい？

- 既存の多くはモデルフリー手法とリプレイバッファに依存し、大規模記憶需要でスケーラビリティに課題。 - ARROW はモデルベースRLと生物模倣アプローチを組み合わせ。 - 同サイズのリプレイバッファを持つモデルフリーおよびモデルベースのベースラインと比較。 - 共有構造のないタスク（Atari）で忘却が大幅に少ない。 - 前方転移は同等レベルを維持。 - 記憶効率と頑健性の両立を狙う点が新しい。

3. 技術・手法の肝は？

- DreamerV3 をベースに拡張。 - 記憶効率の良い分布マッチング型リプレイバッファを採用。 - 標準的な固定サイズ FIFO バッファとは異なる。 - 短期バッファ：直近の経験を保持。 - 長期バッファ：intelligent sampling によりタスク多様性を維持。 - 脳のリプレイ機構を模倣し、ポリシーではなく World Model に経験をリプレイ。

4. どうやって有効だと検証した？

- 2つの挑戦的な継続RL設定で評価。 - 共有構造のないタスク：Atari。 - 共有構造があり知識転移が可能なタスク：Procgen CoinRun variants。 - 同サイズのリプレイバッファを持つモデルフリーおよびモデルベースのベースラインと比較。 - 共有構造なしタスクで忘却が大幅に少ないことを確認。 - 前方転移は同等に維持されることを確認。

5. 議論はある？

- モデルベースRLと生物模倣アプローチが継続強化学習に有望であることを示唆。 - さらなる研究の必要性を強調。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は？

- DreamerV3（ARROW のベース手法）。 - モデルフリーおよびモデルベースのリプレイバッファを用いるベースライン（具体的名称は要旨からは不明）。 - Atari および Procgen CoinRun variants を用いた継続RL研究。 - 神経科学におけるリプレイと World Model に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abdulaziz Alyahya, Abdallah Al Siyabi, Markus R. Ernst, Luke Yang, Levin Kuhlmann, Gideon Kowadlo

分類: cs.LG, cs.AI

原文アブストラクト

Continual reinforcement learning challenges agents to acquire new skills while retaining previously learned ones with the goal of improving performance in both past and future tasks. Most existing approaches rely on model-free methods with replay buffers to mitigate catastrophic forgetting; however, these solutions often face significant scalability challenges due to large memory demands. Drawing inspiration from neuroscience, where the brain replays experiences to a predictive World Model rather than directly to the policy, we present ARROW (Augmented Replay for RObust World models), a model-based continual RL algorithm that extends DreamerV3 with a memory-efficient, distribution-matching replay buffer. Unlike standard fixed-size FIFO buffers, ARROW maintains two complementary buffers: a short-term buffer for recent experiences and a long-term buffer that preserves task diversity through intelligent sampling. We evaluate ARROW on two challenging continual RL settings: Tasks without shared structure (Atari), and tasks with shared structure, where knowledge transfer is possible (Procgen CoinRun variants). Compared to model-free and model-based baselines with replay buffers of the same-size, ARROW demonstrates substantially less forgetting on tasks without shared structure, while maintaining comparable forward transfer. Our findings highlight the potential of model-based RL and bio-inspired approaches for continual reinforcement learning, warranting further research.

arXivで原文を読む →arXiv概要ページ

← 論文一覧