強化学習/世界モデル2025/10/24arXiv:2510.21418

DreamerV3-XP：不確実性推定による探索の最適化

DreamerV3-XP: Optimizing exploration through uncertainty estimation

世界モデル強化学習DreamerV3に優先経験再生とアンサンブル不確実性に基づく内的報酬を追加し、疎な報酬環境での探索と学習効率を改善した。

詳しい要約

1. どんなもの？

- DreamerV3 を拡張した強化学習手法 DreamerV3-XP の提案 - 探索と学習効率の改善を目的とする - prioritized replay buffer を導入 - world models の ensemble による不確実性推定に基づく intrinsic reward を導入 - Atari100k と DeepMind Control Visual Benchmark の一部タスクで評価

2. 先行研究と比べてどこがすごい？

- ベースラインは DreamerV3 - 先行研究との詳細な比較は要旨からは不明 - 主張される利点 - 学習の高速化 - dynamics model loss の低下 - 特に sparse-reward 設定での効果 - 元の DreamerV3 の結果を再確認したと述べている

3. 技術・手法の肝は？

- prioritized replay buffer - trajectory を return、reconstruction loss、value error でスコアリング - intrinsic reward - ensemble of world models 間の予測環境報酬の disagreement に基づく - これら2つの拡張を DreamerV3 に組み込む

4. どうやって有効だと検証した？

- Atari100k の一部タスクで評価 - DeepMind Control Visual Benchmark の一部タスクで評価 - 元の DreamerV3 の結果を再確認 - 拡張により学習が高速化し dynamics model loss が低下、特に sparse-reward 設定で有効と報告 - 定量的な詳細は要旨からは不明

5. 議論はある？

- 要旨からは不明 - 明示されている限界や議論はない - sparse-reward 設定での有効性が強調されている

6. 次に読むべき論文は？

- DreamerV3 - prioritized replay buffer に関する先行研究 - ensemble of world models を用いた不確実性推定・intrinsic reward の関連手法 - Atari100k - DeepMind Control Visual Benchmark

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lukas Bierling, Davide Pasero, Jan-Henrik Bertrand, Kiki Van Gerwen

分類: cs.LG, cs.AI

原文アブストラクト

We introduce DreamerV3-XP, an extension of DreamerV3 that improves exploration and learning efficiency. This includes (i) a prioritized replay buffer, scoring trajectories by return, reconstruction loss, and value error and (ii) an intrinsic reward based on disagreement over predicted environment rewards from an ensemble of world models. DreamerV3-XP is evaluated on a subset of Atari100k and DeepMind Control Visual Benchmark tasks, confirming the original DreamerV3 results and showing that our extensions lead to faster learning and lower dynamics model loss, particularly in sparse-reward settings.

arXivで原文を読む →arXiv概要ページ

DreamerV3-XP：不確実性推定による探索の最適化

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell