モデルベース強化学習2026/1/27arXiv:2601.19336

観測からイベントへ：強化学習のためのイベント認識型ワールドモデル

From Observations to Events: Event-Aware World Model for Reinforcement Learning

人間が連続的な知覚をイベントに区切って意思決定する仕組みに着想を得て、生の観測から自動でイベント境界を抽出し、イベント予測で表現を学習するワールドモデルEAWMを提案。複数のベンチマークでMBRLの性能を10〜45%向上させた。

詳しい要約

1. どんなもの？

- 提案：Event-Aware World Model (EAWM) - model-based reinforcement learning (MBRL) のための汎用フレームワーク - 生の観測から event-aware 表現を学習し、policy learning を効率化 - 手作りラベルを必要としない - 構成： - automated event generator で raw observations から event を導出 - Generic Event Segmentor (GES) で event boundaries（開始・終了時刻）を特定 - event prediction により表現空間を形成し、意味のある spatio-temporal transitions を捉える - 評価：Atari 100K, Craftax 1M, DeepMind Control 500K, DMC-GB2 500K で検証

2. 先行研究と比べてどこがすごい？

- 従来の MBRL：raw observations から world model を学習し sample efficiency を改善 - しかし構造的に類似した scene への汎化が難しく、texture や color shift などの spurious variations に脆弱 - 提案 EAWM： - 認知科学の知見（人間は連続的感覚流を離散 event に分割し、key events を意思決定に利用）に動機づけ - event-aware 表現により、上記の汎化・脆弱性問題の改善を狙う - 実験で strong MBRL baselines を 10%-45% 向上させ、各 benchmark で新たな state-of-the-art を達成 - 加えて、一見異なる world model architectures の統一定式化を示し、手法の広い適用可能性を提示

3. 技術・手法の肝は？

- automated event generator：raw observations から event を自動生成 - Generic Event Segmentor (GES)：event boundaries（event segment の開始・終了時刻）を識別 - event prediction：表現空間を形成し、意味のある spatio-temporal transitions を捕捉 - 統一定式化：一見異なる world model architectures を統一的に定式化し、手法の広い適用可能性を示す - 手作りラベル不要で event-aware representations を学習

4. どうやって有効だと検証した？

- ベンチマーク：Atari 100K, Craftax 1M, DeepMind Control 500K, DMC-GB2 500K - 結果：EAWM が strong MBRL baselines の性能を一貫して 10%-45% 向上 - 各ベンチマークで新たな state-of-the-art を達成 - コード公開：https://github.com/MarquisDarwin/EAWM

5. 議論はある？

- 要旨からは不明 - 限界、失敗事例、計算コスト、ハイパーパラメータ感度、event 定義の妥当性などについての議論は記載されていない

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究： - model-based reinforcement learning (MBRL) の既存手法（strong MBRL baselines） - Atari 100K, Craftax 1M, DeepMind Control 500K, DMC-GB2 500K の各ベンチマーク - 関連手法： - world model を用いた MBRL（例：Dreamer 系、MuZero 系など同分野の定番） - event segmentation や event-aware representation learning に関する認知科学・機械学習の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhao-Han Peng, Shaohui Li, Zhi Li, Shulan Ruan, Yu Liu, You He

分類: cs.LG, cs.AI

原文アブストラクト

While model-based reinforcement learning (MBRL) improves sample efficiency by learning world models from raw observations, existing methods struggle to generalize across structurally similar scenes and remain vulnerable to spurious variations such as textures or color shifts. From a cognitive science perspective, humans segment continuous sensory streams into discrete events and rely on these key events for decision-making. Motivated by this principle, we propose the Event-Aware World Model (EAWM), a general framework that learns event-aware representations to streamline policy learning without requiring handcrafted labels. EAWM employs an automated event generator to derive events from raw observations and introduces a Generic Event Segmentor (GES) to identify event boundaries, which mark the start and end time of event segments. Through event prediction, the representation space is shaped to capture meaningful spatio-temporal transitions. Beyond this, we present a unified formulation of seemingly distinct world model architectures and show the broad applicability of our methods. Experiments on Atari 100K, Craftax 1M, and DeepMind Control 500K, DMC-GB2 500K demonstrate that EAWM consistently boosts the performance of strong MBRL baselines by 10%-45%, setting new state-of-the-art results across benchmarks. Our code is released at https://github.com/MarquisDarwin/EAWM.

arXivで原文を読む →arXiv概要ページ

観測からイベントへ：強化学習のためのイベント認識型ワールドモデル

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell