注目を学ぶ：部分観測強化学習における構造的注意機構による情報履歴の優先

- Transformer ベースの world model を用いた model-based RL における self-attention の効率問題を扱う研究 - 部分観測下の RL trajectory は疎で reward-driven なため、標準 self-attention は過去 token に一様に重みを配分してしまう - dynamics head の self-attention に構造的な inductive prior を導入し、制御に重要な遷移へ注目させる手法を提案 - UniZero に統合し Atari 100k で評価

- 標準 self-attention を用いる Transformer world model(UniZero 等)と比較 - 過去 token 全体へ一様に重みを配分するのではなく、タスクに重要な少数の遷移へ注目させる点が新しい - 2 種類の prior を比較し、Gaussian prior が mean human-normalized score で UniZero 比 77% の相対改善 - memory-length prior は制限が強すぎて有用な信号を切り捨てることが多いと示した

- dynamics head の self-attention に構造的 inductive prior を導入 - (i) per-head memory-length prior: attention をタスク固有の window に制限 - (ii) distributional prior: 過去の state-action pair 上に滑らかな Gaussian weighting を学習 - これらを Transformer-based world model を持つ model-based RL agent である UniZero に統合 - 部分観測下での planning を支援

- Atari 100k benchmark で実験 - Gaussian Attention が UniZero 比で mean human-normalized score の 77% 相対改善 - 効率改善の大部分は Gaussian prior 由来で、memory-length prior は有用な信号を切り捨てることが多いと報告 - 詳細な実験設定・比較条件は要旨からは不明

- 非定常な時間依存を持つ部分観測 RL では、離散的な memory window は安定的に学習しにくい - 滑らかな distributional prior は horizon をまたいで柔軟に適応し、より堅牢な data efficiency をもたらす - 構造的な時間 prior を self-attention に直接埋め込むことが、部分観測下の dynamics modeling における informative history の優先に有効と結論 - 限界や今後の課題の詳細は要旨からは不明

- UniZero(比較対象かつ統合先の model-based RL agent) - Transformer-based world model を用いた model-based RL の関連研究 - Atari 100k benchmark を用いた data-efficient RL の研究 - self-attention に構造的 prior を導入する attention 研究 - 要旨で明示的に参照されている個別論文は不明