ゼロショットRL2025/10/1arXiv:2510.15382

堅牢なゼロショット強化学習に向けて

Towards Robust Zero-Shot Reinforcement Learning

オフライン学習時の分布外行動によるバイアスを行動正則化と拡散モデル・注意機構で抑え、ゼロショットRLの安定性と性能を高めるBREEZEを提案。

詳しい要約

1. どんなもの？

- ゼロショット強化学習（zero-shot RL）のための新しいオフライン学習フレームワーク BREEZE を提案する論文。 - Forward-Backward representations（FB）を基盤に、表現力・学習安定性・方策抽出能力を同時に改善する。 - 事前学習した汎用方策が任意の新規タスクにゼロショット適応できることを目指す。 - 公式実装が GitHub で公開されている。

2. 先行研究と比べてどこがすごい？

- 従来の FB および関連手法はモデリングの表現力（expressivity）が不足していると経験的に指摘。 - オフライン学習中の out-of-distribution（OOD）行動による外挿誤差がバイアス付き表現を生み、性能を劣化させる問題を特定。 - BREEZE は学習安定性・方策抽出・表現学習品質を同時に強化する点で先行 FB 系より優れる。 - 先行オフライン zero-shot RL 手法と比べ、性能とロバスト性の両面で優位性を示す。

3. 技術・手法の肝は？

- zero-shot RL の方策学習に behavioral regularization を導入し、方策最適化を安定な in-sample learning パラダイムへ変換。 - 方策抽出に task-conditioned diffusion model を採用し、高品質かつマルチモーダルな行動分布を生成可能にする。 - 表現モデリングに attention-based architecture を採用し、環境ダイナミクスの複雑な関係を捉える。 - これらにより OOD 行動に起因する外挿誤差とバイアス表現の問題を緩和する。

4. どうやって有効だと検証した？

- ExORL と D4RL Kitchen の2つのベンチマークで広範な実験を実施。 - BREEZE が最高または最高に近い性能を達成することを示す。 - 先行のオフライン zero-shot RL 手法と比較して優れたロバスト性を示す。 - 具体的な指標・数値は要旨からは不明。

5. 議論はある？

- OOD 行動による外挿誤差とバイアス表現が zero-shot RL の性能を損なうという経験的知見を提示。 - behavioral regularization による in-sample learning への変換が安定性に寄与するという主張。 - diffusion model によるマルチモーダル方策抽出の有効性を議論。 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- Forward-Backward representations（FB）の原論文。 - 関連する zero-shot RL 手法（例：FB 系の後続研究）。 - ExORL および D4RL Kitchen のベンチマーク論文。 - task-conditioned diffusion model を用いた方策表現に関する研究（diffusion policy 系）。 - in-sample learning や behavioral regularization に関するオフライン RL 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kexin Zheng, Lauriane Teyssier, Yinan Zheng, Yu Luo, Xianyuan Zhan

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

The recent development of zero-shot reinforcement learning (RL) has opened a new avenue for learning pre-trained generalist policies that can adapt to arbitrary new tasks in a zero-shot manner. While the popular Forward-Backward representations (FB) and related methods have shown promise in zero-shot RL, we empirically found that their modeling lacks expressivity and that extrapolation errors caused by out-of-distribution (OOD) actions during offline learning sometimes lead to biased representations, ultimately resulting in suboptimal performance. To address these issues, we propose Behavior-REgularizEd Zero-shot RL with Expressivity enhancement (BREEZE), an upgraded FB-based framework that simultaneously enhances learning stability, policy extraction capability, and representation learning quality. BREEZE introduces behavioral regularization in zero-shot RL policy learning, transforming policy optimization into a stable in-sample learning paradigm. Additionally, BREEZE extracts the policy using a task-conditioned diffusion model, enabling the generation of high-quality and multimodal action distributions in zero-shot RL settings. Moreover, BREEZE employs expressive attention-based architectures for representation modeling to capture the complex relationships between environmental dynamics. Extensive experiments on ExORL and D4RL Kitchen demonstrate that BREEZE achieves the best or near-the-best performance while exhibiting superior robustness compared to prior offline zero-shot RL methods. The official implementation is available at: https://github.com/Whiterrrrr/BREEZE.

arXivで原文を読む →arXiv概要ページ

← 論文一覧