オフライン強化学習のためのクリーンな基盤
A Clean Slate for Offline Reinforcement Learning
オフライン強化学習の曖昧な定義と複雑な実装を整理し、統一アルゴリズムUnifloralと厳密な評価プロトコルを提案。これによりTD3-AWRとMoBRACという新手法を開発し、既存手法を大幅に上回る性能を達成した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Matthew Thomas Jackson, Uljad Berdica, Jarek Liesen, Shimon Whiteson, Jakob Nicolaus Foerster
分類: cs.LG, cs.AI, cs.RO
原文アブストラクト
Progress in offline reinforcement learning (RL) has been impeded by ambiguous problem definitions and entangled algorithmic designs, resulting in inconsistent implementations, insufficient ablations, and unfair evaluations. Although offline RL explicitly avoids environment interaction, prior methods frequently employ extensive, undocumented online evaluation for hyperparameter tuning, complicating method comparisons. Moreover, existing reference implementations differ significantly in boilerplate code, obscuring their core algorithmic contributions. We address these challenges by first introducing a rigorous taxonomy and a transparent evaluation protocol that explicitly quantifies online tuning budgets. To resolve opaque algorithmic design, we provide clean, minimalistic, single-file implementations of various model-free and model-based offline RL methods, significantly enhancing clarity and achieving substantial speed-ups. Leveraging these streamlined implementations, we propose Unifloral, a unified algorithm that encapsulates diverse prior approaches within a single, comprehensive hyperparameter space, enabling algorithm development in a shared hyperparameter space. Using Unifloral with our rigorous evaluation protocol, we develop two novel algorithms - TD3-AWR (model-free) and MoBRAC (model-based) - which substantially outperform established baselines. Our implementation is publicly available at https://github.com/EmptyJackson/unifloral.
関連論文
- FaST: オフライン強化学習のための遷移の因子分解合成オフライン強化学習
- 拡散ポリシーで誘導する拡散プランナーによるオフライン強化学習オフライン強化学習
- MAC-v2: ピクセル入力からの長期的モデルベース価値展開オフライン強化学習
- タスク認識表現を備えたDecision Transformerによるオフライン・メタ強化学習オフライン強化学習
- 効率的な拡散オフライン強化学習のための合成的平均速度モデリングオフライン強化学習
- 対話制約付きオフライン強化学習による自動運転オフライン強化学習
