オフライン強化学習2025/10/1arXiv:2510.07730

DEAS: 行動系列を用いた分離価値学習によるスケーラブルなオフライン強化学習

DEAS: DEtached value learning with Action Sequence for Scalable Offline RL

行動系列を価値学習に活用し、価値の過大評価を分離学習で抑えることで、長期的タスクのオフライン強化学習や大規模VLAモデルの性能を向上させる手法を提案。

詳しい要約

1. どんなもの？

- オフライン強化学習(offline RL)のためのフレームワーク DEAS を提案 - action sequence(時間的に拡張された行動列)を価値学習に活用 - options framework / semi-Markov decision process Q-learning の解釈で計画horizonを短縮 - OGBench の長horizonタスクや大規模 Vision-Language-Action モデルへの適用を想定

2. 先行研究と比べてどこがすごい？

- 従来の offline RL は複雑で長horizonの逐次意思決定が苦手 - 単一ステップ行動ではなく action sequence を用い、より豊富な情報を価値学習に利用 - 計画の有効horizonを短縮できる点が特徴 - 既存の actor-critic に action sequence を直接導入すると生じる過大な価値過大評価(value overestimation)を detached value learning で対処 - OGBench の複雑・長horizonタスクで baseline を一貫して上回ると報告

3. 技術・手法の肝は？

- action sequence を価値学習に用いるシンプルな offline RL フレームワーク - options framework を通じ semi-Markov decision process Q-learning として解釈 - 複数ステップの行動列を一度に考慮し、実効的な計画horizonを削減 - detached value learning により価値推定を offline dataset 内で高リターンを達成する in-distribution な行動へ誘導 - これにより action sequence 導入時の価値過大評価を抑制

4. どうやって有効だと検証した？

- OGBench の複雑で長horizonなタスクで baseline と比較し、DEAS が一貫して優れることを示す - action sequence を予測する大規模 Vision-Language-Action モデルに適用し、RoboCasa Kitchen のシミュレーションタスクで性能を大幅に向上 - 実世界の manipulation タスクでも性能向上を報告

5. 議論はある？

- action sequence を actor-critic に直接用いると価値過大評価が生じる点を課題として明示 - detached value learning で対処するが、その詳細な理論的保証や限界は要旨からは不明 - 長horizonタスクへの有効性は示されるが、他領域への一般性や失敗条件は要旨からは不明

6. 次に読むべき論文は？

- options framework / semi-Markov decision process Q-learning に関する研究 - offline RL における value overestimation 対策の先行研究 - OGBench をベンチマークとする offline RL 研究 - Vision-Language-Action モデルと action sequence 予測に関する研究 - RoboCasa Kitchen を用いた manipulation 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changyeon Kim, Haeone Lee, Younggyo Seo, Kimin Lee, Yuke Zhu

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Offline reinforcement learning (RL) presents an attractive paradigm for training intelligent agents without expensive online interactions. However, current approaches still struggle with complex, long-horizon sequential decision making. In this work, we introduce DEtached value learning with Action Sequence (DEAS), a simple yet effective offline RL framework that leverages action sequences for value learning. These temporally extended actions provide richer information than single-step actions and can be interpreted through the options framework via semi-Markov decision process Q-learning, enabling reduction of the effective planning horizon by considering longer sequences at once. However, directly adopting such sequences in actor-critic algorithms introduces excessive value overestimation, which we address through detached value learning that steers value estimates toward in-distribution actions that achieve high return in the offline dataset. We demonstrate that DEAS consistently outperforms baselines on complex, long-horizon tasks from OGBench and can be applied to enhance the performance of large-scale Vision-Language-Action models that predict action sequences, significantly boosting performance in both RoboCasa Kitchen simulation tasks and real-world manipulation tasks.

arXivで原文を読む →arXiv概要ページ

DEAS: 行動系列を用いた分離価値学習によるスケーラブルなオフライン強化学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell