日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2505.14975

サブゴール方策のブートストラップによる階層構造の平坦化

Flattening Hierarchies with Policy Bootstrapping

シェア:XThreadsFacebookLINEはてブBluesky

サブゴール条件付き方策をアドバンテージ重み付き重点サンプリングでブートストラップし、生成モデル不要で長地平のフラットな目標条件付き方策をオフライン学習する手法を提案。

詳しい要約

1. どんなもの?

- 長い時間軸の goal-reaching を対象にした offline goal-conditioned reinforcement learning (GCRL) のための学習アルゴリズム - 階層的でない flat な goal-conditioned policy を、subgoal-conditioned policy 上での bootstrapping により訓練する - advantage-weighted importance sampling を用いる点が特徴 - (sub)goal 空間上の generative model を不要にした - state-based および pixel-based の locomotion・manipulation ベンチマークで評価

2. 先行研究と比べてどこがすごい?

- 従来の hierarchical RL は長い horizon の goal-reaching で強い経験的結果を示すが、modular で timescale 固有の policy と subgoal 生成に依存し、複雑さと高次元 goal 空間へのスケーリングに課題 - 既存の hierarchical 手法や bootstrapping ベース手法は、本手法の導出における特定の設計選択に対応することを示した - (sub)goal 空間上の generative model を不要にした点が、大規模 state 空間での高次元制御へのスケーリングに重要 - 先行の offline GCRL アルゴリズムに匹敵または上回り、従来手法が失敗する複雑で長い horizon のタスクにスケール

3. 技術・手法の肝は?

- flat(非階層)な goal-conditioned policy を、subgoal-conditioned policy に対する bootstrapping で訓練 - advantage-weighted importance sampling を利用 - (sub)goal 空間上の generative model を排除 - 既存の hierarchical 手法および bootstrapping ベース手法を、自らの導出における特定の設計選択として位置づけ - 詳細な導出・数式・ハイパーパラメータは要旨からは不明

4. どうやって有効だと検証した?

- state-based および pixel-based の locomotion と manipulation の包括的なベンチマーク群で評価 - 最先端の offline GCRL アルゴリズムに匹敵または上回る性能を示した - 従来手法が失敗する複雑で長い horizon のタスクにスケールすることを示した - 具体的なベースライン名・データセット名・評価指標・アブレーションは要旨からは不明

5. 議論はある?

- 階層的手法の複雑さと高次元 goal 空間へのスケーリング困難を、flat な bootstrapping で回避できる可能性を示唆 - (sub)goal 空間上の generative model が不要であることがスケーリングの鍵であると述べている - 既存手法との理論的関係(設計選択としての位置づけ)を提示 - 限界・失敗ケース・計算コスト・理論保証の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較・参照されている hierarchical RL 手法および bootstrapping ベースの offline GCRL 手法(具体的な論文名は要旨からは不明) - 同分野の定番として offline GCRL の代表的手法(例: goal-conditioned supervised learning 系、Hindsight Experience Replay 系) - 階層的 offline RL の代表的手法 - 本手法の project page: https://johnlyzhou.github.io/saw/

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: John L. Zhou, Jonathan C. Kao

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Offline goal-conditioned reinforcement learning (GCRL) is a promising approach for pretraining generalist policies on large datasets of reward-free trajectories, akin to the self-supervised objectives used to train foundation models for computer vision and natural language processing. However, scaling GCRL to longer horizons remains challenging due to the combination of sparse rewards and discounting, which obscures the comparative advantages of primitive actions with respect to distant goals. Hierarchical RL methods achieve strong empirical results on long-horizon goal-reaching tasks, but their reliance on modular, timescale-specific policies and subgoal generation introduces significant additional complexity and hinders scaling to high-dimensional goal spaces. In this work, we introduce an algorithm to train a flat (non-hierarchical) goal-conditioned policy by bootstrapping on subgoal-conditioned policies with advantage-weighted importance sampling. Our approach eliminates the need for a generative model over the (sub)goal space, which we find is key for scaling to high-dimensional control in large state spaces. We further show that existing hierarchical and bootstrapping-based approaches correspond to specific design choices within our derivation. Across a comprehensive suite of state- and pixel-based locomotion and manipulation benchmarks, our method matches or surpasses state-of-the-art offline GCRL algorithms and scales to complex, long-horizon tasks where prior approaches fail. Project page: https://johnlyzhou.github.io/saw/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI