日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2602.11142

正規化フローによるデータ効率的な階層型目標条件付き強化学習

Data-Efficient Hierarchical Goal-Conditioned Reinforcement Learning via Normalizing Flows

シェア:XThreadsFacebookLINEはてブBluesky

階層型目標条件付き強化学習において、高レベル・低レベルの方策を正規化フローで表現することで、データが少ない状況でも多様な行動を学習できるNF-HIQLを提案した。

詳しい要約

1. どんなもの?

本論文は、Hierarchical goal-conditioned reinforcement learning (H-GCRL) のデータ効率と政策表現力を改善する Normalizing flow-based hierarchical implicit Q-learning (NF-HIQL) を提案する。階層の高レベル・低レベル両方で単峰ガウス政策を表現力豊かな normalizing flow 政策に置き換え、複雑で長期的なタスクを構造化されたサブゴールに分解して扱う。

2. 先行研究と比べてどこがすごい?

従来の H-GCRL はデータ効率が悪く、政策表現力が限られ、特に offline やデータ希少な状況で実用が妨げられていた。NF-HIQL は階層の両レベルで normalizing flow 政策を用いることで、豊かなマルチモーダル行動をモデル化し、限られたデータ下でも prior の goal-conditioned および hierarchical ベースラインを一貫して上回る。

3. 技術・手法の肝は?

- 高レベル・低レベル両方の政策を normalizing flow に置換 - tractable な log-likelihood 計算と効率的サンプリングを実現 - Real-valued non-volume preserving (RealNVP) 政策に対する KL-divergence の明示的バウンドを導出 - PAC スタイルのサンプル効率結果を示し、安定性を保ちつつ汎化を改善

4. どうやって有効だと検証した?

OGBench の locomotion、ball-dribbling、multi-step manipulation を含む多様な long-horizon タスクで NF-HIQL を評価。prior の goal-conditioned および hierarchical ベースラインと比較し、限られたデータ下での優れた robustness と一貫した性能向上を実証。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

OGBench のベースライン、goal-conditioned RL、hierarchical RL、normalizing flow 政策、RealNVP、implicit Q-learning (IQL) に関連する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shaswat Garg, Matin Moezzi, Brandon Da Silva

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Hierarchical goal-conditioned reinforcement learning (H-GCRL) provides a powerful framework for tackling complex, long-horizon tasks by decomposing them into structured subgoals. However, its practical adoption is hindered by poor data efficiency and limited policy expressivity, especially in offline or data-scarce regimes. In this work, Normalizing flow-based hierarchical implicit Q-learning (NF-HIQL), a novel framework that replaces unimodal gaussian policies with expressive normalizing flow policies at both the high- and low-levels of the hierarchy is introduced. This design enables tractable log-likelihood computation, efficient sampling, and the ability to model rich multimodal behaviors. New theoretical guarantees are derived, including explicit KL-divergence bounds for Real-valued non-volume preserving (RealNVP) policies and PAC-style sample efficiency results, showing that NF-HIQL preserves stability while improving generalization. Empirically, NF-HIQL is evaluted across diverse long-horizon tasks in locomotion, ball-dribbling, and multi-step manipulation from OGBench. NF-HIQL consistently outperforms prior goal-conditioned and hierarchical baselines, demonstrating superior robustness under limited data and highlighting the potential of flow-based architectures for scalable, data-efficient hierarchical reinforcement learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI