日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.16515

方向条件付きポリシー:構成部分ゴールスコアリングによるオンライン目標条件付き強化学習

Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

目標までの距離の勾配のみに依存する方向条件付きポリシーを提案し、オンライン目標条件付き強化学習の性能を向上させた。

詳しい要約

1. どんなもの?

- オンラインのGoal-Conditioned Reinforcement Learning (GCRL) のための手法。 - 目標到達を2つの要素に分解:subgoal-scoringとdirection-conditioned actor。 - 共有のInfoNCE表現ψを用いる。 - 完全オンラインで学習し、展開時にはsubgoal scoringを除去可能。

2. 先行研究と比べてどこがすごい?

- 従来のGCRLはactorを生のgoalに条件付けるが、goalがデータ分布から遠いと幾何学的に情報が少ない。 - DCPはHJB理論に基づき、goalの代わりに方向と大きさで条件付ける。 - Contrastive RLと比較して9環境中ほとんどの最終指標で改善、特にmanipulationとobstacle-interactionタスクで大きな利得。

3. 技術・手法の肝は?

- 目標到達をsubgoal-scoringとdirection-conditioned actorに分解。 - subgoal-scoringはψ_gで最終goalと整合する訪問済み状態z_tを選択。 - direction-conditioned actorはψ(s_t)からψ(z_t)への単位方向d_tと大きさr_tを入力とする。 - 両コンポーネントは共同で訓練され、展開時にはsubgoal scoringを除去し、gをz_tの代わりに用いる。 - 理論的結果:HJBの下での方向十分性、訓練時と展開時の条件入力の一致を保証する定量的バウンド、方向条件付けが失敗する可制御部分空間の特徴付け。

4. どうやって有効だと検証した?

- 9つの環境で評価。 - Contrastive RLと比較し、ほとんどの最終指標で改善。 - 特にmanipulationとobstacle-interactionタスクで大きな利得。 - 学習されたψ距離景観の定性分析により、contrastive表現が環境トポロジーを符号化するオンライン準距離として振る舞うことを示す。 - 唯一の失敗例(AntSoccer)は理論が予期する学習勾配の病理に局在。

5. 議論はある?

- 理論的保証:方向十分性、訓練と展開の条件入力の一致、失敗条件の特徴付け。 - 失敗例AntSoccerは理論が予期する学習勾配の病理に起因。 - 表現誤差や測地線の余裕(geodesic slack)が性能に影響する可能性。 - 要旨からは、他の限界や議論の詳細は不明。

6. 次に読むべき論文は?

- Contrastive RL(比較対象) - Hamilton-Jacobi-Bellman理論(理論的基盤) - InfoNCE表現学習(関連手法) - Goal-Conditioned Reinforcement Learning(同分野の定番)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Swaminathan S K, Damiya Gondha, Theyanesh Eswaramoorthy Rajahkrishnan, Aritra Hazra

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Hamilton-Jacobi-Bellman theory implies that the optimal goal-conditioned action depends on the goal only through the gradient of the goal-reaching distance at the current state, yet standard online GCRL still conditions the actor on the raw goal -- a signal that is geometrically uninformative when the goal is far from the data distribution. We propose Direction-Conditioned Policies (DCP), a fully online method that decomposes goal-reaching into two components sharing one InfoNCE representation $ψ$: a subgoal-scoring step that selects a visited state $z_t$ aligned with the final goal $g$ in $ψ_g$, and a direction-conditioned actor that consumes the unit direction $d_t$ and magnitude $r_t$ from $ψ(s_t)$ to $ψ(z_t)$. The two components train jointly, factor cleanly at deployment (subgoal scoring is removed, while direction conditioning remains with $g$ in place of $z_t$), and admit independent modification at the same $(d_t,r_t)$ interface. We prove three results. First, direction sufficiency under HJB: the optimal action under control-affine dynamics depends on the goal only through the value gradient. Second, a quantitative bound showing that, under mild conditions on the learned representation and assuming the scoring rule returns an on-path $z_t$, the actor's conditioning input at training and at deployment coincide up to representation error and geodesic slack. Third, a controllable-subspace characterization of when directional conditioning fails. Across nine environments, DCP improves over Contrastive RL on most final metrics, with the largest gains on manipulation and obstacle-interaction tasks; a qualitative analysis of the learned $ψ$-distance landscape shows the contrastive representation behaves as an online quasimetric encoding environment topology, and the single failure case (AntSoccer) localizes to a learned-gradient pathology that the theory anticipates.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI