日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2506.07744

グラフ支援スティッチングによるオフライン階層強化学習

Graph-Assisted Stitching for Offline Hierarchical Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

サブゴール選択をグラフ探索問題として定式化し、異なる軌跡の状態を統合して効率的に遷移を接続するオフライン階層強化学習フレームワークを提案。

詳しい要約

1. どんなもの?

- オフライン階層強化学習(offline hierarchical reinforcement learning, HRL)のための新しいフレームワーク Graph-Assisted Stitching(GAS) - 高レベル方策を学習して subgoal 列を生成する代わりに、subgoal 選択をグラフ探索問題として定式化する - 状態を Temporal Distance Representation(TDR)空間に埋め込み、異なる trajectory の意味的に類似した状態を統合グラフノードにクラスタリング - グラフ内で shortest-path algorithm により subgoal 列を選択し、低レベル方策がその subgoal への到達を学習 - グラフ品質向上のため Temporal Efficiency(TE)指標を導入し、ノイズや非効率な遷移状態を除去 - locomotion, navigation, manipulation タスクで評価

2. 先行研究と比べてどこがすごい?

- 既存の offline HRL は高レベル方策学習に依存し、task horizon が伸びると効率が低下し、異なる trajectory 間の有用な state transition の stitching 戦略に欠ける - GAS は高レベル方策を明示的に学習せず、subgoal 選択をグラフ探索として扱う点が異なる - TDR 空間でのクラスタリングにより異なる trajectory の意味的に類似した状態を統合ノード化し、効率的な transition stitching を可能にする - TE 指標でノイズや非効率な遷移状態を除去しグラフ品質を改善 - 最も stitching が重要なタスクでスコア 88.3 を達成し、従来の state-of-the-art スコア 1.0 を大幅に上回る - locomotion, navigation, manipulation で prior offline HRL 手法を上回る

3. 技術・手法の肝は?

- subgoal 選択を明示的な高レベル方策学習ではなくグラフ探索問題として定式化 - 状態を Temporal Distance Representation(TDR)空間に埋め込み - TDR 空間で異なる trajectory の意味的に類似した状態を unified graph node にクラスタリングし、transition stitching を効率化 - グラフ上で shortest-path algorithm を適用して subgoal 列を選択 - 低レベル方策は選択された subgoal への到達を学習 - Temporal Efficiency(TE)指標を導入し、ノイズや非効率な遷移状態をフィルタリングしてグラフ品質を向上

4. どうやって有効だと検証した?

- locomotion, navigation, manipulation タスクで評価 - prior offline HRL 手法と比較し、GAS が上回ることを示す - 最も stitching が重要なタスクでスコア 88.3 を達成し、従来の state-of-the-art スコア 1.0 を大幅に超える - 詳細な実験設定や ablation の内容は要旨からは不明

5. 議論はある?

- TE 指標がノイズや非効率な遷移状態を除去し、タスク性能を大きく改善することが示唆される - グラフ品質の向上が性能に寄与する点が議論の焦点と考えられるが、詳細な議論は要旨からは不明 - 限界や失敗ケース、計算コスト、グラフ構築のスケーラビリティについては要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及される prior offline HRL 手法(具体的名称は要旨からは不明) - 関連手法として offline hierarchical reinforcement learning、subgoal 生成のための高レベル方策学習、Temporal Distance Representation、shortest-path algorithm を用いたグラフ探索、Temporal Efficiency 指標に関する研究 - 同分野の定番として offline reinforcement learning(例:CQL, IQL など)や hierarchical reinforcement learning の基礎文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seungho Baek, Taegeon Park, Jongchan Park, Seungjun Oh, Yusung Kim

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Existing offline hierarchical reinforcement learning methods rely on high-level policy learning to generate subgoal sequences. However, their efficiency degrades as task horizons increase, and they lack effective strategies for stitching useful state transitions across different trajectories. We propose Graph-Assisted Stitching (GAS), a novel framework that formulates subgoal selection as a graph search problem rather than learning an explicit high-level policy. By embedding states into a Temporal Distance Representation (TDR) space, GAS clusters semantically similar states from different trajectories into unified graph nodes, enabling efficient transition stitching. A shortest-path algorithm is then applied to select subgoal sequences within the graph, while a low-level policy learns to reach the subgoals. To improve graph quality, we introduce the Temporal Efficiency (TE) metric, which filters out noisy or inefficient transition states, significantly enhancing task performance. GAS outperforms prior offline HRL methods across locomotion, navigation, and manipulation tasks. Notably, in the most stitching-critical task, it achieves a score of 88.3, dramatically surpassing the previous state-of-the-art score of 1.0. Our source code is available at: https://github.com/qortmdgh4141/GAS.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI