日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2606.21136

価値スティッチングによる地平線適応型オフライン方策学習

Horizon Adaptive Offline Policy Learning via Value Stitching

シェア:XThreadsFacebookLINEはてブBluesky

固定長の価値バックアップを再帰的で地平線適応的な価値合成に置き換え、将来の状態と地平線長に条件付けられた補助価値関数とスティッチング方策を用いて、オフライン強化学習の性能を向上させる手法VASTを提案した。

詳しい要約

1. どんなもの?

本論文は、offline RL における価値推定の課題に対し、動的な horizon 合成を可能にする手法 VAST(Horizon Adaptive Offline Policy Learning via VAlue STitching)を提案する。従来の TD 学習や n-step TD backups、Q-chunking のような固定 horizon の価値モデリングではなく、再帰的で horizon 適応的な価値合成を行う。具体的には、将来の state と horizon 長に条件付けられた補助価値関数を直接データ監督で学習し、報酬最大化する horizon 長と sub-goal を選択する stitching policy を組み合わせる。これにより可変長 return を sub-goal state に基づいて推定・合成し、offline 政策最適化のための正確な価値監督信号を与える。

2. 先行研究と比べてどこがすごい?

従来の TD 学習は horizon に沿って累積する価値推定バイアスに悩まされ、n-step TD backups や Q-chunking などの extended-horizon 手法は固定 horizon の硬直した価値モデリングのため、長 horizon で多段階の複雑な価値構造を柔軟に捉えられない。VAST は固定 horizon backup を再帰的・horizon 適応的な価値合成に置き換え、将来 state と horizon 長に条件付けられた補助価値関数と stitching policy により、報酬最大化する horizon 長と sub-goal を最適選択する。これにより可変長 return を直接推定・合成でき、OGBench の 50 タスクで固定ステップ法、extended-horizon 法、generative-value offline RL ベースラインを上回り、特に高複雑度・長 horizon の意思決定タスクで強い性能を示す。

3. 技術・手法の肝は?

VAST の肝は、固定 horizon backup を再帰的で horizon 適応的な価値合成に置き換える点にある。価値最適化と、将来の state および horizon 長に条件付けられた補助価値関数を結合し、この補助価値関数は直接データ監督で学習される。さらに stitching policy が報酬最大化する horizon 長と将来 sub-goal を最適に選択し、horizon 適応的な価値 stitching を実現する。これにより、実行可能な sub-goal state に基づく可変長 return の直接推定と合成的な stitching が可能となり、offline 政策最適化に対して正確で貪欲に活用可能な価値監督信号を提供する。

4. どうやって有効だと検証した?

OGBench 上の 50 タスクで評価を実施。VAST は固定ステップ法、extended-horizon 法、generative-value offline RL ベースラインと比較され、これらを上回る性能を示した。特に高複雑度・長 horizon の意思決定タスクで強い性能を達成した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究として、n-step TD backups、Q-chunking、generative-value offline RL ベースライン、OGBench が挙げられる。関連手法として TD learning、offline RL の定番手法も次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kexin Zheng, Xianyuan Zhan, Xintao Yan

分類: cs.LG, cs.RO

原文アブストラクト

Learning accurate value functions plays a decisive role for reinforcement learning (RL) agents to solve long-horizon, complex tasks. Conventional temporal-difference (TD) learning objectives suffer from value-estimation bias that accumulates over the horizon, while extended-horizon modeling methods, such as n-step TD backups and Q-chunking, adopt a rigid, fixed-horizon value-modeling recipe that is often not flexible enough to capture complex value structures in long-horizon, multi-stage tasks. In this paper, we show that enabling value updates with dynamic horizon composition can yield a strong offline policy learning scheme. Our method, Horizon Adaptive Offline Policy Learning via VAlue STitching (VAST), replaces fixed-horizon backups with recursive, horizon-adaptive value composition. Its key ingredient is to couple value optimization with a future state- and horizon-length-conditioned auxiliary value function that is learned through direct data supervision, and a stitching policy that optimally selects the reward-maximizing horizon length and future sub-goal to achieve horizon-adaptive value stitching. This design enables direct estimation and compositional "stitching" of variable-length returns grounded in actionable sub-goal states, providing an accurate and greedily exploitable value-supervision signal for offline policy optimization. Across 50 tasks on OGBench, VAST outperforms fixed-step, extended-horizon methods, and generative-value offline RL baselines, achieving strong performance particularly in high-complexity, long-horizon decision-making tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI