日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習/計画arXiv:2610.27280

不完全な世界モデルでも価値予測で計画するオフライン目標到達手法VPFlow

VPFlow: Value-Predictive Planning with Imperfect World Models for Offline Goal Reaching

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルの学習を次状態予測ではなく目標到達価値の回帰で行い、その潜在表現上で進化的探索により計画するオフライン目標到達手法を提案した論文。

詳しい要約

1. どんなもの?

- 本論文は、offline goal-conditioned reinforcement learning のための新しい計画手法 VPFlow を提案する。 - 任意の状態から任意のゴールへ到達するスキル獲得を、dense reward なしで行う設定を扱う。 - model-based 手法と offline 学習を組み合わせ、suboptimal demonstrations からの pre-training と goal specification による zero-shot adaptation を狙う。 - 鍵となる主張は、計画には value prediction が有用であり、正確な next-state prediction は不要という点。 - VPFlow は value-predictive な latent world model と one-step flow policy を組み合わせ、noise space 上で evolutionary search により計画する。

2. 先行研究と比べてどこがすごい?

- 既存の model-based 手法は、pixel または latent space での正確な next-state prediction が有効な計画に必要だと仮定してきた。 - 本論文はその仮定に反し、value prediction の方が計画に有用で、state prediction の正確さはしばしば不要だと示す。 - offline goal reaching が closed-form Monte Carlo return を自然に許す点を利用し、temporal-difference bootstrapping を value regression で置き換える。 - これにより、imagined latents を future state の一致ではなく goal-reaching value の予測で訓練し、representation collapse を暗黙的に防ぐ。 - 結果として、不完全な world model でも value field の level sets 上で dataset transitions を超えた想像が可能になる。

3. 技術・手法の肝は?

- offline goal reaching における closed-form Monte Carlo return を唯一の supervision として latent world model を訓練する。 - imagined latents は future state の再現ではなく goal-reaching value を予測するよう学習され、これが planning-oriented representation となる。 - world model と one-step flow policy を組み合わせ、action space ではなく flow policy の noise space 上で evolutionary search を行う。 - imagined generalized advantage を用いて policy improvement を実現する。 - noise space での計画により、action-space planning で頻発する out-of-distribution queries を削減する。

4. どうやって有効だと検証した?

- 30 個の state および pixel の OGBench datasets 上で評価している。 - model-free baselines に対し、success rate でそれぞれ少なくとも 30.3 および 10.1 percentage points 上回る。 - latent planners である LeWorldModel、PLDM、TD-MPC2 を outperforms する。 - latent prediction error は state prediction より orders of magnitude 大きいにもかかわらず高性能であり、この誤差を最小化すると success rate が低下することを示す。 - これにより、offline planning に必要なのは正確な state prediction ではなく value-predictive representations であると主張する。

5. 議論はある?

- 本論文の中心的議論は、正確な next-state prediction を前提とする既存の model-based planning の通念への反証である。 - latent prediction error が大きい方が成功し、誤差最小化が成功率を下げるという結果は、state prediction 精度と計画性能の乖離を示す。 - value-predictive representations が representation collapse を暗黙的に防ぐという主張が提示されている。 - 一方、closed-form Monte Carlo return の導出条件や、OGBench 以外のタスクへの一般化可能性については要旨からは不明。 - evolutionary search の計算コストやハイパーパラメータ感度についても要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として挙げられている latent planners の LeWorldModel、PLDM、TD-MPC2 を読むべき。 - offline goal-conditioned reinforcement learning の基盤として OGBench の benchmark 論文を参照すべき。 - model-based offline RL の関連手法として MOPO、MOReL などが同分野の定番として挙げられる。 - goal-conditioned RL の代表的手法として HER (Hindsight Experience Replay) や GCSL が関連する。 - flow policy や evolutionary search を用いた planning の関連研究も次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunzhe Hu, Dong Xu

分類: cs.LG, cs.AI

原文アブストラクト

Offline goal-conditioned reinforcement learning enables skill acquisition by reaching any goal from any state without dense rewards. Model-based methods allow for planning by scaling test-time compute to solve complex tasks. Combining both holds appealing promise for pre-training on suboptimal demonstrations and zero-shot adaptation via goal specification and planning. Yet existing methods assume effective planning requires accurate next-state prediction in pixel or latent space. In this work, we show that value prediction is more useful for planning, whereas accurate state prediction is often unnecessary. Our key insight is that offline goal reaching naturally admits a closed-form Monte Carlo return, enabling value regression to replace temporal-difference bootstrapping. We use this return as the sole supervision for latent world models: imagined latents are trained to predict goal-reaching value rather than match future states, implicitly preventing representation collapse. These planning-oriented representations let imperfect world models imagine on the level sets of value field beyond dataset transitions. We then present VPFlow, a value-predictive planner that pairs the world models with a one-step flow policy and plans in its noise space via evolutionary search. It enables policy improvement with imagined generalized advantage and reduces out-of-distribution queries common in action-space planning. On 30 state and pixel OGBench datasets, VPFlow surpasses model-free baselines by at least 30.3 and 10.1 percentage points in success rate, respectively, and outperforms latent planners LeWorldModel, PLDM, and TD-MPC2. It achieves this despite a latent prediction error orders of magnitude larger than with state prediction, while minimizing this error lowers success rate. This demonstrates that value-predictive representations, not exact state prediction, are what offline planning requires.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI