モデルベース計画2026/10/4arXiv:2610.04988

どれだけ近いかではなく、あとどれだけか：潜在世界モデルの計画のための学習型時間距離指標

How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models

潜在世界モデルによる計画で、ゴールまでの残りステップ数を反映する時間距離を学習し、既存モデルを凍結したまま計画コストに組み込むことで、遠いゴールでも成功率を大幅に改善した研究。

詳しい要約

1. どんなもの？

- 潜在世界モデル（latent world model）における計画のための時間的距離指標 TEMPO を提案する研究。 - 凍結した予測器を候補行動列で展開し、想像上の終状態とゴールの潜在距離で候補を順位付けする従来手法の問題を扱う。 - ゴールが複数計画先にある場合、潜在距離は「どれだけ近いか」を測るが「あと何ステップか」を測らないため順位付けが破綻する。 - TEMPO は世界モデルを変更せず、既存のデモンストレーションのみから学習する時間的距離計画目的。 - プランナの探索コストにごく僅かな追加コストで組み込める。

2. 先行研究と比べてどこがすごい？

- 従来の潜在距離ベースのランキングは、ゴールが数計画先にあると破綻する。 - TEMPO は世界モデルを触らず、報酬・方策・成功ラベルを必要としない。 - コストとして機能するため、状態ごとに1つの潜在ベクトルを持ち潜在距離で計画する凍結世界モデルに適用可能。 - 小さな MLP で計画の算術コストを最大0.3%しか増やさない。 - LeWM と PLDM の両プランナで全ゴール距離において改善し、TwoRoom の3計画先で LeWM を36%から99%に向上。 - 2D/3D ナビゲーション、リーチング、マニピュレーションの広範なタスクでも競争力を維持。

3. 技術・手法の肝は？

- 凍結潜在空間の小さなマップを学習し、エピソード内の2状態間の距離が環境ステップ数を反映するようにする。 - この時間的距離をプランナのコストにブレンドする。 - 世界モデルの学習に既に使われたデモンストレーションのみから学習する。 - 報酬・方策・成功ラベルは不要。 - モデルではなくコストとして機能するため、凍結世界モデルにそのまま適用できる。

4. どうやって有効だと検証した？

- 11のシミュレーション環境（迷路ナビゲーション、卓上プッシング、ロボットアーム制御、3次元マニピュレーションなど）で評価。 - LeWM と PLDM のプランナで検証。 - 最大0.3%の算術コスト追加で、両プランナを全ゴール距離で改善。 - 評価設定の1計画先でも改善。 - TwoRoom の3計画先で LeWM を36%から99%に向上。 - 広範な2D/3D ナビゲーション、リーチング、マニピュレーションタスクで競争力を維持。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- LeWM - PLDM - 潜在世界モデルを用いた計画（latent world model planning） - 時間的距離学習（temporal distance learning） - モデルベース強化学習（model-based reinforcement learning）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lama Moukheiber, Haotian Xue, Yongxin Chen

分類: cs.LG

原文アブストラクト

Latent world models plan by rolling a frozen predictor forward under candidate action sequences and ranking the candidates by the latent distance between their imagined end state and the goal. However, this ranking breaks down when the goal lies several plans away, because the latent distance measures how closely an end state resembles the goal rather than how far it remains from reaching it. To address this, we propose TEMPO, a temporal-distance planning objective that leaves the world model untouched, learns only from the demonstrations already used to train it, and adds negligible cost to the planner's search. TEMPO learns a small map of the frozen latent in which the distance between two states of an episode reflects the number of environment steps between them, and blends this distance into the planner's cost. It requires no rewards, policies or success labels and, being a cost rather than a model, applies to frozen world models with one latent vector per state that plan by a latent distance. We evaluate TEMPO on eleven simulated environments (e.g., maze navigation, tabletop pushing, robotic arm control and three-dimensional manipulation) with the LeWM and PLDM planners. With a small MLP that adds at most 0.3% to a plan's arithmetic, TEMPO improves both planners at every goal distance, including the one-plan setting of their evaluations, raises LeWM from 36% to 99% on TwoRoom three plans from the goal, and remains competitive on a broad range of 2D and 3D navigation, reaching and manipulation tasks.

arXivで原文を読む →arXiv概要ページ

どれだけ近いかではなく、あとどれだけか：潜在世界モデルの計画のための学習型時間距離指標

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell