日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース強化学習arXiv:2512.09929

勾配ベース計画のための世界モデルにおける訓練・テストギャップの解消

Closing the Train-Test Gap in World Models for Gradient-Based Planning

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルの訓練時とテスト時の目的のずれを埋めるため、訓練時のデータ合成手法を提案し、勾配ベース計画の性能を向上させた。物体操作やナビゲーションタスクで、従来のCEMと同等以上の性能を10%の時間で達成した。

詳しい要約

1. どんなもの?

- 本論文は、world modelsとmodel predictive control (MPC)を組み合わせた際の、gradient-based planningの性能向上を目指す研究である。 - 特に、world modelの訓練目的(next-state prediction)とテスト時の利用目的(action sequenceの推定)の間のギャップ(train-test gap)に着目し、その解消を図る。 - 訓練時のデータ合成手法を提案し、既存のworld modelsでもgradient-based planningの性能を大幅に改善する。 - テスト時には、古典的なgradient-free cross-entropy method (CEM)と比較して、10%の時間予算で同等以上の性能を達成する。

2. 先行研究と比べてどこがすごい?

- 従来のMPCは遅い探索アルゴリズムや最適化問題の反復解法に依存していたが、gradient-based planningは計算効率が良い代替手段である。 - しかし、これまでgradient-based planningの性能は他のアプローチに比べて劣っていた。 - 本研究は、訓練時のデータ合成によりこの性能ギャップを埋め、既存のworld modelsを用いてgradient-based planningを改善する点が新しい。 - テスト時にはCEMと比較して10%の時間予算で同等以上の性能を達成する点がすごい。

3. 技術・手法の肝は?

- 鍵となるのは、world modelの訓練目的とテスト時の利用目的の不一致(train-test gap)を認識し、訓練時にデータ合成を行うことである。 - 具体的には、train-time data synthesis techniquesを提案し、これにより既存のworld modelsでもgradient-based planningの性能を大幅に向上させる。 - テスト時には、学習されたworld modelを用いてgradient-based planningを実行する。 - データ合成の詳細な手法は要旨からは不明。

4. どうやって有効だと検証した?

- 物体操作(object manipulation)とナビゲーション(navigation)の様々なタスクで評価を行った。 - テスト時において、提案手法が古典的なgradient-free cross-entropy method (CEM)と比較して、10%の時間予算で同等以上の性能を達成することを示した。 - これにより、gradient-based planningの有効性を実証した。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明である。 - ただし、train-test gapの概念に基づくアプローチは、他のworld modelベースの計画手法にも影響を与える可能性がある。 - 計算効率と性能のトレードオフについての議論が期待されるが、要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究として、cross-entropy method (CEM)やmodel predictive control (MPC)が挙げられる。 - 関連手法として、gradient-based planning、world models、train-time data synthesisが挙げられる。 - 次に読むべき論文としては、world modelsを用いたplanningの研究(例:Dreamer、PlaNetなど)や、gradient-based MPCの研究が考えられるが、要旨では特定の論文は参照されていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arjun Parthasarathy, Nimit Kalra, Rohun Agrawal, Yann LeCun, Oumayma Bounou, Pavel Izmailov, Micah Goldblum

分類: cs.LG, cs.RO

原文アブストラクト

World models paired with model predictive control (MPC) can be trained offline on large-scale datasets of expert trajectories and enable generalization to a wide range of planning tasks at inference time. Compared to traditional MPC procedures, which rely on slow search algorithms or on iteratively solving optimization problems exactly, gradient-based planning offers a computationally efficient alternative. However, the performance of gradient-based planning has thus far lagged behind that of other approaches. In this paper, we propose improved methods for training world models that enable efficient gradient-based planning. We begin with the observation that although a world model is trained on a next-state prediction objective, it is used at test-time to instead estimate a sequence of actions. The goal of our work is to close this train-test gap. To that end, we propose train-time data synthesis techniques that enable significantly improved gradient-based planning with existing world models. At test time, our approach outperforms or matches the classical gradient-free cross-entropy method (CEM) across a variety of object manipulation and navigation tasks in 10% of the time budget.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI