日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース強化学習arXiv:2609.39751

計画と学習のループを閉じる:学習済み世界モデルによるロボット制御

Beyond Policy Alignment: Closing the Planning-Learning Loop for Robot Control with Learned World Models

シェア:XThreadsFacebookLINEはてブBluesky

学習済み世界モデルを用いたモデル予測制御(MPC)において、批評家の監督と計画の終端価値推定を改良し、計画と学習のフィードバックループを強化するPL-MPCを提案。HumanoidBenchで性能向上と実機へのゼロショット転移を実証。

詳しい要約

1. どんなもの?

学習した world model を用いた planning と learning の閉ループ制御手法 PL-MPC を提案する論文。TD-MPC を基盤に、critic の教師信号、planner の terminal value 推定、actor 蒸留を修正する。world model 構造と MPPI optimizer は変更しない。HumanoidBench と DMControl、7-DoF KUKA IIWA14 での zero-shot sim-to-real で評価する。

2. 先行研究と比べてどこがすごい?

- TD-MPC は planning と learning の閉ループ設計の代表例。 - 近年の policy-constrained 変種は learned policy を planner 行動に合わせることでループの一部を強化。 - PL-MPC はそれに加え critic supervision と planner terminal-value estimation も変更する点が新しい。 - 性能はタスク依存だが、HumanoidBench の balance-hard と hurdle で大きな改善。 - DMControl でも競争力を維持。

3. 技術・手法の肝は?

- Hybrid multi-step TD targets により、bootstrapping 前に critic 更新へより多くの realized rewards を露出。 - Disagreement-aware terminal estimates により、MPPI planning 中に不確実な critic values の影響を低減。 - Return-weighted actor distillation により、高 return episode の planner-executed actions を重視。 - world-model architecture と MPPI optimizer はそのまま。

4. どうやって有効だと検証した?

- HumanoidBench で評価。balance-hard の Total Average Return (TAR) が 98±18 から 387±255 へ、hurdle が 199±13 から 466±200 へ増加。 - ベンチマーク全体では性能はタスク依存。 - DMControl でも競争力を確認。 - 制御された ablation で 2 タスクにおけるコンポーネント間相互作用の違いを示す。 - 7-DoF KUKA IIWA14 の wrench-nut alignment で zero-shot sim-to-real 転移を実証し、訓練物体サイズと 2 つの未見サイズで TD-M(PC)^2 より高い観測成功率。

5. 議論はある?

- 性能はタスク依存で、全ベンチマークで一貫した改善ではない。 - ablation により 2 タスクでコンポーネント間相互作用が異なることが示される。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- TD-MPC - TD-M(PC)^2 - policy-constrained variants of TD-MPC - MPPI - HumanoidBench - DMControl

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kowndinya Boyalakuntla, Yuhan Liu, Abdeslam Boularias

分類: cs.RO

原文アブストラクト

Planning with learned world models combines online trajectory optimization with learned value and policy functions for high-dimensional control. Because the planner determines the experience used for learning, while the learned critic and actor in turn score and propose future plans, planning and learning form a closed feedback loop. TD-MPC is a prominent instance of this design. Recent policy-constrained variants strengthen one part of the loop by aligning the learned policy with planner behavior. We introduce PL-MPC (Planning-Learning MPC), which additionally modifies critic supervision and planner terminal-value estimation. Hybrid multi-step TD targets expose critic updates to more realized rewards before bootstrapping; disagreement-aware terminal estimates reduce the influence of uncertain critic values during MPPI planning; and return-weighted actor distillation emphasizes planner-executed actions from high-return episodes. The world-model architecture and MPPI optimizer are otherwise unchanged. On HumanoidBench, the largest gains occur on \texttt{balance-hard}, where Total Average Return (TAR) increases from $98\pm18$ to $387\pm255$, and \texttt{hurdle}, from $199\pm13$ to $466\pm200$; performance across the broader benchmark remains task dependent, and PL-MPC remains competitive on DMControl. Controlled ablations show different component interactions across the two tasks. We further demonstrate zero-shot sim-to-real transfer on wrench-nut alignment with a 7-DoF KUKA IIWA14, obtaining higher observed success than TD-M(PC)^2 on the training object size and two unseen sizes. Code and data will be available at: https://pl-mpc-humanoid.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI