日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

拡散ポリシー/強化学習/モデルベースarXiv:2606.10825

MODIP: 拡散ポリシーのための効率的なモデルベース最適化

MODIP: Efficient Model-Based Optimization for Diffusion Policies

シェア:XThreadsFacebookLINEはてブBluesky

拡散ポリシーを強化学習で直接微調整する代わりに、ワールドモデルとモデル予測制御で高品質な軌道を生成し、それを教師信号として行動クローニング的に微調整するフレームワークを提案した。

詳しい要約

1. どんなもの?

- Diffusion Policies (DPs) の offline-to-online fine-tuning フレームワーク MODIP を提案。 - DPs は behavioral cloning (BC) で成功しているが、直接的な reinforcement learning (RL) fine-tuning は multi-step denoising のため困難。 - MODIP は world model (WM) を活用し、BC の簡便性と安定性を保ちつつ policy adaptation を実現。 - model predictive control (MPC) で WM 内の高品質 trajectory を生成し、DP の supervised target として fine-tuning。 - 効率化のため terminal state value を使用し、policy-independent TD target で critic を訓練。

2. 先行研究と比べてどこがすごい?

- 従来の DP は主に BC に限定され、直接 RL fine-tuning は困難だった。 - 既存の diffusion policy RL fine-tuning 手法や model-based baseline (TD-MPC2 など) と比較して、競争力があるか上回る性能を達成。 - BC の簡便性と安定性を維持しつつ、WM を介することで効率的な fine-tuning を実現。 - MPC 計画で terminal state value を用いることで推論時間を短縮し、policy-independent TD target で訓練時間を削減。

3. 技術・手法の肝は?

- world model (WM) を利用して policy adaptation をガイド。 - model predictive control (MPC) で WM 内の高品質 trajectory を生成し、DP の supervised target として使用。 - MPC 計画の効率化のため、policy-dependent state-action value の代わりに terminal state value を採用。 - critic を policy-independent TD target で訓練し、訓練時間を削減。 - BC の枠組みを維持し、直接 RL を適用しない。

4. どうやって有効だと検証した?

- D4RL (MuJoCo, Kitchen) および RoboMimic タスクで実験。 - MODIP が diffusion policy を BC 以上に改善することを示す。 - diffusion policy RL fine-tuning 手法や TD-MPC2 などの強力な model-based baseline と比較して、競争力があるか上回ることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: diffusion policy RL fine-tuning 手法、TD-MPC2、D4RL (MuJoCo, Kitchen)、RoboMimic。 - 関連手法: behavioral cloning (BC)、model predictive control (MPC)、world model (WM)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zakariae El Asri, Philippe Gratias-Quiquandon, Nicolas Thome, Olivier Sigaud

分類: cs.LG

原文アブストラクト

Diffusion policies (DPs) have emerged as expressive policy representations for robot learning, often used with imitation learning methods such as behavioral cloning (BC). However, while their success has largely been confined to BC, direct reinforcement learning (RL) fine-tuning remains challenging because actions are generated through a multi-step denoising process. In this work, we propose MODIP, a framework for the offline-to-online fine-tuning of DPs. Rather than directly applying RL to the DPs, MODIP leverages a world model (WM) to guide policy adaptation and keeps the simplicity and stability of BC. We utilize model predictive control (MPC) to generate high-quality trajectories within the WM, and use them as supervised targets for fine-tuning the DP. To make MPC planning efficient, MODIP uses a terminal state value instead of a policy-dependent state-action value, reducing inference time. Additionally, MODIP trains critics with policy-independent TD targets, reducing training time. Experiments on D4RL (MuJoCo, Kitchen) and RoboMimic tasks show that MODIP improves diffusion policies beyond BC, and is competitive with or outperforms diffusion policy RL fine-tuning methods and strong model-based baselines such as TD-MPC2.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI