拡散ポリシー/世界モデル/オフラインRL2025/8/1arXiv:2508.03645

DiWA: 世界モデルによる拡散ポリシーの適応

DiWA: Diffusion Policy Adaptation with World Models

世界モデルを活用し、拡散ポリシーをオフライン強化学習でファインチューニングするフレームワークDiWAを提案。実環境との相互作用を大幅に削減し、CALVINベンチマークで8タスクの性能を向上させた。

詳しい要約

1. どんなもの？

- DiWA は diffusion policy を強化学習 (RL) で fine-tuning するための新フレームワーク - world model を用いて、実環境との相互作用なしに完全 offline で適応 - 対象はロボットの manipulation スキル - 従来の model-free RL による fine-tuning が抱えるサンプル効率の悪さを解消することを狙う - CALVIN benchmark 上で 8 タスクの性能改善を報告 - コード公開: https://diwa.cs.uni-freiburg.de

2. 先行研究と比べてどこがすごい？

- 先行研究は diffusion policy の denoising 過程を Markov Decision Process として扱い RL 更新を可能にしたが、環境相互作用への強い依存が非効率だった - DiWA は world model を導入し、offline のみで fine-tuning を実現 - model-free 手法が数百万回の環境相互作用を要するのに対し、数百千回程度の offline play 相互作用で一度学習した world model で適応 - サンプル効率が大幅に改善され、実ロボット学習の安全性・実用性が向上 - 著者らの知る限り、offline world model で実世界ロボットスキルの diffusion policy を fine-tuning した初の実証

3. 技術・手法の肝は？

- diffusion policy の fine-tuning に world model を組み合わせる枠組み - world model は数百千回の offline play 相互作用で一度だけ学習 - その world model 上で RL による fine-tuning を完全 offline で実施 - 実環境との追加相互作用を必要とせずに適応を進める点が肝 - 具体的なアルゴリズム詳細や world model のアーキテクチャは要旨からは不明

4. どうやって有効だと検証した？

- CALVIN benchmark 上で評価 - 8 タスクにおいて offline 適応のみで性能改善を確認 - model-free baseline と比較し、物理的相互作用回数が桁違いに少ないことを示す - 実世界ロボットでの検証については要旨からは不明（実世界応用への実用性・安全性に言及）

5. 議論はある？

- model-free 手法に対するサンプル効率・安全性の優位性を主張 - offline world model のみでの適応が実世界ロボット学習に有効である可能性を示唆 - 限界や失敗ケース、world model の汎化性に関する議論は要旨からは不明 - 実機展開時の課題については要旨からは不明

6. 次に読むべき論文は？

- diffusion policy の denoising 過程を MDP として RL 更新する先行研究（要旨で参照） - model-free RL による diffusion policy fine-tuning の baseline 手法 - world model を用いた model-based RL の代表的手法 - CALVIN benchmark に関する研究 - offline RL によるロボットスキル学習の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Akshay L Chandra, Iman Nematollahi, Chenguang Huang, Tim Welschehold, Wolfram Burgard, Abhinav Valada

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Fine-tuning diffusion policies with reinforcement learning (RL) presents significant challenges. The long denoising sequence for each action prediction impedes effective reward propagation. Moreover, standard RL methods require millions of real-world interactions, posing a major bottleneck for practical fine-tuning. Although prior work frames the denoising process in diffusion policies as a Markov Decision Process to enable RL-based updates, its strong dependence on environment interaction remains highly inefficient. To bridge this gap, we introduce DiWA, a novel framework that leverages a world model for fine-tuning diffusion-based robotic skills entirely offline with reinforcement learning. Unlike model-free approaches that require millions of environment interactions to fine-tune a repertoire of robot skills, DiWA achieves effective adaptation using a world model trained once on a few hundred thousand offline play interactions. This results in dramatically improved sample efficiency, making the approach significantly more practical and safer for real-world robot learning. On the challenging CALVIN benchmark, DiWA improves performance across eight tasks using only offline adaptation, while requiring orders of magnitude fewer physical interactions than model-free baselines. To our knowledge, this is the first demonstration of fine-tuning diffusion policies for real-world robotic skills using an offline world model. We make the code publicly available at https://diwa.cs.uni-freiburg.de.

arXivで原文を読む →arXiv概要ページ

← 論文一覧