日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
拡散ポリシー/強化学習arXiv:2609.12245

DIA: 拡散ポリシー最適化のためのデノイジング中間アドバンテージ

DIA: Denoising Intermediate Advantage for Diffusion Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

拡散ポリシーの強化学習ファインチューニングにおいて、各デノイジングステップに中間アドバンテージを割り当てる手法を提案し、複数のロボット操作ベンチマークで性能を向上させた。

詳しい要約

1. どんなもの？

- Diffusion-based robot policies の fine-tuning 手法。 - 強化学習で pretrained diffusion policy を改善。 - Denoising Intermediate Advantage (DIA) を提案。 - 各 denoising step に credit を割り当てる。 - Robomimic, FurnitureBench, Franka Kitchen, D3IL で評価。

2. 先行研究と比べてどこがすごい？

- 既存手法は action chunk 全体に同じ environment-level credit を付与。 - どの denoising step が return に寄与したか区別しない。 - DIA は partially denoised action 上の value function を学習。 - denoising level advantage を各 step に構築。 - より効率的に成功状態へ到達し、pretrained behavior distribution から離れられる。

3. 技術・手法の肝は？

- policy-gradient 法。 - diffusion-policy fine-tuning を outer environment MDP と inner denoising MDP で定式化。 - partially denoised action に対する value function を学習。 - 各 denoising step の advantage を算出。 - 標準の environment-level PPO advantage と組み合わせる。 - state-dependent credit を denoising chain 全体に提供。

4. どうやって有効だと検証した？

- Robomimic, FurnitureBench, Franka Kitchen, D3IL で検証。 - 既存 diffusion-policy fine-tuning 手法より最終 performance が一貫して向上。 - 最終 reward だけでなく、成功状態への到達効率も改善。 - pretrained behavior distribution からより遠くへシフト可能。 - baseline が到達できない効率的な task-level strategies や subtask sequences を発見。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗ケース、計算コスト、ハイパーパラメータ感度などは記述なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている既存 diffusion-policy fine-tuning 手法。 - 具体的な論文名は要旨に記載なし。 - 関連手法として PPO、behavior cloning、diffusion policy の fine-tuning 研究。 - 同分野の定番として Robomimic, FurnitureBench, Franka Kitchen, D3IL を用いた研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arjun Sohal, Yuchi Zhao, Miroslav Bogdanovic, Alan Aspuru-Guzik

分類: cs.RO

原文アブストラクト

Diffusion-based robot policies have become widely used in robotic manipulation, where they are typically trained with behavior cloning. However, policies trained purely from demonstrations are limited by the quality and coverage of the available data. Reinforcement learning can further improve the performance of these pretrained policies through interaction. A common approach is to use policy-gradient methods that formulate diffusion-policy fine-tuning as an outer environment MDP together with an inner denoising MDP. However, existing methods typically assign the same environment-level credit to all denoising steps used to construct an action chunk, without distinguishing which intermediate decisions contributed most to the final return. We introduce Denoising Intermediate Advantage (DIA), a policy-gradient method that learns a value function over partially denoised actions and uses it to construct a denoising level advantage for each step of the generative process. DIA combines this inner credit signal with the standard environment-level PPO advantage, providing state-dependent credit throughout the denoising chain. Across Robomimic, FurnitureBench, Franka Kitchen, and D3IL, DIA consistently improves final performance over existing diffusion-policy fine-tuning methods. Beyond final reward, DIA reaches successful states more efficiently and can shift farther from the pretrained behavior distribution, enabling it to discover more effective and efficient task-level strategies and subtask sequences that baseline methods fail to reach.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →