日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2511.08922

価値条件付き最適化による拡散ポリシーを用いたオフライン強化学習

Diffusion Policies with Value-Conditional Optimization for Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

オフライン強化学習において、拡散モデルをアドバンテージ値で重み付けして訓練し、高リターン行動を選択的に拡張することで、保守性と探索性のバランスを取る手法DIVOを提案した論文。

詳しい要約

1. どんなもの?

- Offline reinforcement learning における新手法 DIVO(DIffusion policies with Value-conditional Optimization)の提案 - diffusion model を用いて in-distribution な state-action サンプルを生成しつつ policy improvement を行う枠組み - 価値の過大評価(value overestimation)と過度な保守性(excessive conservatism)のトレードオフ緩和を狙う - D4RL benchmark で評価される offline RL 向け手法

2. 先行研究と比べてどこがすごい?

- 既存の diffusion ベース offline RL は behavior policy 制約で保守性を課すが、低品質データセット中の冗長 action に無差別な regularization をかけ過度な保守性を招く問題があった - DIVO は dataset 中の action の advantage 値を用いた binary-weighted mechanism で、分布整合と高 advantage action の選択的境界拡張を両立 - 表現力と効率のバランスを改善する点が差分 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- diffusion model の学習を advantage 値で重み付けする binary-weighted mechanism が肝 - offline dataset の action の advantage 値を用いて学習を誘導し、dataset 分布への精密な整合と高 advantage action の境界拡張を選択的に実施 - policy improvement 時には diffusion model から高 return ポテンシャル action を動的にフィルタリングし、学習 policy を誘導 - 保守性と explorability のバランスを取る設計

4. どうやって有効だと検証した?

- D4RL benchmark 上で評価し、state-of-the-art baselines と比較 - locomotion tasks で平均 return の有意な改善を報告 - 疎な報酬が難しい AntMaze domain でも既存手法を上回る性能を示す - 具体的なベースライン名や実験設定の詳細は要旨からは不明

5. 議論はある?

- 低品質データセットにおける冗長 action への無差別 regularization が過度な保守性を生む点を問題提起 - advantage 値に基づく重み付けで保守性と explorability のバランスを取る設計思想を主張 - 限界や失敗ケース、計算コスト、ハイパーパラメータ感度などの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な既存手法名は不明 - 関連として diffusion model を用いた offline RL(Diffusion-QL 等の diffusion policy 系)や behavior cloning 制約付き offline RL、D4RL benchmark を用いる保守的 offline RL 手法を次に読む候補として挙げる - AntMaze など sparse reward 設定の offline RL 研究も関連

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunchang Ma, Tenglong Liu, Yixing Lan, Xin Yin, Changxin Zhang, Xinglong Zhang, Xin Xu

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

In offline reinforcement learning, value overestimation caused by out-of-distribution (OOD) actions significantly limits policy performance. Recently, diffusion models have been leveraged for their strong distribution-matching capabilities, enforcing conservatism through behavior policy constraints. However, existing methods often apply indiscriminate regularization to redundant actions in low-quality datasets, resulting in excessive conservatism and an imbalance between the expressiveness and efficiency of diffusion modeling. To address these issues, we propose DIffusion policies with Value-conditional Optimization (DIVO), a novel approach that leverages diffusion models to generate high-quality, broadly covered in-distribution state-action samples while facilitating efficient policy improvement. Specifically, DIVO introduces a binary-weighted mechanism that utilizes the advantage values of actions in the offline dataset to guide diffusion model training. This enables a more precise alignment with the dataset's distribution while selectively expanding the boundaries of high-advantage actions. During policy improvement, DIVO dynamically filters high-return-potential actions from the diffusion model, effectively guiding the learned policy toward better performance. This approach achieves a critical balance between conservatism and explorability in offline RL. We evaluate DIVO on the D4RL benchmark and compare it against state-of-the-art baselines. Empirical results demonstrate that DIVO achieves superior performance, delivering significant improvements in average returns across locomotion tasks and outperforming existing methods in the challenging AntMaze domain, where sparse rewards pose a major difficulty.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI