日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
オフライン強化学習arXiv:2603.04289

IPD: オフライン強化学習における想像的計画蒸留による逐次方策の強化

IPD: Boosting Sequential Policy with Imaginary Planning Distillation in Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

オフライン強化学習の逐次方策モデルに対し、世界モデルと準最適価値関数を用いて劣った軌道を特定し、想像上の最適ロールアウトを生成してデータ拡張と蒸留を行う新しい枠組みIPDを提案した。

詳しい要約

1. どんなもの？

- オフライン強化学習（RL）における新しいフレームワーク「Imaginary Planning Distillation (IPD)」を提案。 - Decision Transformer ベースの逐次ポリシーに、オフライン計画をデータ生成・教師あり学習・オンライン推論の各段階で統合。 - 世界モデルと準最適価値関数を学習し、MPC で想像上の最適ロールアウトを生成してデータ拡張。 - Transformer ベースの逐次ポリシーを拡張データセットで訓練し、価値誘導目的で最適ポリシーを蒸留。 - 推論時には手動調整の return-to-go を学習した準最適価値関数に置き換え、意思決定の安定性と性能を向上。

2. 先行研究と比べてどこがすごい？

- 従来の Decision Transformer ベースの逐次ポリシーは、静的データセットの品質とアーキテクチャの制限により、準最適経験の統合や明示的な最適ポリシー計画が困難。 - IPD はオフライン計画をデータ生成・訓練・推論にシームレスに組み込み、これらの問題を克服。 - 手動調整の return-to-go を学習した準最適価値関数に置き換えることで、推論時の安定性と性能を改善。 - D4RL ベンチマークで、価値ベースおよび Transformer ベースの最先端オフライン RL 手法を大幅に上回る。

3. 技術・手法の肝は？

- オフラインデータから不確実性測定を備えた世界モデルと準最適価値関数を学習。 - これらのコンポーネントを用いて準最適軌道を特定し、Model Predictive Control (MPC) で生成した信頼できる想像上の最適ロールアウトで拡張。 - 拡張データセット上で Transformer ベースの逐次ポリシーを訓練し、価値誘導目的で最適ポリシーを蒸留。 - 推論時には、従来の手動調整 return-to-go を学習した準最適価値関数に置き換え。

4. どうやって有効だと検証した？

- D4RL ベンチマーク上で評価を実施。 - 多様なタスクにおいて、IPD がいくつかの最先端価値ベースおよび Transformer ベースのオフライン RL 手法を大幅に上回ることを実証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- Decision Transformer ベースの逐次ポリシー（例: Decision Transformer） - 価値ベースのオフライン RL 手法（例: CQL, IQL） - Model Predictive Control (MPC) を用いたオフライン計画手法 - 世界モデルを活用したオフライン RL（例: MOPO, MOReL）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yihao Qin, Yuanfei Wang, Hang Zhou, Peiran Liu, Hao Dong, Yiding Ji

分類: cs.LG, cs.AI

原文アブストラクト

Decision transformer based sequential policies have emerged as a powerful paradigm in offline reinforcement learning (RL), yet their efficacy remains constrained by the quality of static datasets and inherent architectural limitations. Specifically, these models often struggle to effectively integrate suboptimal experiences and fail to explicitly plan for an optimal policy. To bridge this gap, we propose \textbf{Imaginary Planning Distillation (IPD)}, a novel framework that seamlessly incorporates offline planning into data generation, supervised training, and online inference. Our framework first learns a world model equipped with uncertainty measures and a quasi-optimal value function from the offline data. These components are utilized to identify suboptimal trajectories and augment them with reliable, imagined optimal rollouts generated via Model Predictive Control (MPC). A Transformer-based sequential policy is then trained on this enriched dataset, complemented by a value-guided objective that promotes the distillation of the optimal policy. By replacing the conventional, manually-tuned return-to-go with the learned quasi-optimal value function, IPD improves both decision-making stability and performance during inference. Empirical evaluations on the D4RL benchmark demonstrate that IPD significantly outperforms several state-of-the-art value-based and transformer-based offline RL methods across diverse tasks.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →