日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2603.22430

微分可能な世界モデルを用いたオフライン強化学習の推論時ポリシー最適化

Inference Time Policy Optimization for Offline RL with Differentiable World Models

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みポリシーと学習済み世界モデルを用いて、推論時にポリシーパラメータを勾配法で最適化するフレームワークを提案し、D4RLベンチマークで性能向上を確認した。

詳しい要約

1. どんなもの?

- オフライン強化学習(Offline RL)において、推論時にポリシーパラメータを最適化する推論時間適応フレームワークを提案。 - 事前学習済みポリシーと学習済み世界モデル(world model)を組み合わせ、推論時に情報を活用してポリシーをオンザフライで改善。 - Differentiable World Model (DWM) パイプラインにより、想像上のロールアウトを通じたエンドツーエンドの勾配計算を可能にし、Inference Time Policy Optimization (ITPO) を実現。 - D4RL連続制御ベンチマーク(MuJoCo locomotion tasks, AntMaze)で評価。

2. 先行研究と比べてどこがすごい?

- 既存のworld modelやdiffusion-planning手法は、学習中の想像軌道生成や推論時の候補計画サンプリングに学習済みダイナミクスを用いるが、推論時情報でポリシーパラメータを最適化しない。 - 対照的に、提案手法は推論時情報を活用してポリシーパラメータを最適化し、強いオフラインRLベースラインに対して一貫した性能向上を達成。 - 推論時適応は計算コストが高いが、そのトレードオフを明示的に研究し、適切なtilted version of one-step MeanFlow samplerでコストを大幅に削減しつつ利得の多くを回復。

3. 技術・手法の肝は?

- Differentiable World Model (DWM) パイプラインを構築し、想像上のロールアウトを通じたエンドツーエンドの勾配計算を可能に。 - 推論時にポリシーパラメータを最適化するInference Time Policy Optimization (ITPO) を実行。 - 計算コスト削減のため、tilted version of one-step MeanFlow samplerを導入。 - 事前学習済みポリシーと学習済み世界モデルを組み合わせ、MPCにインスパイアされた適応を実現。

4. どうやって有効だと検証した?

- D4RL連続制御ベンチマーク(MuJoCo locomotion tasksおよびAntMaze)で評価。 - 強いオフラインRLベースラインと比較し、一貫した性能向上を確認。 - 推論時適応の計算コスト(ロールアウト生成と逆伝播が支配的)を明示的に分析し、tilted one-step MeanFlow samplerがコストを大幅に削減しつつ利得の多くを回復することを示した。

5. 議論はある?

- 推論時適応は高コストであり、ロールアウト生成と逆伝播がステップあたりの計算を支配する。 - このトレードオフを明示的に研究し、tilted version of one-step MeanFlow samplerがコストを大幅に削減しつつ利得の多くを回復することを示した。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:world model、diffusion-planning、model predictive control (MPC)、MeanFlow sampler。 - 関連手法:D4RLベンチマークを用いたオフラインRL手法(例:CQL, IQL, TD3+BCなど)や、model-basedオフラインRL(例:MOPO, MOReL)が次の読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rohan Deb, Stephen J. Wright, Arindam Banerjee

分類: cs.LG

原文アブストラクト

Offline Reinforcement Learning (RL) learns optimal policies from fixed datasets, training a policy once and deploying it at inference time without further refinement. Inspired by model predictive control (MPC), we introduce an inference time adaptation framework that utilizes a pretrained policy along with a learned world model. While existing world model and diffusion-planning methods use learned dynamics to generate imagined trajectories during training, or to sample candidate plans at inference time, they do not use inference-time information to *optimize* the policy parameters on the fly. In contrast, our design is a Differentiable World Model (DWM) pipeline that enables end-to-end gradient computation through imagined rollouts for inference time policy optimization (ITPO). We evaluate our algorithm on D4RL continuous-control benchmarks (MuJoCo locomotion tasks and AntMaze), and show that exploiting inference-time information to optimize the policy parameters yields consistent gains over strong offline RL baselines. Inference-time adaptation, however, is expensive: rollout generation and backpropagation dominate per-step compute. We study this tradeoff explicitly, showing that a suitable tilted version of one-step MeanFlow sampler recovers much of the gains at a fraction of the cost.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI