日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/拡散ポリシーarXiv:2606.14801

QPILOTS: フローポリシーのための効率的なテスト時Qステアリング

QPILOTS: Efficient Test-Time Q-Steering for Flow Policies

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングや拡散ポリシーを強化学習で最適化する際、推論時にノイズ除去プロセスをQ値の勾配で操縦する手法QPILOTSを提案し、オフラインからオンラインへのRLベンチマークで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 提案手法: QPILOTS - Flow-matching や diffusion policy を、推論時に Q-steering で制御する手法 - 元の policy は変更せず、denoising 過程を steer する - 2 つの変種: QPILOTS-U (単一点近似) と QPILOTS-M (学習済み補助ネットワークによる微分可能な事後サンプリング) - 対象: offline-to-online RL ベンチマークと、大規模で凍結された VLA 基盤モデル - 成果: 50 タスクで平均成功率 90%、6 つの manipulation タスクで prior の inference-time 手法を上回るか同等

2. 先行研究と比べてどこがすごい?

- 既存手法の課題: critic の action gradient を multi-step denoising に直接逆伝播すると数値的に不安定 - 既存の回避策: 勾配情報を捨てる、単純な one-step actor に蒸留、critic 改善ごとに denoising policy を再微調整 - QPILOTS の利点: 元の policy を変更せず推論時に steer するため、再微調整が不要 - 性能: 標準 offline-to-online RL ベンチマークで最高の集約性能 (50 タスク平均成功率 90%) - 大規模 VLA 基盤モデルへの適用: 凍結したまま推論時 steer で prior 手法を上回るか同等

3. 技術・手法の肝は?

- 推論時の各 denoising step で、critic を noisy な中間 action 上で評価するのではなく、最終的な clean action の推定値に投影してから critic gradient を計算 - QPILOTS-U: 高速な単一点近似を使用 - QPILOTS-M: 学習済み補助ネットワークにより微分可能な事後サンプルを取得 - 元の policy は変更せず、denoising 過程を steer する点が肝

4. どうやって有効だと検証した?

- 標準的な offline-to-online RL ベンチマークで評価 - 50 タスクで平均成功率 90% を達成し、集約性能で最高 - 大規模で凍結された VLA 基盤モデルに適用 - シミュレーション上の 6 つの manipulation タスクで、prior の inference-time 手法を上回るか同等の性能

5. 議論はある?

- 要旨からは不明 - 具体的な議論や限界、失敗事例、計算コスト、ハイパーパラメータ感度などは記述されていない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - Flow-matching policy - Diffusion policy - Temporal-difference reinforcement learning (RL) - One-step actor distillation - Inference-time steering 手法 - Vision-Language Action (VLA) foundation model - 関連手法: - Q-learning に基づく policy extraction - Denoising diffusion probabilistic models (DDPM) - Offline-to-online RL ベンチマーク (例: D4RL, RL Unplugged など一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Ruan, Chenyang Cao, Andreas Burger, Ali Pesaranghader, Kaveh Kamali, Jaehong Kim, Nandita Vijaykumar, Alan Aspuru-Guzik, Igor Gilitschenski, Nicholas Rhinehart

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Flow-matching and diffusion policies are expressive action generators, but optimizing them with temporal-difference reinforcement learning (RL) remains difficult. Effective policy extraction requires exploiting the critic's action gradient, yet directly backpropagating this signal through a multi-step denoising process can be numerically unstable. Existing methods work around this either by discarding gradient information, distilling the policy into a simpler one-step actor, or repeatedly fine-tuning the denoising policy as the critic improves. We propose QPILOTS, a method that leaves the original policy unmodified and steers the denoising process at inference time. At each denoising step, instead of evaluating the critic on the noisy intermediate action where critic predictions are unreliable, we first project that intermediate state to an estimate of the final clean action and compute the critic gradient there. We introduce two variants: QPILOTS-U uses a fast single-point approximation, while QPILOTS-M draws differentiable posterior samples via a learned auxiliary network. On a standard offline-to-online RL benchmark, QPILOTS achieves the best aggregate performance, reaching an average success rate of 90% across 50 tasks. We also apply QPILOTS to steer a large, frozen, pretrained Vision-Language Action (VLA) foundation model, outperforming or matching prior inference-time approaches across six manipulation tasks in simulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI