Q-VGM: フローマッチングVLAのオフポリシー強化学習のためのQ値勾配マッチング

- flow-matching VLA ポリシーの fine-tuning のための off-policy RL 手法 Q-VGM を提案。 - 学習済み Q 関数で flow-matching action expert を改善するのが目的。 - 中心課題は critic の一次信号 ∇_A Q を flow ポリシーで活用しにくい点。 - 提案は policy improvement を denoising dynamics 上の optimal control として定式化。 - 推論時に critic 不要、完全 offline で固定 replay buffer 上で学習。

- 既存 value-based 手法は denoising chain 全体を backprop するか、critic を test-time selection/guidance にのみ使うか、critic 改善 action を終端ラベルとして蒸留し velocity field を直接監督しない。 - Q-VGM は action likelihood 不要、denoising chain の backprop 不要。 - 推論時 critic 不要で、固定 replay buffer 上の完全 offline 学習。 - 同一 backbone・同一 critic の全 baseline を上回ると主張。

- policy improvement を denoising dynamics 上の optimal control として扱う。 - 最適 residual velocity は denoising-time value function の勾配。 - iterative Q-gradient ascent と keep-best selection で改善した clean-action 推定を residual velocity target に変換。 - その target が velocity field を直接監督。 - critic は凍結 VLA backbone の compact latent state 上の action-sensitive stepwise IQL critic。

- few-shot-SFT π_{0.5} から開始し、自身の rollout から追加 expert 監督なしで改善。 - LIBERO 平均成功率を 79.0% から 92.5% へ向上。 - 同一 backbone・同一 critic の全 baseline を上回る。 - 4 つの実機 manipulation タスクで高い成功率、fine-grained plug insertion を含む。

- 要旨からは不明。 - 限界や失敗ケース、計算コスト、critic 品質依存性などの議論は要旨に記載なし。

- 要旨で参照/比較されている具体的な先行研究名は不明。 - 関連手法として flow-matching VLA、off-policy RL、IQL、Q-gradient ascent、test-time guidance/selection を挙げる。 - 同分野の定番として LIBERO benchmark と vision-language-action (VLA) ポリシー。