ドリフト場ポリシー:ワッサースタイン勾配流による一段生成ポリシー
Drifting Field Policy: A One-Step Generative Policy via Wasserstein Gradient Flow
ドリフトモデルに基づく非ODEの一段生成ポリシーを提案し、逆KLワッサースタイン勾配流としてポリシー更新を定式化。ロボミミックやOGBenchの操作タスクで最先端性能を達成した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Juil Koo, Mingue Park, Jiwon Choi, Yunhong Min, Minhyuk Sung
分類: cs.LG, cs.AI, cs.RO
原文アブストラクト
We propose Drifting Field Policy (DFP), a non-ODE one-step generative policy built on the drifting model paradigm. We frame the policy update as a reverse-KL Wasserstein-2 gradient flow toward a soft target policy, so that each DFP update corresponds to a gradient step in probability space. By construction, this gradient is decomposed into an ascent toward higher action-value regions and a score matching with the anchor policy as a trust region. We further derive a simple, tractable surrogate of the otherwise intractable update loss, akin to behavior cloning on top-K critic-selected actions. We find empirically that this mechanism uniquely benefits the drifting backbone owing to its non-ODE parameterization. With one-step inference, DFP achieves state-of-the-art performance on several manipulation tasks across Robomimic and OGBench, outperforming ODE-based policies.
