日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

生成ポリシーarXiv:2605.07727

ドリフト場ポリシー:ワッサースタイン勾配流による一段生成ポリシー

Drifting Field Policy: A One-Step Generative Policy via Wasserstein Gradient Flow

シェア:XThreadsFacebookLINEはてブBluesky

ドリフトモデルに基づく非ODEの一段生成ポリシーを提案し、逆KLワッサースタイン勾配流としてポリシー更新を定式化。ロボミミックやOGBenchの操作タスクで最先端性能を達成した。

詳しい要約

1. どんなもの?

- 提案手法は Drifting Field Policy (DFP) と呼ばれる、非 ODE の one-step 生成ポリシー。 - drifting model パラダイムに基づき、ポリシー更新を reverse-KL Wasserstein-2 gradient flow として定式化。 - 各更新は確率空間における勾配ステップに対応し、行動価値の高い領域への ascent と anchor policy との score matching による信頼領域で構成。 - 実用的な代理損失を導出し、top-K critic-selected actions に対する behavior cloning に類似。 - one-step 推論で Robomimic と OGBench の複数の manipulation タスクにおいて state-of-the-art 性能を達成。

2. 先行研究と比べてどこがすごい?

- 従来の ODE ベースのポリシーと比較して、one-step 推論で高性能を実現。 - drifting backbone の非 ODE パラメータ化により、このメカニズムが独自の利点をもたらすことを経験的に発見。 - Robomimic と OGBench の manipulation タスクで ODE ベースのポリシーを上回る。

3. 技術・手法の肝は?

- ポリシー更新を reverse-KL Wasserstein-2 gradient flow として定式化し、soft target policy へ向かう勾配流を構成。 - 勾配は行動価値の高い領域への ascent と anchor policy との score matching による信頼領域に分解。 - 計算困難な更新損失の簡便で扱いやすい代理損失を導出。 - 代理損失は top-K critic-selected actions に対する behavior cloning に類似。 - drifting backbone の非 ODE パラメータ化がこのメカニズムの利点を引き出す。

4. どうやって有効だと検証した?

- Robomimic と OGBench の複数の manipulation タスクで評価。 - one-step 推論で state-of-the-art 性能を達成し、ODE ベースのポリシーを上回ることを確認。 - 具体的な実験設定やベースラインの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: ODE-based policies, drifting model paradigm, behavior cloning, top-K critic-selected actions。 - 関連手法: Robomimic, OGBench のベンチマーク。 - 同分野の定番: diffusion policy, flow matching, Wasserstein gradient flow に関する論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juil Koo, Mingue Park, Jiwon Choi, Yunhong Min, Minhyuk Sung

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

We propose Drifting Field Policy (DFP), a non-ODE one-step generative policy built on the drifting model paradigm. We frame the policy update as a reverse-KL Wasserstein-2 gradient flow toward a soft target policy, so that each DFP update corresponds to a gradient step in probability space. By construction, this gradient is decomposed into an ascent toward higher action-value regions and a score matching with the anchor policy as a trust region. We further derive a simple, tractable surrogate of the otherwise intractable update loss, akin to behavior cloning on top-K critic-selected actions. We find empirically that this mechanism uniquely benefits the drifting backbone owing to its non-ODE parameterization. With one-step inference, DFP achieves state-of-the-art performance on several manipulation tasks across Robomimic and OGBench, outperforming ODE-based policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI