日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/生成的ポリシーarXiv:2606.01151

ラグランジアン摂動拡散ステアリング:生成的ポリシーのための潜在強化学習

Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies

シェア:XThreadsFacebookLINEはてブBluesky

凍結した生成的ポリシーに対し、ノイズ空間の小さな摂動を学習して性能を改善する軽量適応手法LP-DSを提案。ロボット操作や移動、器用操作のベンチマークで成功率と報酬を向上させた。

詳しい要約

1. どんなもの?

- 生成ポリシーを凍結したまま、デコード前のノイズ空間に小さな摂動を学習して適応させる軽量手法。 - 名称は Lagrangian Perturbation Diffusion Steering (LP-DS)。 - 大規模な action decoder を更新せず、下流の value を改善する。 - 対象は behavior cloning で訓練された高容量生成ポリシー。

2. 先行研究と比べてどこがすごい?

- 直接的な reinforcement learning fine-tuning は不安定で sample inefficient になりやすい。 - LP-DS は凍結ポリシーを保ち、ノイズ空間の摂動のみを最適化するため軽量。 - 制約なしの noise-space steering より高い action-space entropy を維持。 - 先行ベースライン比で return が最大 25% 改善。

3. 技術・手法の肝は?

- 凍結生成ポリシーのデコード前に compact な noise-space perturbation を学習。 - Lagrangian trust-region objective で下流 value を改善しつつ latent prior からの逸脱を制約。 - 大規模 action decoder の更新を回避する設計。 - 詳細なアルゴリズムは要旨からは不明。

4. どうやって有効だと検証した?

- RoboMimic manipulation、OpenAI Gym locomotion、Adroit dexterous manipulation で評価。 - sample efficiency、success、return の改善を確認。 - flow-matching backbones、大規模 vision-language-action model、物理 Franka 実機でも評価。 - コンパクトな diffusion policy やシミュレーションに限定されないことを示す。

5. 議論はある?

- 制約なし noise-space steering より action-space entropy が高い点を議論。 - 凍結ポリシーへの軽量適応の有効性を示す。 - 限界や失敗ケース、計算コストの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている prior baselines や unconstrained noise-space steering の関連研究。 - flow-matching backbones を用いた生成ポリシー研究。 - vision-language-action model の適応研究。 - RoboMimic、OpenAI Gym、Adroit を用いた behavior cloning / reinforcement learning fine-tuning 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hikmet Simsir, Ozgur S. Oguz

分類: cs.LG

原文アブストラクト

Behavior cloning with high-capacity generative policies achieves strong imitation performance, but is often limited by demonstration coverage and distribution shift. Direct reinforcement learning fine-tuning can improve performance, but updating large action decoders is frequently unstable and sample inefficient. We propose Lagrangian Perturbation Diffusion Steering (LP-DS), a lightweight adaptation method that improves a frozen generative policy by learning a compact noise-space perturbation before decoding. LP-DS optimizes this perturbation with a Lagrangian trust-region objective, improving downstream value while constraining deviation from the latent prior. Across RoboMimic manipulation, OpenAI Gym locomotion, and Adroit dexterous manipulation benchmarks, LP-DS improves sample efficiency, success, and return while maintaining higher action-space entropy than unconstrained noise-space steering, with return improvements of up to 25% over prior baselines. Additional evaluations with flow-matching backbones, a large vision-language-action model, and physical Franka deployment show that LP-DS is not limited to compact diffusion policies or simulated benchmarks. Project page: https://sites.google.com/view/lp-ds/home.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI