日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット操作/強化学習arXiv:2604.01860

クリップ付き目的関数による後方最適化:生成的方策学習における効率と安定性の橋渡し

Posterior Optimization with Clipped Objective for Bridging Efficiency and Stability in Generative Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のための生成的方策をRLで微調整する際の不安定性とサンプル非効率を解決するため、後方推論として方策改善を定式化するPOCOフレームワークを提案。期待値最大化手順で報酬重み付き暗黙後方を方策に蒸留し、オフラインからオンラインへのパラダイムで事前分布に探索を固定する。

詳しい要約

1. どんなもの?

- 生成的なポリシー学習のためのRLフレームワーク「Posterior Optimization with Clipped Objective (POCO)」を提案。 - 時間的に拡張された行動チャンクに対するポリシー改善を事後推論問題として定式化。 - 報酬重み付き暗黙的事後分布をポリシーに蒸留し、尤度推定を不要にする。 - オフラインからオンラインへのパラダイムを採用し、オンライン探索を事前学習済み事前分布に固定。 - モデル非依存の設計で、大規模VLAモデルをアーキテクチャ変更なしに微調整可能。

2. 先行研究と比べてどこがすごい?

- 従来のRL微調整は不安定性とサンプル非効率性が課題。 - POCOは壊滅的なポリシー崩壊を防ぎ、SOTAベースラインを上回る。 - 実世界タスクで96.7%の成功率を達成。 - 尤度推定不要で、大規模VLAモデルにも適用可能。

3. 技術・手法の肝は?

- ポリシー改善を事後推論問題として定式化。 - Expectation-Maximization手続きにより、報酬重み付き暗黙的事後分布をポリシーに蒸留。 - 尤度推定を必要としない。 - オフラインからオンラインへのパラダイムで、オンライン探索を事前学習済み事前分布に固定。 - モデル非依存で、大規模VLAモデルをアーキテクチャ変更なしに微調整可能。

4. どうやって有効だと検証した?

- 7つのシミュレーションベンチマークと4つの接触リッチな実世界タスクで評価。 - POCOが壊滅的なポリシー崩壊を防ぎ、SOTAベースラインを上回ることを示す。 - 実世界タスクで96.7%の成功率を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Expectation-Maximization、VLAモデル、オフラインからオンラインへのRLが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhui Chen, Haoran Li, Zhennan Jiang, Yuxing Qin, Yuxuan Wan, Weiheng Liu, Dongbin Zhao

分類: cs.RO

原文アブストラクト

Expressive generative models have advanced robotic manipulation by capturing complex, multi-modal action distributions over temporally extended trajectories. However, fine-tuning these policies via RL remains challenging due to instability and sample inefficiency. We introduce Posterior Optimization with Clipped Objective (POCO), a principled RL framework that formulates policy improvement as a posterior inference problem tailored for temporal action chunks. Through an Expectation-Maximization procedure, POCO distills a reward-weighted implicit posterior into the policy without likelihood estimation. Furthermore, POCO adopts an offline-to-online paradigm that anchors online exploration to pre-trained priors, and its model-agnostic design scales to fine-tune large VLA models without architectural modifications. Evaluations across 7 simulation benchmarks and 4 contact-rich real-world tasks demonstrate that POCO prevents catastrophic policy collapse, outperforms SOTA baselines, and achieves a 96.7% success rate on real-world tasks. Videos are available at our project website https://cccedric.github.io/poco/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI