日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/強化学習/蒸留arXiv:2603.26666

VLA-OPD: オフラインSFTとオンラインRLを架橋する、オンポリシー蒸留による視覚言語行動モデル

VLA-OPD: Bridging Offline SFT and Online RL for Vision-Language-Action Models via On-Policy Distillation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの事後学習において、オフラインSFTの分布ずれや破滅的忘却と、オンラインRLのスパース報酬や非効率性を解決するため、専門家教師による密なトークンレベル監督を学生の自己生成軌道に適用し、Reverse-KL目的で安定した学習を実現するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 本論文は、VLAモデルのpost-training手法であるVLA-OPDを提案する。 - 事前学習済みVLAモデルの展開時の信頼性向上を目的とする。 - オフラインSFTの効率性とオンラインRLのロバスト性を橋渡しする。 - オンポリシー蒸留により、学生モデルの自己生成軌道に対して教師モデルが密なトークンレベル監督を提供する。 - これにより、分布シフトや破滅的忘却を緩和しつつ、サンプル効率とロバスト性を改善する。

2. 先行研究と比べてどこがすごい?

- 標準的なオフラインSFTは分布シフトと事前学習能力の破滅的忘却に悩まされる。 - オンラインRLは疎な報酬と低いサンプル効率が問題である。 - VLA-OPDは、疎な環境報酬に依存せず、教師による密なトークンレベル監督を活用する。 - これにより、SFTの効率性とRLのロバスト性を両立し、サンプル効率とロバスト性を向上させる。 - また、破滅的忘却を効果的に緩和する点が先行研究と異なる。

3. 技術・手法の肝は?

- 学生モデルの自己生成軌道に対して、教師モデルが密なトークンレベル監督を提供するオンポリシー蒸留を採用。 - ポリシー誘導状態での能動的誤り訂正を可能にする。 - 事前学習済みの一般能力を保持するため、穏やかなアラインメントを行う。 - Reverse-KL目的関数で定式化。 - Forward-KLのモードカバリングによるエントロピー爆発や、Hard-CEの早期エントロピー崩壊を回避。 - 有界なモードシーキング目的により、教師の認識的不確実性をフィルタリングしつつ、行動の多様性を維持し、安定したポリシー学習を実現。

4. どうやって有効だと検証した?

- LIBEROおよびRoboTwin2.0ベンチマークで実験を実施。 - VLA-OPDがRLよりもサンプル効率を大幅に改善することを示す。 - SFTよりもロバスト性が高いことを示す。 - post-training中の破滅的忘却を効果的に緩和することを確認。

5. 議論はある?

- 要旨からは、具体的な議論や限界についての記述は不明。 - ただし、Reverse-KL目的の有効性や、教師の認識的不確実性のフィルタリング、行動多様性の維持について言及されている。 - 破滅的忘却の緩和効果も主張されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Offline Supervised Fine-Tuning (SFT)、Online Reinforcement Learning (RL)、Forward-KL、Hard-CE、Reverse-KL。 - 関連手法:On-Policy Distillation、Vision-Language-Action (VLA) models。 - ベンチマーク:LIBERO、RoboTwin2.0。 - 同分野の定番:Robotic Manipulation、Imitation Learning、Reinforcement Learning from Human Feedback (RLHF) などが考えられるが、要旨に明示的な参照はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhide Zhong, Haodong Yan, Junfeng Li, Junjie He, Tianran Zhang, Haoang Li

分類: cs.RO

原文アブストラクト

Although pre-trained Vision-Language-Action (VLA) models exhibit impressive generalization in robotic manipulation, post-training remains crucial to ensure reliable performance during deployment. However, standard offline Supervised Fine-Tuning (SFT) suffers from distribution shifts and catastrophic forgetting of pre-trained capabilities, while online Reinforcement Learning (RL) struggles with sparse rewards and poor sample efficiency. In this paper, we propose On-Policy VLA Distillation (VLA-OPD), a framework bridging the efficiency of SFT with the robustness of RL. Instead of relying on sparse environmental rewards, VLA-OPD leverages an expert teacher to provide dense, token-level supervision on the student's self-generated trajectories. This enables active error correction on policy-induced states while preserving pre-trained general capabilities through gentle alignment. Crucially, we formulate VLA-OPD via a Reverse-KL objective. Unlike standard Forward-KL that induces mode-covering entropy explosion, or Hard-CE that causes premature entropy collapse, our bounded mode-seeking objective ensures stable policy learning by filtering out the teacher's epistemic uncertainty while maintaining action diversity. Experiments on LIBERO and RoboTwin2.0 benchmarks demonstrate that VLA-OPD significantly improves sample efficiency over RL and robustness over SFT, while effectively mitigating catastrophic forgetting during post-training.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI