日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.16517

信頼度で校正されたVLAポリシーの進化する想像による事後学習

Trust-Calibrated VLA Policy Post-Training with Evolving Imagination

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのRL事後学習で、シミュレータの信頼度に応じて想像データの使用量を調整し、効率的かつ安定に性能を高めるMERLを提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの post-training における信頼性と効率のトレードオフを解決する枠組み。 - Model-Evolving Reinforcement Learning (MERL) を提案。 - policy optimization と online-updated simulator (world model + reward proxy head) を結合。 - simulator の信頼性に基づき imagined-data ratio と rollout horizon を制御。 - chunk-level trust で replay selection と optimization weight を調整。 - residual predictor で trust を推定。

2. 先行研究と比べてどこがすごい?

- 既存の model-free refinement は simulator bias を避けるが interaction-intensive。 - model-based refinement は unreliable imagination を利用する可能性。 - MERL は trust-calibrated で両者のトレードオフを緩和。 - 高閾値学習速度が matched model-free control より 10.9% 向上。 - 同一プロトコルの external baselines を 3 つの training seeds で上回る。

3. 技術・手法の肝は?

- policy optimization と online-updated simulator (world model + reward proxy head) を結合。 - simulator reliability が imagined-data ratio と rollout horizon を制御。 - chunk-level trust が replay selection と optimization weight を制御。 - recursive imagination で exact grounded continuations がない場合、residual predictor が trust を推定。 - これにより信頼性に基づく適応的な学習が可能。

4. どうやって有効だと検証した?

- perturbed LIBERO-PRO tasks で平均成功率 79.7%。 - 高閾値学習速度が matched model-free control より 10.9% 向上。 - 同一プロトコルの external baselines を 3 つの training seeds で上回る。 - 50 demonstrations per task からの fixed-data adaptation で 2 つの physical-robot tasks にて平均成功率 80.0%。

5. 議論はある?

- 要旨からは不明。 - ただし、simulator reliability の制御や trust 推定の有効性が示唆される。 - 限界や議論点は明示されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: model-free refinement, model-based refinement, LIBERO-PRO tasks, external baselines。 - 関連手法: Vision-Language-Action (VLA) models, reinforcement learning (RL) post-training, world model, reward proxy head。 - 同分野の定番: imitation learning, model-based RL, model-free RL。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenzhan Li, Yiran Qin, Heng Zhou, Huirui Wang, Yulan Guo, Ruimao Zhang

分類: cs.RO, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models are often pretrained via imitation learning, making reinforcement learning (RL) post-training important when deployment moves beyond demonstration coverage. Existing refinement paradigms expose a reliability--efficiency tension: model-free refinement avoids simulator bias but is interaction-intensive, whereas model-based refinement can exploit unreliable imagination even as its simulator adapts. We propose Model-Evolving Reinforcement Learning (MERL), a trust-calibrated framework that couples policy optimization with an online-updated simulator comprising a world model and a reward proxy head. Across stages, simulator reliability controls the imagined-data ratio and rollout horizon; within rollouts, chunk-level trust controls replay selection and optimization weight. For recursive imagination without exact grounded continuations, a residual predictor estimates trust without querying future ground truth. On perturbed LIBERO-PRO tasks, MERL reaches 79.7% average success, improves high-threshold learning speed by 10.9% over the matched model-free control, and outperforms same-protocol external baselines across three training seeds. Fixed-data adaptation from 50 demonstrations per task achieves 80.0% average success on two physical-robot tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI