日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.25718

行動チャンクPPOと自己行動クローニングによるVLAモデルの事後学習

VLA Model Post-Training via Action-Chunked PPO and Self Behavior Cloning

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの事後学習に、行動をまとめて扱うPPOと自己収集デモによる行動クローニングを組み合わせ、安定かつ高成功率を実現した。

詳しい要約

1. どんなもの?

- VLA model の post-training 手法の提案 - RL による post-training の実用化を狙う - 課題は sparse reward と training の不安定さ - 2つの要素を組み合わせる - action chunk ベースの PPO - self-collected demonstration を用いた behavior cloning - MetaWorld benchmark で評価

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 従来の supervised fine-tuning と比較 - 提案手法が性能向上 - success rate 0.93、steps to success 42.17 を達成 - RL による VLA post-training の実現可能性を示す点が貢献

3. 技術・手法の肝は?

- action chunk 化 - 連続する action を chunk に集約 - policy の temporal consistency を改善 - informative feedback の密度を向上 - action-chunked PPO に補助 loss を追加 - self-collected demonstration による behavior cloning loss - demonstration buffer を動的に更新し高品質 trial を収集 - 2つの目的の相対重みを online で適応 - post-training の安定化を図る

4. どうやって有効だと検証した?

- MetaWorld benchmark 上で実験 - supervised fine-tuning との比較で性能向上を報告 - success rate 0.93 - steps to success 42.17 - 詳細な ablation や比較条件は要旨からは不明

5. 議論はある?

- sparse reward と unstable training の緩和を主張 - action chunk が temporal consistency と feedback 密度を改善すると述べる - 重みの online 適応が安定化に寄与すると述べる - 限界や失敗事例、計算コストの議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として supervised fine-tuning 関連の VLA post-training 研究 - PPO および behavior cloning の基礎手法 - MetaWorld benchmark を用いた RL 研究 - 要旨で具体的な論文名の参照は無く、詳細は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Si-Cheng Wang, Tian-Yu Xiang, Xiao-Hu Zhou, Mei-Jiang Gui, Xiao-Liang Xie, Shi-Qi Liu, Shuang-Yi Wang, Ao-Qun Jin, Zeng-Guang Hou

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) is a promising avenue for post-training vision-language-action (VLA) models, but practical deployment is hindered by sparse rewards and unstable training. This work mitigates these challenges by introducing an action chunk based on proximal policy optimization (PPO) with behavior cloning using self-collected demonstrations. Aggregating consecutive actions into chunks improves the temporal consistency of the policy and the density of informative feedback. In addition, an auxiliary behavior cloning loss is applied with a dynamically updated demonstration buffer that continually collects high-quality task trials during training. The relative weight between the action-chunked PPO objective and the self behavior clone auxiliary loss is adapted online to stabilize the post-training process. Experiments on the MetaWorld benchmark indicate improved performance over supervised fine-tuning, achieving a high success rate (0.93) and few steps to success (42.17). These results demonstrate the viability of RL for VLA post-training and help lay the groundwork for downstream VLA applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI