日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.08440

TGRPO:軌道単位のグループ相対方策最適化によるVision-Language-Actionモデルのファインチューニング

TGRPO :Fine-tuning Vision-Language-Action Model via Trajectory-wise Group Relative Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルで密な報酬関数を自動生成し、軌道をグループ単位で比較・正規化するオンライン強化学習でVLAモデルをファインチューニングする手法を提案。LIBEROベンチマークで平均成功率80.7%を達成した。

詳しい要約

1. どんなもの?

- Visual-Language-Action (VLA) モデルを online RL で fine-tuning するための学習フレームワーク TGRPO を提案 - 大規模 pre-training とタスク特化 fine-tuning に依存する従来の VLA 学習の限界を、強化学習の閉ループ最適化で補う狙い - 長期的ロボットタスクにおける sparse reward・高分散・不安定な最適化に対処する - LIBERO benchmark の4タスクカテゴリで評価

2. 先行研究と比べてどこがすごい?

- 従来の VLA 学習は手動収集した成功 demonstration に依存し、out-of-distribution (OOD) や実行バイアスに弱い - 既存 RL は sparse reward・高分散・不安定最適化が課題 - TGRPO は value network を必要とせず、trajectory-level と step-level の advantage estimation を統合 - LIBERO で平均成功率 80.7%、Supervised Fine-Tuning (SFT) より 4.2% 高く、代表的な RL-based post-training 手法を上回る

3. 技術・手法の肝は?

- 大規模言語モデルが生成するタスク分析を利用し、dense reward function を自動構築 - 細粒度フィードバックで収束を加速し credit assignment を改善 - 複数 trajectory を並列サンプリングし正規化する group-based 戦略で分散を低減 - trajectory-level と step-level の advantage estimation を統合し、value network なしで大域・局所の最適化信号を獲得

4. どうやって有効だと検証した?

- LIBERO benchmark の4タスクカテゴリで実験 - 平均成功率 80.7% を達成 - Supervised Fine-Tuning (SFT) 比で 4.2% 向上 - 他の代表的な RL-based post-training 手法を上回ることを示した

5. 議論はある?

- 要旨からは不明 - 明示されている課題は sparse reward・高分散・不安定最適化であり、これらへの対処が主張されている - 限界や失敗ケース、計算コストに関する議論は要旨からは不明

6. 次に読むべき論文は?

- Supervised Fine-Tuning (SFT) - 比較対象の代表的な RL-based post-training 手法(具体名は要旨からは不明) - LIBERO benchmark を用いた VLA の RL fine-tuning 関連研究 - Group Relative Policy Optimization (GRPO) 系の手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zengjue Chen, Runliang Niu, He Kong, Qi Wang, Qianli Xing, Zipei Fan

分類: cs.RO, cs.AI

原文アブストラクト

Visual-Language-Action (VLA) models have demonstrated strong cross-scenario generalization capabilities in various robotic tasks through large-scale pre-training and task-specific fine-tuning. However, their training paradigm mainly relies on manually collected successful demonstrations, making it difficult to adapt to complex environments when encountering out-of-distribution (OOD) scenarios or execution biases. While Reinforcement Learning (RL) provides a closed-loop optimization framework via active trial-and-error mechanism, it suffers from sparse rewards, high variance, and unstable optimization in long-horizon robotic tasks. To address these limitations, we propose Trajectory-based Group Relative Policy Optimization (TGRPO), an online RL-based training framework for VLA models. TGRPO leverages task analysis generated by a large language model to automatically construct dense reward functions, providing fine-grained feedback to accelerate convergence and improve credit assignment. The core of our method is a group-based strategy that samples and normalizes multiple trajectories in parallel, reducing variance through relative comparison. By integrating trajectory-level and step-level advantage estimation, TGRPO captures both global and local optimization signals without relying on a value network. Experiments on four task categories of the LIBERO benchmark demonstrate that TGRPO achieves an average success rate of 80.7\%, which is 4.2\% higher than that of Supervised Fine-Tuning (SFT) and outperforms other representative RL-based post-training methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI