日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/VLAarXiv:2608.13026

時間的GRPO:視覚言語行動強化学習における軌跡レベルの信用割当を超えて

Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

軌跡全体に同じ報酬を割り当てる従来のGRPOの問題を解決するため、タスクを段階に分割し、同じ段階に到達した軌跡同士を比較して段階ごとの利点を計算する新しい手法を提案した。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) ポリシーのポストトレーニングにおける強化学習手法 Temporal GRPO を提案する。従来の GRPO ベースの手法では、ロールアウト全体に単一の報酬(成功/失敗)を割り当てるため、途中まで正しい行動をしても最終的に失敗すると、その途中の行動も罰せられる問題(trajectory-level credit aliasing)があった。Temporal GRPO は、タスクを検出可能なステージに分割し、各ロールアウトをステージごとの行動区間に対応付け、同じステージに到達したロールアウト同士のみを比較することで、ステージごとのアドバンテージを計算し、対応する行動区間に適用する。これにより、より細かい時間スケールでのクレジット割り当てを実現する。

2. 先行研究と比べてどこがすごい?

従来の GRPO ベースの VLA ポストトレーニングでは、ロールアウトレベルのアドバンテージを軌道内の全行動に適用していたため、途中の有効なステージを完了しても最終失敗で罰せられるという問題があった。Temporal GRPO は、ステージレベルのアドバンテージを導入することで、この credit aliasing を軽減し、タスク成功とサンプル効率を向上させる点が新しい。また、LIBERO-Long での実験により、共有の前提ステージを保持しつつ、ロールアウト結果が分岐する最初のステージに改善を集中させることができることを示した。

3. 技術・手法の肝は?

手法の核は、タスクを検出可能なステージに分割し、各ロールアウトをステージごとの行動区間に対応付けること。そして、同じステージに到達したロールアウトのみを比較してステージアドバンテージを計算し、それを対応する行動区間に適用する。これにより、単一のポリシー更新でステージごとのアドバンテージを反映させる。具体的には、ステージの検出方法、ロールアウトとステージのアライメント、ステージごとの比較とアドバンテージ計算、そして更新の適用方法が重要である。

4. どうやって有効だと検証した?

RoboTwin 2.0 ベンチマークで評価し、タスク成功とサンプル効率の改善を確認した。また、タスクの水平線(task horizons)全体にわたって一貫した改善が見られた。さらに、LIBERO-Long での制御された更新実験により、共有の前提ステージを保持し、ロールアウト結果が分岐する最初のステージに改善が集中することを示した。

5. 議論はある?

要旨からは、Temporal GRPO の限界や潜在的な欠点についての議論は不明。ただし、ステージの検出可能性に依存するため、ステージが明確に定義できないタスクには適用が難しい可能性が考えられるが、要旨には明記されていない。また、ステージ分割の自動化や、ステージ数が多くなった場合の計算コストなども議論の余地があるが、要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、GRPO (Group Relative Policy Optimization) が挙げられる。また、VLA ポストトレーニングの文脈では、RL を用いた VLA のポストトレーニングに関する一般的な研究(例えば、RL fine-tuning of VLA models)や、RoboTwin 2.0 や LIBERO などのベンチマークを利用した研究が関連する。具体的な論文名は要旨にないため、同分野の定番として、GRPO の元論文や、VLA モデルの強化学習によるポストトレーニングに関するサーベイを読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yao Zhou, Hang Gao, Fengge Wu, Changwen Zheng, Wenwen Qiang

分類: cs.RO

原文アブストラクト

Outcome-driven reinforcement learning offers a scalable way to post-train vision-language-action (VLA) policies from sparse task-success feedback. In common GRPO-based VLA post-training, one rollout-level advantage is applied to every action in the trajectory. A rollout that completes several valid stages but fails later can therefore penalize the actions that produced its earlier progress. We call this trajectory-level credit aliasing. Temporal GRPO addresses this problem by constructing detectable task stages, aligning each rollout with stage-specific action intervals, and comparing only rollouts that have entered the same stage. The resulting stage advantages are applied to their corresponding intervals in a single policy update. On RoboTwin 2.0, Temporal GRPO improves task success and sample efficiency, with consistent gains across task horizons. Controlled updates on LIBERO-Long preserve shared prerequisite stages and concentrate improvement at the first stage where rollout outcomes diverge.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI