日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/強化学習arXiv:2605.30795

Feat2Go: 視覚特徴に基づく価値推定による身体化強化学習

Feat2Go: Visual Feature-Grounded Value Estimation for Embodied Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み視覚世界モデルから得た段階的進捗目標を価値モデルで予測し、終端報酬を整形することでVLAモデルの強化学習を改善するフレームワークを提案。

詳しい要約

1. どんなもの?

- 視覚言語行動(VLA)モデル向けの強化学習フレームワーク「Feat2Go」を提案。 - 長期的な操作タスクにおける報酬設計の難しさを解決するため、視覚的世界モデルから細粒度の価値推定を行う。 - 事前学習済み視覚世界モデルを用いて、サブゴール状態とのパッチレベル類似度から連続的な進捗目標を導出。 - エピソードを意味的段階に分割し、その構造的進捗を予測する embodied value model を訓練。 - 予測値を終端報酬の再形成に用い、PPOやGRPOなどの既存VLA強化学習パイプラインと互換。 - 手動の報酬設計を必要とせず、単腕・双腕操作設定で性能を向上させる。

2. 先行研究と比べてどこがすごい?

- 従来のVLA強化学習は、スパースな監督信号と長期的操作における報酬設計の困難さに制約されていた。 - 手動の報酬エンジニアリングに依存せず、視覚的世界モデルから自動的に進捗目標を生成する点が新しい。 - 既存のPPOやGRPOなどの強化学習アルゴリズムと組み合わせ可能で、汎用性が高い。 - ManiSkill3でOpenVLAOFTのOOD成功率を17.5%から82.9%に向上させ、ID性能も96.9%維持。 - RoboTwin 2.0ではドメインランダム化設定で平均成功率88.8%を達成し、先行強化学習手法を上回る。

3. 技術・手法の肝は?

- 事前学習済み視覚世界モデルを用い、現在の観測とサブゴール状態間のパッチレベル類似度を測定。 - 類似度に基づき連続的な進捗目標を導出し、trend-based clusteringでエピソードを意味的段階に分割。 - 現在の観測とタスク指示から構造的進捗を予測する embodied value model を訓練。 - 予測された価値を用いて、ポリシー最適化時の終端報酬を再形成(reward reshaping)。 - これにより、スパースな報酬環境でも密な学習信号を提供し、長期的操作を可能にする。

4. どうやって有効だと検証した?

- ManiSkill3とRoboTwin 2.0の2つのベンチマークで実験を実施。 - 単腕および双腕操作設定の両方で評価。 - ManiSkill3では、OpenVLAOFTのOOD平均成功率が17.5%から82.9%に向上し、ID性能は96.9%を維持。 - RoboTwin 2.0では、ドメインランダム化タスク設定で平均成功率88.8%を達成し、先行強化学習手法を上回った。 - これらの結果から、Feat2Goが既存VLAモデルの性能を一貫して改善することが示された。

5. 議論はある?

- 要旨からは、手法の限界や失敗事例、計算コスト、スケーラビリティに関する議論は明示されていない。 - 視覚世界モデルの品質やサブゴール定義への依存性についての議論は要旨からは不明。 - 手動報酬設計が不要である点が強調されているが、他のタスクやロボットへの一般化可能性は要旨からは不明。 - 強化学習アルゴリズム(PPO, GRPO)との互換性が示されているが、他のアルゴリズムへの適用可能性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究:OpenVLAOFT、PPO、GRPO、ManiSkill3、RoboTwin 2.0。 - 関連手法として、視覚世界モデル(visual world model)やVLAモデル(vision-language-action models)の強化学習に関する論文。 - 具体的な論文名は要旨に記載されていないため、同分野の定番として「RT-2」「OpenVLA」「Diffusion Policy」などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junyang Shu, Zhiwei Lin, Bingqing Wei, Yongtao Wang

分類: cs.RO

原文アブストラクト

Reinforcement learning is a promising approach for improving the capabilities of vision-language-action (VLA) models while avoiding the heavy data requirements of imitation learning. However, its effectiveness for VLA models is often constrained by sparse supervision and the difficulty of designing informative reward signals for long-horizon manipulation. In this work, we present Feat2Go, a fine-grained value estimation framework for embodied reinforcement learning. Specifically, Feat2Go first derives a continuous progress target from a pretrained visual world model by measuring patch-level similarity to subgoal states and partitioning episodes into semantic stages with trend-based clustering. We then train an embodied value model to predict this structural progress from the current observation and task instruction, and use the predicted value to reshape terminal rewards during policy optimization. The proposed framework is compatible with existing VLA policy reinforcement learning pipelines, including PPO and GRPO, and does not rely on manual reward engineering. Extensive experiments on ManiSkill3 and RoboTwin 2.0 demonstrate that Feat2Go consistently improves the performance of existing VLA models under both single-arm and bimanual manipulation settings. More specifically, on ManiSkill3, Feat2Go improves OpenVLAOFT from 17.5% to 82.9% average out-of-distribution success while retaining 96.9% in-distribution performance. On RoboTwin 2.0, Feat2Go achieves an average success rate of 88.8% in domain-randomized task settings, outperforming prior reinforcement learning methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI