日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.32634

PF-RL: 視覚言語行動モデルのための目標条件付き価値幾何による進捗場強化学習

PF-RL: Progress Field Reinforcement Learning via Goal-Conditioned Value Geometry for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの特徴上に目標条件付きの進捗表現を学習し、その幾何的距離から密な報酬を生成することで、長期的なマニピュレーションタスクの強化学習を効率化する手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) ポリシーを強化学習で改善する手法。 - タスク進捗を明示的なスカラー予測ではなく、goal-conditioned な構造化表現 (Progress Field) として学習。 - その幾何的距離から dense な credit を導出し、offline と online の両方の policy optimization に利用。 - LIBERO, RoboTwin2.0, 実世界 bimanual タスクで評価。

2. 先行研究と比べてどこがすごい?

- 既存の progress-aware 手法は進捗を明示的なスカラー予測として扱い、中間観測と目標の関係をモデル化する構造が限定的。 - そのため transition-level の credit assignment が不十分になりがち。 - PF-RL は pretrained VLA 特徴上で goal-conditioned な構造化進捗表現を学習し、幾何的距離から dense な advantage を生成。 - これにより強力な supervised fine-tuning, reinforcement fine-tuning, progress-aware ベースラインを一貫して上回る。

3. 技術・手法の肝は?

- 軽量な共有 Progress Field head が現在表現と目標表現をコンパクトな進捗空間に写像。 - その空間での幾何的距離が goal-conditioned value を誘導。 - 時間的・目標構造的な補助目的が学習される幾何を形成。 - transition-level の value 変化が dense progress advantage を生み、offline policy improvement と online reinforcement fine-tuning の両方で細粒度の credit assignment を可能にする。

4. どうやって有効だと検証した?

- LIBERO, RoboTwin2.0, 実世界 bimanual manipulation タスクで実験。 - supervised fine-tuning, reinforcement fine-tuning, progress-aware ベースラインと比較。 - PF-RL が一貫してポリシー性能を改善することを示した。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、実世界での汎化性に関する議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: progress-aware 手法、supervised fine-tuning、reinforcement fine-tuning、Vision-Language-Action (VLA) ポリシー。 - 関連手法: Reinforcement Fine-Tuning (RFT)、goal-conditioned value、dense credit assignment。 - 同分野の定番: LIBERO, RoboTwin2.0 ベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunpeng Qing, Yilun Kong, Sixu Lin, Ming Zhou, Yiming Fei, Shuang Luo, Yixiao Chi, Haoming Gu, Jingyuan Liu, Changxu Wei, Zhi Hou, Changqing Zou

分類: cs.RO

原文アブストラクト

Reinforcement Fine-Tuning~(RFT) has emerged as a promising paradigm for improving Vision-Language-Action~(VLA) policies, yet sparse task-level outcomes provide limited credit for intermediate transitions, especially in long-horizon manipulation. A natural approach is to model intermediate task progress and use it as dense feedback for policy improvement. Despite their architectural differences, existing progress-aware methods commonly formulate task progress as an explicit scalar prediction, providing limited structure for modeling how intermediate observations relate to the task goal, which may hinder effective transition-level credit assignment. We introduce Progress Field Reinforcement Learning (PF-RL), which learns a structured goal-conditioned progress representation over pretrained VLA features and converts it into dense credit for policy optimization. A lightweight shared Progress Field head maps current and goal representations into a compact progress space, where geometric distance induces goal-conditioned value, while complementary temporal and goal-structure objectives shape the learned geometry. Transition-level value changes naturally yield dense progress advantages, enabling fine-grained credit assignment for both offline policy improvement and online reinforcement fine-tuning. Extensive experiments on LIBERO, RoboTwin2.0, and real-world bimanual manipulation tasks show that PF-RL consistently improves policy performance over strong supervised fine-tuning, reinforcement fine-tuning, and progress-aware baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI