日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.10503

長寿命ロボットに向けて:強化学習ファインチューニングによるVLAモデルの継続学習

Towards Long-Lived Robots: Continual Learning VLA Models via Reinforcement Fine-Tuning

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの下流タスク適応における破滅的忘却とデータ依存を解決するため、オンライン環境フィードバック不要の強化学習ファインチューニング手法LifeLong-RFTを提案し、継続学習でSFT比22%の成功率向上を達成した。

詳しい要約

1. どんなもの?

- VLAモデルを下流タスクに適応させるための新しい強化学習ファインチューニング戦略「LifeLong-RFT」を提案。 - オンライン環境フィードバックや事前学習済み報酬モデルに依存せず、継続学習を可能にする。 - マルチタスク学習と継続学習の両方で性能向上を実現。

2. 先行研究と比べてどこがすごい?

- 従来のSupervised Fine-Tuning (SFT)は大量のタスク固有データを必要とし、破滅的忘却が発生しやすい。 - LifeLong-RFTはSFTと比較して、LIBEROベンチマークでの継続学習において平均成功率が22%向上。 - 新タスクへの適応に必要な訓練データを20%に削減。

3. 技術・手法の肝は?

- chunking-level on-policy reinforcement learningと多次元プロセス報酬メカニズムを統合。 - 中間アクションチャンクの異質な貢献を3次元で定量化し、ポリシー最適化を促進。 - Quantized Action Consistency Reward (QACR): 離散行動空間内での正確な行動予測を保証。 - Continuous Trajectory Alignment Reward (CTAR): デコードされた連続行動チャンクを参照軌道に整合させ、精密制御を実現。 - Format Compliance Reward (FCR): 出力の構造的妥当性を保証。

4. どうやって有効だと検証した?

- SimplerEnv、LIBERO、実世界タスクでの包括的な実験を実施。 - マルチタスク学習において強い性能を発揮。 - LIBEROベンチマークでの継続学習でSFT比22%の平均成功率向上、20%の訓練データで新タスクに適応。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Supervised Fine-Tuning (SFT)。 - 関連手法: Reinforcement Fine-Tuning (RFT)、VLAモデル。 - 同分野の定番: 強化学習、継続学習、マルチタスク学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuan Liu, Haoran Li, Shuai Tian, Yuxing Qin, Yuhui Chen, Yupeng Zheng, Yongzhen Huang, Dongbin Zhao

分類: cs.RO

原文アブストラクト

Pretrained on large-scale and diverse datasets, VLA models demonstrate strong generalization and adaptability as general-purpose robotic policies. However, Supervised Fine-Tuning (SFT), which serves as the primary mechanism for adapting VLAs to downstream domains, requires substantial amounts of task-specific data and is prone to catastrophic forgetting. To address these limitations, we propose LifeLong-RFT, a simple yet effective Reinforcement Fine-Tuning (RFT) strategy for VLA models independent of online environmental feedback and pre-trained reward models. By integrating chunking-level on-policy reinforcement learning with the proposed multi-dimensional process reward mechanism, LifeLong-RFT quantifies the heterogeneous contributions of intermediate action chunks across three dimensions to facilitate policy optimization. Specifically, (1) the Quantized Action Consistency Reward (QACR) ensures accurate action prediction within the discrete action space; (2) the Continuous Trajectory Alignment Reward (CTAR) aligns decoded continuous action chunks with reference trajectories to ensure precise control; (3) the Format Compliance Reward (FCR) guarantees the structural validity of outputs. Comprehensive experiments across SimplerEnv, LIBERO, and real-world tasks demonstrate that LifeLong-RFT exhibits strong performance in multi-task learning. Furthermore, for continual learning on the LIBERO benchmark, our method achieves a 22% gain in average success rate over SFT, while effectively adapting to new tasks using only 20% of the training data. Overall, our method provides a promising post-training paradigm for VLAs. The project page is available at <https://yuan-liu-lifelong-rft.github.io>.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI