日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.02219

CO-RFT: チャンク型オフライン強化学習による視覚-言語-行動モデルの効率的ファインチューニング

CO-RFT: Efficient Fine-Tuning of Vision-Language-Action Models through Chunked Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルをアクションチャンキング対応のオフライン強化学習でファインチューニングする手法を提案し、実環境で成功率57%向上・サイクルタイム22.3%短縮を達成した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを対象とした fine-tuning 手法 - 実世界ロボット制御のための汎用 policy 獲得を狙う - 提案手法 CO-RFT は Chunked RL フレームワークに基づく - offline reinforcement learning と action chunking を組み合わせる - 限られた demonstrations (30〜60 サンプル) で VLA を fine-tune する - 実世界環境で評価され、success rate と cycle time の改善を報告

2. 先行研究と比べてどこがすごい?

- 従来の supervised 手法と比較して性能向上を主張 - success rate で 57% 改善 - cycle time で 22.3% 削減 - RL による VLA fine-tuning の課題に対処 - sample efficiency - action chunking との互換性 - training stability - 先行研究の具体的名称や比較詳細は要旨からは不明 - 限られた demonstrations での fine-tuning を実現する点が特徴

3. 技術・手法の肝は?

- Chunked RL フレームワークを提案 - VLA モデル特有の action chunking を考慮 - temporal difference (TD) learning を action chunking に拡張 - CO-RFT アルゴリズムの手順 - まず imitation learning (IL) を full parameter fine-tuning で実施 - backbone と policy を初期化 - 次に offline RL を action chunking 付きで実施 - pretrained policy を最適化 - 限られた demonstrations (30〜60 サンプル) を前提とする

4. どうやって有効だと検証した?

- 実世界環境での empirical results により検証 - 比較対象は previous supervised methods - 報告された指標 - success rate が 57% 改善 - cycle time が 22.3% 削減 - positional generalization も評価 - 未見の位置で success rate 44.3% を達成 - 詳細な実験設定やタスク数は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 明示されている課題は以下 - sample efficiency - action chunking との互換性 - training stability - 限られた demonstrations での有効性を示す一方、限界や失敗事例の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究の具体的名称は記載なし - 関連手法として以下が挙げられる - Vision-Language-Action (VLA) モデル - offline reinforcement learning - imitation learning (IL) - temporal difference (TD) learning - action chunking - 同分野の定番として supervised fine-tuning や behavior cloning 系の研究が次に読む候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongchi Huang, Zhirui Fang, Tianle Zhang, Yihang Li, Lin Zhao, Chunhe Xia

分類: cs.RO, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models demonstrate significant potential for developing generalized policies in real-world robotic control. This progress inspires researchers to explore fine-tuning these models with Reinforcement Learning (RL). However, fine-tuning VLA models with RL still faces challenges related to sample efficiency, compatibility with action chunking, and training stability. To address these challenges, we explore the fine-tuning of VLA models through offline reinforcement learning incorporating action chunking. In this work, we propose Chunked RL, a novel reinforcement learning framework specifically designed for VLA models. Within this framework, we extend temporal difference (TD) learning to incorporate action chunking, a prominent characteristic of VLA models. Building upon this framework, we propose CO-RFT, an algorithm aimed at fine-tuning VLA models using a limited set of demonstrations (30 to 60 samples). Specifically, we first conduct imitation learning (IL) with full parameter fine-tuning to initialize both the backbone and the policy. Subsequently, we implement offline RL with action chunking to optimize the pretrained policy. Our empirical results in real-world environments demonstrate that CO-RFT outperforms previous supervised methods, achieving a 57% improvement in success rate and a 22.3% reduction in cycle time. Moreover, our method exhibits robust positional generalization capabilities, attaining a success rate of 44.3% in previously unseen positions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI