VLA-RFT: 世界シミュレータにおける検証済み報酬を用いた視覚-言語-行動モデルの強化学習ファインチューニング

- Vision-Language-Action (VLA) モデルのための post-training 手法「VLA-RFT」を提案する論文 - データ駆動の world model を制御可能な simulator として用い、実世界データから学習した simulator 上で policy rollout を行う - action 条件付きで将来の視覚観測を予測し、goal-achieving reference に基づく dense な trajectory-level reward を与える reinforcement fine-tuning framework - 実世界相互作用の高コストや sim-to-real gap を避けつつ VLA の robustness と generalization を高めることを狙う

- 従来の VLA は imitation learning 依存で compounding error や distribution shift 下の脆さが問題 - 既存 RL は実世界相互作用が高コスト、または sim-to-real gap に悩む - VLA-RFT は実 interaction data から学習した world model を simulator として使う点が異なる - 400 未満の fine-tuning step で強い supervised baseline を上回り、simulator-based RL より高効率と報告 - 摂動条件下でも安定した task 実行を維持する robustness を示す

- 実 interaction data で学習したデータ駆動 world model を controllable simulator として利用 - simulator は action を条件に将来の visual observation を予測し、policy rollout を可能にする - goal-achieving reference から dense な trajectory-level reward を算出し、action-aligned な学習信号を得る - この設計により sample 要求を大幅に削減し、効率的な reinforcement fine-tuning を実現

- 400 未満の fine-tuning step で強い supervised baseline を上回る性能を確認 - simulator-based RL と比較して効率が高いことを示す - 摂動条件下で安定した task 実行を維持し robustness を検証 - 詳細はプロジェクトページ https://vla-rft.github.io/ を参照との記載のみで、具体的 benchmark 名や指標は要旨からは不明

- world-model-based RFT を VLA の generalization と robustness を高める実用的 post-training paradigm として位置づけ - 実世界相互作用や sim-to-real gap を回避できる利点を主張 - 一方、world model の予測誤差や reward 設計への依存、摂動条件の範囲など具体的な限界は要旨からは不明

- 要旨で直接参照/比較されている個別研究名は明示されていない - 関連手法として imitation learning ベースの VLA、simulator-based RL、world model を用いた model-based RL を挙げる - 具体的な論文は要旨からは不明のため、VLA-RFT のプロジェクトページおよび参考文献リストを確認するのが妥当