RLはVLAの汎化に何をもたらすか？実証研究

- Large Vision-Language Action (VLA) モデルの汎化性能を評価する包括的 benchmark を導入し、RL fine-tuning の効果を体系的に調べた実証研究。 - 評価軸は visual・semantic・execution の多次元にわたり、SFT との比較を通じて RL の寄与を切り分ける。 - 主な知見として PPO による RL fine-tuning が semantic 理解と execution 頑健性を大きく改善する一方、visual 頑健性は SFT と同程度に保たれることを示す。

- 従来の VLA は主に supervised fine-tuning (SFT) で訓練され、distribution shift 下の compounding error により汎化が制限されるという課題があった。 - RL は trial-and-error で task objective を直接最適化できるが、VLA における汎化上の利点は体系的に理解されていなかった。 - 本研究は VLA 汎化のための benchmark を構築し、RL と SFT を多次元で比較した点が新規。

- visual・semantic・execution の各次元からなる VLA 汎化評価 benchmark を設計。 - SFT 済み VLA に対し RL fine-tuning を適用し、PPO・DPO・GRPO などのアルゴリズムを比較。 - VLA 上で効率的に PPO を訓練する簡便な recipe を開発し、実用性を示す。

- 構築した benchmark 上で visual・semantic・execution の多次元にわたり広範な実験を実施。 - RL fine-tuning、特に PPO が semantic 理解と execution 頑健性で SFT を上回り、visual 頑健性は同等であることを確認。 - PPO が DPO や GRPO といった LLM 由来手法より VLA に有効であることを実験的に示す。

- RL fine-tuning の汎化利点は次元依存であり、semantic・execution では向上するが visual では SFT と同等にとどまる点が議論の焦点。 - LLM 由来の DPO・GRPO より PPO が VLA に適する理由や、効率的 PPO recipe の一般性については要旨からは不明。 - benchmark の設計や評価範囲の妥当性については要旨からは不明。

- 比較対象として挙げられた DPO および GRPO の原論文。 - VLA の代表的手法である Large Vision-Language Action モデル関連研究(OpenVLA など同分野の定番)。 - SFT における compounding error と distribution shift を扱う模倣学習・RL 関連の基礎研究。