FineVLA: 操縦可能な視覚言語行動ポリシーのための細粒度命令整合

Vision-Language-Action (VLA) モデルに対し、タスク達成だけでなく「どう実行するか」という人間の指示に従わせるための、fine-grained instruction alignment を扱うオープンフレームワーク FineVLA を提案する研究。 - 構成要素は4つ。 - 10個のオープンソース robot dataset を統合し、85K tasks・972,247 trajectories からなる基盤を構築。 - 人手検証済みの FineVLA-Data（47,159 fine-grained trajectories）。 - 500 videos・11,631 atomic facts・1,030 VQA questions の held-out benchmark。 - robotics 特化の VLM annotator と、fine-grained/raw goal-level 指示を混合して学習する steerable VLA policy。

既存の robot dataset は trajectory に coarse な goal-level language しか付与せず、active arm・approach direction・contact region など実行に重要な詳細が未指定だった。 - 本研究は fine-grained な action-aligned supervision を大規模に構築・公開する点で先行研究と異なる。 - fine-grained supervision が goal-level success を犠牲にしないことを示し、Raw-only 比で +1.4〜+8.1 success-rate points 改善。 - fine-grained と raw が相補的で、FG:Raw = 1:2〜1:1 で inverted-U のピークを持つことを示す。 - steerable control でも pose (+23)・color (+18)・approach direction (+18) など goal-level では誘導できない要素で大きな実世界改善を得る。

肝は action-aligned な fine-grained VLA supervision の構築と混合学習。 - data construction tool で 10 の open-source robot dataset を統合し、85K tasks・972,247 trajectories を扱う。 - そこから人手検証済み FineVLA-Data（47,159 fine-grained trajectories）を構築。 - robotics-specialized VLM annotator により scalable な fine-grained annotation を実現。 - steerable VLA policy を fine-grained と raw goal-level 指示の controlled mixture で学習。 - 評価用に 500 videos・11,631 atomic facts・1,030 VQA questions の held-out benchmark を用意。

FineVLA-Data と held-out benchmark を用いた実験で検証。 - FG-only は Raw-only 比で +1.4〜+8.1 success-rate points 改善し、goal-level success を犠牲にしない。 - fine-grained と raw の混合は inverted-U を示し、FG:Raw = 1:2〜1:1 でピーク。 - 最良混合設定は RoboTwin simulation で 86.8%/82.5%、real-world dual-arm manipulation で 62.7/100（Raw-only は 49.9）。 - steerable control では実世界で pose (+23)・color (+18)・approach direction (+18) の改善を確認。

fine-grained language は goal-level instruction を置き換えるのではなく補完すべきという主張。 - 「何を達成するか」に加えて「どう実行するか」を指定することが重要。 - fine-grained と raw の混合比に inverted-U があり、最適比が存在する点を議論。 - ただし要旨からは、失敗事例・限界・計算コスト・annotation 品質の詳細な議論は不明。

要旨で参照・比較されているのは Raw-only（goal-level instruction のみのベースライン）と FineVLA の各構成要素。 - 関連手法として Vision-Language-Action (VLA) models、robotics-specialized VLM annotator、RoboTwin simulation が挙げられる。 - 同分野の定番として Open X-Embodiment などの open-source robot dataset や、RT-1/RT-2 系の VLA policy を次に読む候補として挙げられる。