日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.17800

ReFineVLA: 教師ガイドによるファインチューニングを用いたマルチモーダル推論対応の汎用ロボットポリシー

ReFineVLA: Multimodal Reasoning-Aware Generalist Robotic Policies via Teacher-Guided Fine-Tuning

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに推論能力を組み込むため、専門家教師モデルが生成した推論根拠をデータセットに追加し、事前学習済みVLAをファインチューニングする手法を提案。シミュレーション操作ベンチマークで評価し、視覚・言語・行動の整合性と汎化性能の向上を示した。

詳しい要約

1. どんなもの?

- 視覚・言語・行動を統合するVLAモデルに対し、明示的な推論を組み込むフレームワークReFineVLAを提案。 - 教師モデルが生成した推論根拠でデータセットを拡張し、事前学習済みVLAをファインチューニング。 - 複雑で長期的な操作タスクにおける解釈性と汎化性能の向上を目指す。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは入力と行動の機能的マッピングを学習し、論理的推論ステップを無視しがち。 - ReFineVLAは教師誘導による推論を明示的に学習し、汎化能力を維持しつつ推論能力を強化。 - SimplerEnv上のWidowXとGoogle Robotタスクで、成功率が第2位手法を上回る最先端性能を達成。

3. 技術・手法の肝は?

- ロボットデータセットに専門教師モデルが生成した推論根拠(reasoning rationales)を付与。 - 推論強化データセットで事前学習済みVLAをファインチューニングし、推論と行動の整合を学習。 - アテンションマップ可視化により、視覚観察・言語プロンプト・実行行動間の整合性を分析。

4. どうやって有効だと検証した?

- SimplerEnvのシミュレーション操作ベンチマーク(WidowXおよびGoogle Robotタスク)で評価。 - 成功率において第2位手法を上回り、最先端性能を達成。 - アテンションマップ可視化により、視覚・言語・行動領域間の意味的一致を確認。

5. 議論はある?

- アテンションマップ分析から、ReFineVLA訓練モデルが視覚・言語と行動の間に意味のある一致を示し、マルチモーダル理解と汎化が向上。 - 解釈性と複雑タスクへの汎化における利点が示唆されるが、限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVision-Language-Action (VLA)モデル、教師ありファインチューニング、推論誘導学習、SimplerEnvベンチマークなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tuan Van Vo, Tan Q. Nguyen, Khang Nguyen, Nhat Xuan Tran, Duy H. M. Nguyen, An T. Le, Ngo Anh Vien, Minh Nhat Vu

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have gained much attention from the research community thanks to their strength in translating multimodal observations with linguistic instructions into desired robotic actions. Despite their advancements, VLAs often overlook explicit reasoning and learn the functional input-action mappings, omitting crucial logical steps, which are especially pronounced in interpretability and generalization for complex, long-horizon manipulation tasks. In this work, we propose ReFineVLA, a multimodal reasoning-aware framework that fine-tunes VLAs with teacher-guided reasons. We first augment robotic datasets with reasoning rationales generated by an expert teacher model, guiding VLA models to learn to reason about their actions. Then, we fine-tune pre-trained VLAs with the reasoning-enriched datasets with ReFineVLA, while maintaining the underlying generalization abilities and boosting reasoning capabilities. We also conduct attention map visualization to analyze the alignment among visual observation, linguistic prompts, and to-be-executed actions of ReFineVLA, reflecting the model is ability to focus on relevant tasks and actions. Through this additional step, we explore that ReFineVLA-trained models exhibit a meaningful agreement between vision-language and action domains, highlighting the enhanced multimodal understanding and generalization. Evaluated across a suite of simulated manipulation benchmarks on SimplerEnv with both WidowX and Google Robot tasks, ReFineVLA achieves state-of-the-art performance, in success rate over the second-best method on the both the WidowX benchmark and Google Robot Tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI