ナビゲーション/VLA/強化学習2026/6/1arXiv:2606.02313

専門家ガイドGRPOによる意図に正確に沿ったVLA空中ナビゲーション

Towards Precise Intent-Aligned VLA Aerial Navigation via Expert-Guided GRPO

VLAモデルを用いたUAVナビゲーションにおいて、専門家データで強化した強化学習フレームワークEG-GRPOを提案し、複雑な指示への意図整合性と成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデルを用いた UAV の end-to-end 航法を対象 - 複雑で細かい指示に沿った飛行を目指す - 標準的な supervised fine-tuning (SFT) の課題を克服するため強化学習 (RL) を導入 - 提案は EG-GRPO (Expert-Guided Group Relative Policy Optimization) を含む効率的な RL フレームワーク - 並列 simulation と inference を可能にする heterogeneous pipeline を設計

2. 先行研究と比べてどこがすごい？

- SFT は data scarcity、汎化不足、複雑な人間意図への弱い supervision に悩む - 従来の RL を aerial navigation に適用すると広大な連続空間での非効率な exploration が問題 - EG-GRPO は few-shot expert data を online rollouts に追加し exploration を改善 - heterogeneous pipeline により rollout 時間を 43.5% 削減 - 複雑な人間意図の複数タスクで成功率が SFT baseline の 2.13 倍、intent alignment 性能が 60.9% 向上

3. 技術・手法の肝は？

- EG-GRPO: Expert-Guided Group Relative Policy Optimization - online rollouts に few-shot expert data を追加して強化学習を効率化 - 並列 simulation と inference を可能にする heterogeneous pipeline を設計 - これにより rollout 時間を 43.5% 短縮 - VLA ベースの aerial navigation 向けの効率的な RL フレームワーク

4. どうやって有効だと検証した？

- 複数の複雑な人間意図で指定されたタスクで評価 - EG-GRPO は成功率を SFT baseline の 2.13 倍に改善 - intent alignment 性能を 60.9% 向上 - heterogeneous pipeline により rollout 時間を 43.5% 削減 - これらの結果から precise intent-aligned flight への前進を示す

5. 議論はある？

- 要旨からは不明 - 限界や失敗事例、計算コスト、実機展開の議論は記述されていない

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない - 関連手法として Vision-Language-Action (VLA) モデル、supervised fine-tuning (SFT)、reinforcement learning (RL)、Group Relative Policy Optimization (GRPO) が挙げられる - 同分野の定番として UAV の aerial navigation、end-to-end 航法、強化学習ベースの航法が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyang Chen, Wenjun Li, Xin zhou, Yuze Wu, Fei Gao

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models offer a promising end-to-end paradigm for unmanned aerial vehicles (UAVs) to accomplish complex tasks specified by fine-grained instructions. However, standard supervised fine-tuning (SFT) suffers from data scarcity, limited generalization, and weak supervision for nuanced and complicated human intents. Reinforcement fine-tuning offers a natural way to mitigate these challenges and align policy behaviors with human intents through designable feedback, but applying it to aerial navigation remains challenging due to inefficient exploration in expansive continuous spaces. To address these challenges, we introduce an efficient reinforcement learning (RL) framework for VLA-based aerial navigation. At its core, we propose EG-GRPO (Expert-Guided Group Relative Policy Optimization) to augment online rollouts with few-shot expert data. Additionally, we design a heterogeneous pipeline enabling parallel simulation and inference, which reduces rollout time by 43.5%. Across multiple tasks specified by complex human intents, EG-GRPO improves the success rate to 2.13x that of the SFT baseline, while improving intent alignment performance by 60.9%. These results demonstrate that our framework can move aerial navigation toward precise intent-aligned flight.

arXivで原文を読む →arXiv概要ページ

← 論文一覧