視覚言語ナビゲーションにおける物理的実行可能性ギャップの解明と橋渡し
Revealing and Bridging the Physical Executability Gap in Vision-Language Navigation
既存のVLNシミュレータの緩い接触モデルが物理的に不可能な行動を隠す問題を指摘し、指示条件付き軌道の実行可能性を予測・選択するVeSTAフレームワークで衝突失敗を削減する。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Gang He, Zhile Cheng, Kepeng Xu, Zhenyang Liu, Yu-Wing Tai
分類: cs.RO
原文アブストラクト
Continuous vision-and-language navigation (VLN) is typically evaluated by goal-reaching success, assuming it reflects an agent's ability to execute language-grounded behavior. We show that this assumption can fail: permissive contact models in current simulators may mask physically infeasible actions, creating a physical executability gap between semantic competence and embodied realization. To bridge this gap, we introduce Visual-Semantic Traversability Alignment (VeSTA), a framework that aligns VLN policies with physically executable futures. We define visual-semantic traversability as the ability to predict instruction-conditioned trajectories that are semantically valid, geometrically feasible, and physically robust. VeSTA addresses this misalignment through two complementary mechanisms: improving executable support in trajectory generation and risk-aware selection among multimodal futures. Specifically, Trajectory Relative Group Policy Optimization uses strict-contact feedback to reshape the candidate distribution toward executable regions, while the Traversability Risk Critic learns a risk-adjusted scalar utility for candidate-wise future selection. Experiments on R2R and RxR reveal substantial dependence of existing VLN agents on simulator contact semantics. Under strict-contact evaluation, VeSTA substantially reduces collision-induced failures while preserving or improving goal-reaching performance, and controlled real-world robot experiments provide evidence that the learned preference transfers beyond simulation.
関連論文
- 較正済み視覚言語ナビゲーションによる未知環境での物体探索視覚言語ナビゲーション
- 実行可能性を考慮した階層強化学習による連続環境での視覚言語ナビゲーション視覚言語ナビゲーション
- HAVANA: 視覚言語ナビゲーションのための階層型ビデオ・アクションモデル視覚言語ナビゲーション
- Talk2Escape: 対話による視覚言語ナビゲーションの閉ループ化視覚言語ナビゲーション
- FSD-VLN: 空中長距離視覚言語ナビゲーションのための高速・低速デュアルシステムモデリング視覚言語ナビゲーション
- SEDualVLN: 空間強化デュアルシステムによる視覚言語ナビゲーション視覚言語ナビゲーション
