SEDualVLN: 空間強化デュアルシステムによる視覚言語ナビゲーション
SEDualVLN: A Spatially-Enhanced Dual-System for Vision-Language Navigation
視覚言語ナビゲーションの性能を高めるため、空間認識を強化した2つのシステム（VLMとMLLM）を組み合わせたフレームワークを提案し、VLN-CEベンチマークで最高性能を達成した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jingzhi Huang, Junkai Huang, Wenxuan Song, Haoyang Yang, Hailong Huang, Haoang Li, Yi Wang
分類: cs.RO
原文アブストラクト
Vision-Language Navigation (VLN) approaches have currently followed two primary paradigms: the end-to-end Vision-Language Model (VLM) policy fine-tuned on navigation trajectories to directly predict actions, and the zero-shot modular pipeline integrating pre-trained Multimodal Large Language Model (MLLM) for training-free generalization to unseen environments. However, end-to-end methods struggle with long-horizon navigation and lack dynamic reasoning, whereas zero-shot methods are constrained by limited spatial grounding for reliable planning and also require substantial reasoning time. To bridge this gap, we introduce SEDualVLN, a spatially-enhanced dual-system VLN framework. System 1 is a VLM model enhanced with both global and local spatial awareness, used for action generation. System 2 integrates a general MLLM with a mapping module, wherein the MLLM plans waypoints by leveraging top-down views of the real-time 3D map alongside streams of rendered path images. Both systems leverage different forms of spatial enhancement to cultivate the agent's sense of direction in VLN tasks. Ultimately, they cooperate to complete the navigation task through a fast-slow coordinated approach. SEDualVLN achieves state-of-the-art performance on VLN-CE benchmarks, and further ablation studies demonstrate the effectiveness of each system and module.
関連論文
- 較正済み視覚言語ナビゲーションによる未知環境での物体探索視覚言語ナビゲーション
- 実行可能性を考慮した階層強化学習による連続環境での視覚言語ナビゲーション視覚言語ナビゲーション
- 視覚言語ナビゲーションにおける物理的実行可能性ギャップの解明と橋渡し視覚言語ナビゲーション
- HAVANA: 視覚言語ナビゲーションのための階層型ビデオ・アクションモデル視覚言語ナビゲーション
- Talk2Escape: 対話による視覚言語ナビゲーションの閉ループ化視覚言語ナビゲーション
- FSD-VLN: 空中長距離視覚言語ナビゲーションのための高速・低速デュアルシステムモデリング視覚言語ナビゲーション
