強化学習によるクロスモーダル照合と自己教師あり模倣学習を用いた視覚言語ナビゲーション
Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation
視覚言語ナビゲーションにおいて、強化学習で指示と軌跡のクロスモーダル照合を強化する手法と、過去の良い判断を模倣して未知環境への汎化を高める自己教師あり模倣学習を提案した論文。
著者: Xin Wang, Qiuyuan Huang, Asli Celikyilmaz, Jianfeng Gao, Dinghan Shen, Yuan-Fang Wang, William Yang Wang, Lei Zhang
分類: cs.CV, cs.AI, cs.CL, cs.RO
原文アブストラクト
Vision-language navigation (VLN) is the task of navigating an embodied agent to carry out natural language instructions inside real 3D environments. In this paper, we study how to address three critical challenges for this task: the cross-modal grounding, the ill-posed feedback, and the generalization problems. First, we propose a novel Reinforced Cross-Modal Matching (RCM) approach that enforces cross-modal grounding both locally and globally via reinforcement learning (RL). Particularly, a matching critic is used to provide an intrinsic reward to encourage global matching between instructions and trajectories, and a reasoning navigator is employed to perform cross-modal grounding in the local visual scene. Evaluation on a VLN benchmark dataset shows that our RCM model significantly outperforms previous methods by 10% on SPL and achieves the new state-of-the-art performance. To improve the generalizability of the learned policy, we further introduce a Self-Supervised Imitation Learning (SIL) method to explore unseen environments by imitating its own past, good decisions. We demonstrate that SIL can approximate a better and more efficient policy, which tremendously minimizes the success rate performance gap between seen and unseen environments (from 30.7% to 11.7%).
関連論文
- 較正済み視覚言語ナビゲーションによる未知環境での物体探索視覚言語ナビゲーション
- 実行可能性を考慮した階層強化学習による連続環境での視覚言語ナビゲーション視覚言語ナビゲーション
- 視覚言語ナビゲーションにおける物理的実行可能性ギャップの解明と橋渡し視覚言語ナビゲーション
- HAVANA: 視覚言語ナビゲーションのための階層型ビデオ・アクションモデル視覚言語ナビゲーション
- Talk2Escape: 対話による視覚言語ナビゲーションの閉ループ化視覚言語ナビゲーション
- FSD-VLN: 空中長距離視覚言語ナビゲーションのための高速・低速デュアルシステムモデリング視覚言語ナビゲーション
