戦術的巻き戻し:視覚言語ナビゲーションにおけるバックトラッキングによる自己修正
Tactical Rewind: Self-Correction via Backtracking in Vision-and-Language Navigation
視覚言語ナビゲーションで、局所的な行動選択と大域的な信号を組み合わせ、行き詰まった際にバックトラックして自己修正するFASTナビゲータを提案し、R2RベンチマークでSPLを6%改善した。
著者: Liyiming Ke, Xiujun Li, Yonatan Bisk, Ari Holtzman, Zhe Gan, Jingjing Liu, Jianfeng Gao, Yejin Choi, Siddhartha Srinivasa
分類: cs.CL, cs.CV, cs.LG, cs.NE, cs.RO
原文アブストラクト
We present the Frontier Aware Search with backTracking (FAST) Navigator, a general framework for action decoding, that achieves state-of-the-art results on the Room-to-Room (R2R) Vision-and-Language navigation challenge of Anderson et. al. (2018). Given a natural language instruction and photo-realistic image views of a previously unseen environment, the agent was tasked with navigating from source to target location as quickly as possible. While all current approaches make local action decisions or score entire trajectories using beam search, ours balances local and global signals when exploring an unobserved environment. Importantly, this lets us act greedily but use global signals to backtrack when necessary. Applying FAST framework to existing state-of-the-art models achieved a 17% relative gain, an absolute 6% gain on Success rate weighted by Path Length (SPL).
関連論文
- 較正済み視覚言語ナビゲーションによる未知環境での物体探索視覚言語ナビゲーション
- 実行可能性を考慮した階層強化学習による連続環境での視覚言語ナビゲーション視覚言語ナビゲーション
- 視覚言語ナビゲーションにおける物理的実行可能性ギャップの解明と橋渡し視覚言語ナビゲーション
- HAVANA: 視覚言語ナビゲーションのための階層型ビデオ・アクションモデル視覚言語ナビゲーション
- Talk2Escape: 対話による視覚言語ナビゲーションの閉ループ化視覚言語ナビゲーション
- FSD-VLN: 空中長距離視覚言語ナビゲーションのための高速・低速デュアルシステムモデリング視覚言語ナビゲーション
