先を見据えて跳べ:モデルフリーとモデルベース強化学習を橋渡しする先読み型視覚言語ナビゲーション
Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning for Planned-Ahead Vision-and-Language Navigation
モデルフリー強化学習とモデルベース強化学習を組み合わせ、次状態と報酬を予測する環境モデルと先読み方策を統合したハイブリッド手法を提案し、実世界のRoom-to-Roomデータセットで最高性能を達成した。
著者: Xin Wang, Wenhan Xiong, Hongmin Wang, William Yang Wang
分類: cs.CV, cs.AI, cs.CL, cs.RO
原文アブストラクト
Existing research studies on vision and language grounding for robot navigation focus on improving model-free deep reinforcement learning (DRL) models in synthetic environments. However, model-free DRL models do not consider the dynamics in the real-world environments, and they often fail to generalize to new scenes. In this paper, we take a radical approach to bridge the gap between synthetic studies and real-world practices---We propose a novel, planned-ahead hybrid reinforcement learning model that combines model-free and model-based reinforcement learning to solve a real-world vision-language navigation task. Our look-ahead module tightly integrates a look-ahead policy model with an environment model that predicts the next state and the reward. Experimental results suggest that our proposed method significantly outperforms the baselines and achieves the best on the real-world Room-to-Room dataset. Moreover, our scalable method is more generalizable when transferring to unseen environments.
関連論文
- 較正済み視覚言語ナビゲーションによる未知環境での物体探索視覚言語ナビゲーション
- 実行可能性を考慮した階層強化学習による連続環境での視覚言語ナビゲーション視覚言語ナビゲーション
- 視覚言語ナビゲーションにおける物理的実行可能性ギャップの解明と橋渡し視覚言語ナビゲーション
- HAVANA: 視覚言語ナビゲーションのための階層型ビデオ・アクションモデル視覚言語ナビゲーション
- Talk2Escape: 対話による視覚言語ナビゲーションの閉ループ化視覚言語ナビゲーション
- FSD-VLN: 空中長距離視覚言語ナビゲーションのための高速・低速デュアルシステムモデリング視覚言語ナビゲーション
