視覚ナビゲーションのためのマルチモーダル大規模言語モデル
Multimodal Large Language Model for Visual Navigation
複雑なプロンプト設計に頼らず、大規模言語モデルを視覚ナビゲーション用に微調整し、HM3Dデータセットの人間のデモと衝突信号で学習させて、衝突率を低減しつつ既存手法を上回った。
著者: Yao-Hung Hubert Tsai, Vansh Dhar, Jialu Li, Bowen Zhang, Jian Zhang
分類: cs.CV, cs.RO
原文アブストラクト
Recent efforts to enable visual navigation using large language models have mainly focused on developing complex prompt systems. These systems incorporate instructions, observations, and history into massive text prompts, which are then combined with pre-trained large language models to facilitate visual navigation. In contrast, our approach aims to fine-tune large language models for visual navigation without extensive prompt engineering. Our design involves a simple text prompt, current observations, and a history collector model that gathers information from previous observations as input. For output, our design provides a probability distribution of possible actions that the agent can take during navigation. We train our model using human demonstrations and collision signals from the Habitat-Matterport 3D Dataset (HM3D). Experimental results demonstrate that our method outperforms state-of-the-art behavior cloning methods and effectively reduces collision rates.
関連論文
- 履歴観測からの証拠的BEV補完による視覚ナビゲーション視覚ナビゲーション
- オプティカルフローから安全へ:スケールフリー相対運動による視覚的安全認証視覚ナビゲーション
- VIGOR-MPC: 視覚誘導型目的調整MPC視覚ナビゲーション
- SkipWorld: 蒸留ワールドモデルによる潜在スキップ計画で効率的な視覚ナビゲーション視覚ナビゲーション
- RingNav: タスクに合わせた円環メモリによる視覚的方位推定視覚ナビゲーション
- PathLift:視覚ナビゲーションのための深度条件付きメートル法変換視覚ナビゲーション
