DivScene: 多様なシーンにおける大規模視覚言語モデルによるオープンボキャブラリ物体ナビゲーション
DivScene: Towards Open-Vocabulary Object Navigation with Large Vision Language Models in Diverse Scenes
81種類のシーンと5,707種類の物体を含む大規模データセットDivSceneを構築し、視覚言語モデルを微調整することでオープンボキャブラリ物体ナビゲーションの成功率をGPT-4oより20%以上向上させた。
著者: Zhaowei Wang, Hongming Zhang, Tianqing Fang, Ye Tian, Yue Yang, Kaixin Ma, Xiaoman Pan, Yangqiu Song, Dong Yu
分類: cs.CV, cs.CL, cs.RO
原文アブストラクト
Large Vision-Language Models (LVLMs) have achieved significant progress in tasks like visual question answering and document understanding. However, their potential to comprehend embodied environments and navigate within them remains underexplored. In this work, we first study the challenge of open-vocabulary object navigation by introducing DivScene, a large-scale dataset with 4,614 houses across 81 scene types and 5,707 kinds of target objects. Our dataset provides a much greater diversity of target objects and scene types than existing datasets, enabling a comprehensive task evaluation. We evaluated various methods with LVLMs and LLMs on our dataset and found that current models still fall short of open-vocab object navigation ability. Then, we fine-tuned LVLMs to predict the next action with CoT explanations. We observe that LVLM's navigation ability can be improved substantially with only BFS-generated shortest paths without any human supervision, surpassing GPT-4o by over 20% in success rates.
関連論文
- 動く前に探索方針を決める:拡散モデル生成の探索参照を用いた半静的環境でのゼロショット物体ナビゲーション物体ナビゲーション
- HTCE:同相写像に着想を得た物体ナビゲーションのためのシーン横断経験の正規化と再利用物体ナビゲーション
- SOR-Nav: 探索継続か領域移動か?文脈ゲート付き探索と領域間移動による物体ナビゲーション物体ナビゲーション
- NaviScale: 物体ナビゲーション向け大規模セマンティックマップデータセットの生成物体ナビゲーション
- ユーザー中心物体ナビゲーション:個人の習慣を統合したパーソナライズド物体探索ベンチマーク物体ナビゲーション
- Hydra-Nav: 適応的二重プロセス推論による物体ナビゲーション物体ナビゲーション
