3DGSNav: アクティブ3Dガウシアンスプラッティングによる視覚言語モデルの物体ナビゲーション推論強化
3DGSNav: Enhancing Vision-Language Model Reasoning for Object Navigation via Active 3D Gaussian Splatting
3DガウシアンスプラッティングをVLMの永続メモリとして組み込み、自由視点レンダリングとCoTプロンプトでゼロショット物体ナビゲーションの空間推論を向上させるフレームワークを提案。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Wancai Zheng, Hao Chen, Xianlong Lu, Linlin Ou, Xinyi Yu
分類: cs.RO, cs.AI
原文アブストラクト
Object navigation is a core capability of embodied intelligence, enabling an agent to locate target objects in unknown environments. Recent advances in vision-language models (VLMs) have facilitated zero-shot object navigation (ZSON). However, existing methods often rely on scene abstractions that convert environments into semantic maps or textual representations, causing high-level decision making to be constrained by the accuracy of low-level perception. In this work, we present 3DGSNav, a novel ZSON framework that embeds 3D Gaussian Splatting (3DGS) as persistent memory for VLMs to enhance spatial reasoning. Through active perception, 3DGSNav incrementally constructs a 3DGS representation of the environment, enabling trajectory-guided free-viewpoint rendering of frontier-aware first-person views. Moreover, we design structured visual prompts and integrate them with Chain-of-Thought (CoT) prompting to further improve VLM reasoning. During navigation, a real-time object detector filters potential targets, while VLM-driven active viewpoint switching performs target re-verification, ensuring efficient and reliable recognition. Extensive evaluations across multiple benchmarks and real-world experiments on a quadruped robot demonstrate that our method achieves robust and competitive performance against state-of-the-art approaches.The Project Page:https://aczheng-cai.github.io/3dgsnav.github.io/
関連論文
- 動く前に探索方針を決める：拡散モデル生成の探索参照を用いた半静的環境でのゼロショット物体ナビゲーション物体ナビゲーション
- HTCE：同相写像に着想を得た物体ナビゲーションのためのシーン横断経験の正規化と再利用物体ナビゲーション
- SOR-Nav: 探索継続か領域移動か？文脈ゲート付き探索と領域間移動による物体ナビゲーション物体ナビゲーション
- NaviScale: 物体ナビゲーション向け大規模セマンティックマップデータセットの生成物体ナビゲーション
- ユーザー中心物体ナビゲーション：個人の習慣を統合したパーソナライズド物体探索ベンチマーク物体ナビゲーション
- Hydra-Nav: 適応的二重プロセス推論による物体ナビゲーション物体ナビゲーション
