物体ナビゲーション2025/11/1arXiv:2511.13207

PIGEON: VLM駆動の関心点選択による物体ナビゲーション

PIGEON: VLM-Driven Object Navigation via Points of Interest Selection

VLMを関心点(PoI)の選択に用いることで、未見屋内環境での物体ナビゲーションを効率的かつ検証可能にし、ゼロショットで最先端性能を達成した研究。

詳しい要約

1. どんなもの？

- PIGEONは、未見の屋内環境におけるObject Navigationを対象としたVLM駆動フレームワーク。 - 部分的観測下での意味的探索を、生の観測に接地した疎な意思決定問題として定式化。 - Points of Interest (PoIs) を導入し、幾何学的に実行可能なwaypointと生のegocentric観測を結びつける。 - VLMはPoIsの選択を担当し、低レベルplannerが連続的な移動を実行する。

2. 先行研究と比べてどこがすごい？

- 従来のVLM活用法の課題として、dense VLM inferenceの高コストや、記号的記憶への抽象化が高レベル推論と視覚的根拠を分離する点を指摘。 - PIGEONはVLMをdense controllerやfrontier rankingに限定せず、探索frontier・疑わしい対象物・通行可能なstairs・floor-level summariesを含むtask-critical PoIsの選択に用いる。 - PoIインターフェースにより高レベル判断が検証可能となり、手動Chain-of-Thought注釈なしで局所VLMを改善するRLVRパイプラインを構築可能にした。

3. 技術・手法の肝は？

- PoIsを、幾何学的に実行可能なwaypointと生のegocentric観測を結合した疎な視覚的意思決定単位として定義。 - VLMは探索frontier、疑わしい対象物、通行可能なstairs、floor-level summariesなどのPoIsから選択。 - 低レベルplannerがPoIs間の連続運動を実行する階層構成。 - PoI選択を検証可能な判断として扱い、RLVRパイプラインで局所VLMを改善。

4. どうやって有効だと検証した？

- Habitat ObjectNavベンチマークで実験を実施。 - state-of-the-artのzero-shot性能を達成。 - foundation modelのcapacityに応じて一貫したスケーリングを示す。 - promptの変更のみでActive Embodied Question Answeringへ転移。 - 実ロボットでの実世界展開により堅牢性と効率性を実証。

5. 議論はある？

- 要旨からは不明。 - 明示されているのは、PoIインターフェースが高レベル判断の検証を可能にし、RLVRによる局所VLM改善につながる点。 - dense VLM inferenceのコストや記号的記憶の分離といった課題への対処が主張されている。

6. 次に読むべき論文は？

- Habitat ObjectNav（ベンチマーク） - Active Embodied Question Answering（転移先タスク） - VLMを用いたObject Navigationの先行手法（要旨では個別名の参照なし） - frontier-based exploration（比較対象として言及されるfrontier rankingに関連） - RLVR（Reinforcement Learning with Verifiable Rewards）関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cheng Peng, Zhenzhe Zhang, Xiaobao Wei, Yanhao Zhang, Heng Wang, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Shanghang Zhang, Jing Liu

分類: cs.RO, cs.CV

原文アブストラクト

Object navigation in unseen indoor environments requires agents to perform semantic search under partial observability. Vision-language models (VLMs) provide strong semantic-spatial priors for this task, but how to interface them with robot navigation remains challenging: dense VLM inference is expensive, while abstracting environments into symbolic memories often separates high-level reasoning from the raw visual evidence that supports it. We propose we propose PIGEON (Point of Interest Guided Exploration for Object Navigation), a VLM-driven framework that formulates object navigation as raw-observation-grounded sparse decision problem. PIGEON introduces Points of Interest (PoIs) as sparse visual decision units that couple geometrically executable waypoints with raw egocentric observations. Rather than using VLMs as dense controllers or restricting them to frontier ranking, PIGEON enables VLMs to select among task-critical PoIs, including exploration frontiers, suspected target objects, traversable stairs, and floor-level summaries, while low-level planners execute continuous motion between them. This PoI interface further makes high-level navigation decisions verifiable, allowing us to develop an RLVR pipeline that improves local VLMs without manual Chain-of-Thought annotations. Extensive experiments on Habitat ObjectNav benchmarks show that PIGEON achieves state-of-the-art zero-shot performance, scales consistently with foundation model capacity, and transfers to Active Embodied Question Answering with only prompt modifications. Real-world deployments on physical robots further demonstrate its robustness and efficiency.

arXivで原文を読む →arXiv概要ページ

PIGEON: VLM駆動の関心点選択による物体ナビゲーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell