日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.25106

IMPRINT: 画像条件付きクエリ拡張によるロングテール物体ゴールナビゲーション

IMPRINT: Image-Conditioned Query Enrichment for Long-Tail Object Goal Navigation

シェア:XThreadsFacebookLINEはてブBluesky

テキストのみのクエリに依存する既存の物体ゴールナビゲーション手法の限界を克服するため、ウェブから取得した画像でクエリを拡張し、視覚言語モデルを用いて意味マップと照合することで物体の位置特定精度を向上させるゼロショットフレームワークを提案した。

詳しい要約

1. どんなもの?

IMPRINTは、Object Goal Navigation (ObjectNav) のためのゼロショットのプラグアンドプレイフレームワークである。事前学習済みのvision-language modelから構築されたクエリ可能なセマンティックマップを用いる既存手法では、テキストのみのクエリに依存しており、細かいオブジェクトカテゴリへの特化が進むと信頼性が低下する。IMPRINTは、ウェブから取得した画像でテキストクエリを強化し、セマンティックマップへの接地を改善する。画像はvision-language modelでエンコードされ、セマンティックマップとマッチングされて類似度マップを生成し、集約して文脈認識型の位置特定を行う。トレーニングやナビゲーションポリシーの変更は不要である。

2. 先行研究と比べてどこがすごい?

既存のObjectNav手法はテキストのみのクエリに依存しており、セマンティックな特異性が増すと性能が低下する。IMPRINTは、ウェブから取得した画像をクエリに追加することで、テキストだけでは捉えきれない視覚的な詳細を提供し、特に長尾のオブジェクトカテゴリに対する接地精度を向上させる。また、トレーニング不要で既存のナビゲーションポリシーにそのまま組み込めるプラグアンドプレイ設計が特徴である。

3. 技術・手法の肝は?

IMPRINTの手法の核は、テキストクエリをウェブから取得した画像で強化することである。具体的には、検索された画像をvision-language modelでエンコードし、セマンティックマップ内の特徴とマッチングして類似度マップを生成する。これらの類似度マップを集約して、オブジェクトの位置特定に利用する。このプロセスはトレーニング不要で、既存のナビゲーションポリシーを変更せずに適用できる。

4. どうやって有効だと検証した?

IMPRINTの有効性は、OVONベンチマークと新しく提案されたHSSD-rareベンチマークで評価された。HSSD-rareはHabitat Synthetic Scenesに基づき、セマンティックに特化したサブカテゴリを含む長尾オブジェクトに焦点を当てている。実験では、画像条件付きクエリがオブジェクトの接地精度とエンドツーエンドのナビゲーション性能を一貫して向上させることが示された。

5. 議論はある?

分析により、位置特定の改善がナビゲーション性能に反映されるかどうかは、下流の検出品質に強く依存することが明らかになった。これは、長尾のembodied navigationにおける重要なシステムボトルネックを示している。要旨からは、このボトルネックを解決する具体的な方法については言及されていない。

6. 次に読むべき論文は?

要旨で参照されているベンチマークはOVONとHSSD-rareであり、関連手法としては事前学習済みvision-language modelを用いたセマンティックマップ構築やObject Goal Navigationの既存研究が挙げられる。具体的には、テキストのみのクエリを用いたObjectNav手法や、クエリ可能なセマンティックマップを構築する手法が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jelin Raphael Akkara, Filippo Ziliotto, Luciano Serafini, Lamberto Ballan, Tommaso Campari

分類: cs.CV

原文アブストラクト

Embodied AI increasingly relies on queryable semantic maps built from pre-trained vision-language models to enable zero-shot Object Goal Navigation (ObjectNav). However, existing approaches typically depend on text-only queries, which become less reliable as semantic specificity increases toward fine-grained object categories. We introduce IMPRINT, a zero-shot plug-and-play framework that enriches textual object queries with web-sourced images to improve grounding in queryable maps. Retrieved images are encoded using a vision-language model, matched against the semantic map to produce similarity maps, and aggregated to yield context-aware localization. Notably, this requires no training or modification of the underlying navigation policy. To explicitly evaluate long-tail behavior, we present HSSD-rare, a new ObjectNav benchmark built on Habitat Synthetic Scenes and featuring semantically specific subcategories. Across both OVON and HSSD-rare, image-conditioned queries consistently improve object grounding and yield end-to-end navigation gains. Further analysis reveals that translating localization gains to navigation performance depends critically on downstream detection quality, highlighting a key systems bottleneck in long-tail embodied navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI