日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2605.01700

TrajRAG: 幾何学的・意味的経験の検索によるゼロショット物体ナビゲーション

TrajRAG: Retrieving Geometric-Semantic Experience for Zero-Shot Object Navigation

シェア:XThreadsFacebookLINEはてブBluesky

過去のナビゲーション軌跡をトポロジカル極座標表現で構造化し、階層的チャンクで検索可能にすることで、大規模モデルの推論を強化するゼロショット物体ナビゲーション手法を提案。

詳しい要約

1. どんなもの?

- zero-shot Object Goal Navigation (ObjectNav) のための retrieval-augmented generation フレームワーク TrajRAG を提案。 - 大規模言語モデルや vision-language モデルの常識知識だけでなく、過去のナビゲーションで得た embodied 3D 経験を検索して推論を強化する。 - 経験を継続的に蓄積し lifelong なナビゲーション経験の構築を目指す。

2. 先行研究と比べてどこがすごい?

- 既存の zero-shot ObjectNav は internet-scale text 由来の常識知識に依存し、embodied 3D 経験を活用していない。 - ナビゲーション中に得られる episodic observations は通常破棄され、経験の蓄積ができない。 - TrajRAG は過去の episodic observations を蓄積・構造化し、検索により大モデル推論を支援する点が新しい。

3. 技術・手法の肝は?

- 過去のナビゲーション episode から episodic observations を逐次蓄積。 - topological-polar (topo-polar) trajectory representation で空間レイアウトと意味的文脈をコンパクトに符号化し、冗長性を除去。 - hierarchical chunking structure で類似の topo-polar trajectories を統合要約し、coarse-to-fine retrieval を可能にする。 - ナビゲーション時、candidate frontiers から複数の trajectory hypotheses を生成し、TrajRAG で類似過去軌跡を検索して waypoint 選択の大モデル推論を導く。 - 新しい経験は継続的に TrajRAG に統合される。

4. どうやって有効だと検証した?

- MP3D, HM3D-v1, HM3D-v2 のデータセットで実験。 - TrajRAG が関連する geometric-semantic experiences を効果的に検索し、zero-shot ObjectNav 性能を改善することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として zero-shot ObjectNav、retrieval-augmented generation、large language models、vision-language models が挙げられる。 - 同分野の定番として ObjectNav ベンチマーク (MP3D, HM3D) を用いた研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiyao Wang, Sixian Zhang, Keming Zhang, Xinhang Song, Songjie Du, Shuqiang Jiang

分類: cs.CV

原文アブストラクト

Existing zero-shot Object Goal Navigation (ObjectNav) methods often exploit commonsense knowledge from large language or vision-language models to guide navigation. However, such knowledge arises from internet-scale text rather than embodied 3D experience, and episodic observations collected during navigation are typically discarded, preventing the accumulation of lifelong experience. To this end, we propose Trajectory RAG (TrajRAG), a retrieval-augmented generation framework that enhances large-model reasoning by retrieving geometric-semantic experiences. TrajRAG incrementally accumulates episodic observations from past navigation episodes. To structure these observations, we propose a topological-polar (topo-polar) trajectory representation that compactly encodes spatial layouts and semantic contexts, effectively removing redundancies in raw episodic observations. A hierarchical chunking structure further organizes similar topo-polar trajectories into unified summaries, enabling coarse-to-fine retrieval. During navigation, candidate frontiers generate multiple trajectory hypotheses that query TrajRAG for similar past trajectories, guiding large-model reasoning for waypoint selection. New experiences are continually consolidated into TrajRAG, enabling the accumulation of lifelong navigation experience. Experiments on MP3D, HM3D-v1, and HM3D-v2 show that TrajRAG effectively retrieves relevant geometric-semantic experiences and improves zero-shot ObjectNav performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI