日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2512.24212

RANGER: 単眼カメラによるゼロショット意味的ナビゲーションのための視覚的文脈適応フレームワーク

RANGER: A Monocular Zero-Shot Semantic Navigation Framework through Visual Contextual Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

単眼カメラのみで動作し、短い動画から環境の文脈を学習して任意の物体を探索できるゼロショット・オープンボキャブラリなナビゲーション手法を提案。

詳しい要約

1. どんなもの?

- 単眼カメラのみで動作するゼロショット・オープンボキャブラリのセマンティックナビゲーション手法。 - 対象環境の短い動画を観察するだけで、視覚的文脈学習(VICL)能力を発揮し、タスク効率を向上。 - キーフレームベースの3D再構成、セマンティック点群生成、VLMによる探索価値推定、適応的ウェイポイント選択、低レベル行動実行を統合。 - HM3Dベンチマークと実環境で評価。

2. 先行研究と比べてどこがすごい?

- 既存のゼロショット物体ゴールナビゲーションは、正解のdepthとpose情報に強く依存し、実世界適用が制限されていた。 - また、環境文脈から幾何・意味的事前知識を抽出するVICL能力が欠如していた。 - RANGERはdepthとposeへの依存を排除し、単眼カメラのみで動作。 - さらに、短い動画を観察するだけでVICL能力を発揮し、アーキテクチャ変更やタスク特化の再学習なしに効率を改善。

3. 技術・手法の肝は?

- 3D foundation modelsを活用し、depthとposeなしで単眼カメラから動作。 - キーフレームベースの3D再構成とセマンティック点群生成を実施。 - VLM(vision-language model)駆動の探索価値推定を行う。 - 高レベル適応的ウェイポイント選択と低レベル行動実行を統合。 - 短い動画から視覚的文脈学習(VICL)により幾何・意味的事前知識を抽出。

4. どうやって有効だと検証した?

- HM3Dベンチマークと実世界環境で実験。 - ナビゲーション成功率と探索効率において競争力のある性能を達成。 - 優れたVICL適応性を示し、環境の事前3Dマッピングを必要としないことを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、multimodal foundation modelsを活用したゼロショット物体ゴールナビゲーションや、3D foundation models、VLMベースのナビゲーションが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ming-Ming Yu, Yi Chen, Börje F. Karlsson, Wenjun Wu

分類: cs.RO, cs.CV

原文アブストラクト

Efficient target localization and autonomous navigation in complex environments are fundamental to real-world embodied applications. While recent advances in multimodal foundation models have enabled zero-shot object goal navigation, allowing robots to search for arbitrary objects without fine-tuning, existing methods face two key limitations: (1) heavy reliance on ground-truth depth and pose information, which restricts applicability in real-world scenarios; and (2) lack of visual in-context learning (VICL) capability to extract geometric and semantic priors from environmental context, as in a short traversal video. To address these challenges, we propose RANGER, a novel zero-shot, open-vocabulary semantic navigation framework that operates using only a monocular camera. Leveraging powerful 3D foundation models, RANGER eliminates the dependency on depth and pose while exhibiting strong VICL capability. By simply observing a short video of the target environment, the system can also significantly improve task efficiency without requiring architectural modifications or task-specific retraining. The framework integrates several key components: keyframe-based 3D reconstruction, semantic point cloud generation, vision-language model (VLM)-driven exploration value estimation, high-level adaptive waypoint selection, and low-level action execution. Experiments on the HM3D benchmark and real-world environments demonstrate that RANGER achieves competitive performance in terms of navigation success rate and exploration efficiency, while showing superior VICL adaptability, with no previous 3D mapping of the environment required.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI