日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2606.08029

IntentNav: 人間のデモから空間視覚オブジェクトナビゲーションを学習する

IntentNav: Learning Spatial-Visual Object Navigation from Human Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモから探索意図を学習し、空間記憶と視覚的手がかりを統合してオブジェクトナビゲーションを行うフレームワークを提案。複数ベンチマークで最高性能を達成し、異なるロボットへのゼロショット転移も可能。

詳しい要約

1. どんなもの?

- 未知環境で未観測の対象物を探索する ObjectNav のための枠組み IntentNav を提案。 - 人間のデモンストレーションから空間・視覚的な模倣学習を行う。 - 高レベルの探索意図を低レベルの人間行動から推定する。 - BEV メモリと自己中心視覚メモリを組み合わせた候補空間を構築。 - VLM ポリシーが候補を選択する。

2. 先行研究と比べてどこがすごい?

- 従来の ObjectNav と比べ、人間らしい探索を模倣する点が新しい。 - 人間のデモから探索意図をラベル付けする Frontier-based Human-Intent Labeling を導入。 - 空間記憶と視覚的手がかりを統合した候補選択により、冗長な再訪を避ける。 - MP3D, HM3D-v1, HM3D-v2 の ObjectNav ベンチマークで state-of-the-art を達成。 - 車輪、四足、ヒューマノイドロボットへ zero-shot 転移可能。

3. 技術・手法の肝は?

- Frontier-based Human-Intent Labeling: 人間のデモの将来の探索方向を先読みし、それを最も説明する frontier をラベル付け。 - 空間・視覚候補空間: BEV メモリが探索済み領域、未探索 frontier、軌跡履歴を追跡。 - 自己中心視覚メモリが各候補に意味的手がかりを提供。 - VLM ポリシーが接地された候補の中から選択するよう訓練。 - Intent-Aligned Objective により一貫した人間らしい探索を促す。

4. どうやって有効だと検証した?

- MP3D, HM3D-v1, HM3D-v2 の ObjectNav ベンチマークで評価。 - state-of-the-art 性能を達成したと報告。 - 提案する候補レベルナビゲーションインターフェースが、追加の VLM 微調整なしで車輪、四足、ヒューマノイドロボットに zero-shot 転移することを確認。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、人間デモの収集コストなどについての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として ObjectNav, MP3D, HM3D-v1, HM3D-v2, VLM, BEV メモリ, frontier-based exploration などが挙げられる。 - 同分野の定番として Habitat, AI2-THOR, ProcTHOR などのシミュレータやベンチマークも参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxin Cai, Zongtai Li, Maonan Wang, Muyi Bao, Haokun Zhu, Ruofei Bai, Ding Zhao, Zirui Li, Wenshan Wang, Wei-Yun Yau, Ji Zhang, Chen Lv

分類: cs.RO

原文アブストラクト

Object navigation requires a robot to search for an unobserved target in an unknown environment by deciding where to explore next under partial observability. Effective search resembles human-like exploration: selectively probing visually promising frontiers while relying on spatial memory to avoid redundant revisits. We propose IntentNav, a spatial-visual imitation framework that learns human-like ObjectNav policies from human demonstrations. To infer high-level search intent from low-level human actions, we introduce Frontier-based Human-Intent Labeling, which looks ahead in human demonstrations and labels the frontier that best explains the demonstrator's future search direction. We construct a spatial-visual candidate space, where BEV memory tracks explored regions, unexplored frontiers, and trajectory history, while egocentric visual memory provides semantic cues for each candidate. A VLM policy is trained to select among these grounded candidates, using Intent-Aligned Objective to encourage consistent and human-like exploration. IntentNav achieves state-of-the-art performance on the MP3D, HM3D-v1 and HM3D-v2 ObjectNav benchmarks. The proposed candidate-level navigation interface transfers zero-shot to wheeled, quadruped, and humanoid robots without further VLM fine-tuning. \href{https://anonymous.4open.science/w/IntentNav/}{Project page}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI