日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物体ナビゲーションarXiv:2506.05896

構造・意味推論に基づくマルチレベルマップとマルチモーダル意思決定LLMによる物体ナビゲーション

Object Navigation with Structure-Semantic Reasoning-Based Multi-level Map and Multimodal Decision-Making LLM

シェア:XThreadsFacebookLINEはてブBluesky

未知環境でのゼロショット物体ナビゲーションのため、環境属性マップ(EAM)とMLLM階層推論(MHR)を組み合わせたフレームワークを提案し、長距離探索の効率と成功率を改善した。

詳しい要約

1. どんなもの?

- 未知の open-ended 環境で,意味的に新奇な target を探す zero-shot object navigation (ZSON) のための能動的ナビゲーション枠組み - 観測環境を推論する Environmental Attributes Map (EAM) と,MLLM による階層推論モジュール MHR の2要素から構成 - 長距離探索と高次元の暗黙的シーン情報の無視による性能低下を狙い撃ちする

2. 先行研究と比べてどこがすごい?

- 従来の ZSON は高次元の暗黙的シーン情報を無視し,長距離 target 探索で性能が大きく低下していた - 提案法は EAM と MHR により成功率と効率を改善 - 実験では baseline に対し SPL が HM3D で 21.4%,MP3D で 46.0% の絶対改善 - EAM 単体でも MP3D で 64.5% の scene mapping accuracy を達成

3. 技術・手法の肝は?

- EAM: 観測環境を SBERT で推論し,未観測領域を Diffusion で予測 - 人間の空間規則性(object-room 相関や area adjacency)を利用 - MHR: EAM に触発され,frontier exploration の意思決定を MLLM で階層的に推論 - 長距離シナリオでの回り道 trajectory を回避し path efficiency を向上

4. どうやって有効だと検証した?

- MP3D dataset 上で EAM の scene mapping accuracy 64.5% を報告 - HM3D と MP3D benchmark でナビゲーションタスクを評価 - SPL はそれぞれ 28.4%,26.3% - baseline 比で絶対 21.4%,46.0% の改善 - 詳細な実験設定・比較対象は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 示唆される論点: 未観測領域の Diffusion 予測の不確実性,MLLM 推論コスト,open-ended 環境での汎化性

6. 次に読むべき論文は?

- SBERT(Sentence-BERT) - Diffusion model を用いたシーン予測/地図補完 - MLLM を用いたナビゲーション意思決定(例: 階層的推論エージェント) - frontier exploration に基づく ZSON の定番手法 - MP3D / HM3D benchmark 上の ZSON 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chongshang Yan, Jiaxuan He, Delun Li, Yi Yang, Wenjie Song

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

The zero-shot object navigation (ZSON) in unknown open-ended environments coupled with semantically novel target often suffers from the significant decline in performance due to the neglect of high-dimensional implicit scene information and the long-range target searching task. To address this, we proposed an active object navigation framework with Environmental Attributes Map (EAM) and MLLM Hierarchical Reasoning module (MHR) to improve its success rate and efficiency. EAM is constructed by reasoning observed environments with SBERT and predicting unobserved ones with Diffusion, utilizing human space regularities that underlie object-room correlations and area adjacencies. MHR is inspired by EAM to perform frontier exploration decision-making, avoiding the circuitous trajectories in long-range scenarios to improve path efficiency. Experimental results demonstrate that the EAM module achieves 64.5\% scene mapping accuracy on MP3D dataset, while the navigation task attains SPLs of 28.4\% and 26.3\% on HM3D and MP3D benchmarks respectively - representing absolute improvements of 21.4\% and 46.0\% over baseline methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI