日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物体ナビゲーションarXiv:2507.12753

osmAG-LLM: セマンティックマップと大規模言語モデルの推論によるゼロショットオープンボキャブラリ物体ナビゲーション

osmAG-LLM: Zero-Shot Open-Vocabulary Object Navigation via Semantic Maps and Large Language Models Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

高精細な地図ではなく環境の文脈とLLMの意味的知識を組み合わせ、物体が移動・未マップでも能動的に探索して目的物体へ到達するナビゲーションシステムを開発した。

詳しい要約

1. どんなもの?

- 物体ゴールナビゲーション(object-goal navigation)向けのマッピング・ナビゲーションシステム - クエリ対象物体が移動済みの可能性や未マップの可能性を設計段階から考慮 - 高精細マップではなく環境のgroundingとcontext提供をマップの主目的と位置づけ - LLMのsemantic priorsと組み合わせて物体位置をreasoning - activeかつonlineなアプローチで対象物体へナビゲート - コードとデータセットを公開

2. 先行研究と比べてどこがすごい?

- 従来のopen-vocabulary robot mappingはdense geometric mapsにpre-trained visual-language featuresを付与し高詳細化 - 本手法は高忠実度マッピングを目指さず、scalabilityとマップ陳腐化の問題に対処 - 静的物体では短いpath lengthで高いretrieval success - dynamicまたはunmappedな物体クエリでは先行手法を大きく上回る - 物体が動く/未マップという現実的ケースを当初から考慮する点が差分

3. 技術・手法の肝は?

- 地図の用途を環境groundingとcontext提供に限定 - LLMのsemantic priorsを用いて物体位置をreasoning - activeかつonlineなナビゲーション戦略を採用 - 具体的なmap表現やLLMプロンプト設計は要旨からは不明 - 名称osmAG-LLMが示すsemantic mapとLLM推論の統合が肝(詳細は要旨からは不明)

4. どうやって有効だと検証した?

- simulated experiments(シミュレーション実験)を実施 - real-world experiments(実世界実験)を実施 - 静的物体で短path lengthでのretrieval successを確認 - dynamic/unmapped物体クエリで先行手法を大きく上回ることを確認 - 定量的指標の詳細は要旨からは不明

5. 議論はある?

- 高詳細マッピングの陳腐化とscalabilityへの問題提起 - マップの主目的をgrounding/context提供と再定義する立場 - dynamic物体やunmapped物体への頑健性を重視 - 限界や失敗ケース、LLM推論の誤りに関する議論は要旨からは不明

6. 次に読むべき論文は?

- open-vocabulary robot mapping(visual-language featuresをdense mapに付与する手法) - 本論文が比較対象とするprior approaches(個別名は要旨からは不明) - LLM-based object navigation / semantic priorsを用いた探索手法 - ObjectNav関連の定番ベンチマーク(e.g., Habitat, HM3D)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fujing Xie, Sören Schwertfeger, Hermann Blum

分類: cs.RO

原文アブストラクト

Recent open-vocabulary robot mapping methods enrich dense geometric maps with pre-trained visual-language features, achieving a high level of detail and guiding robots to find objects specified by open-vocabulary language queries. While the issue of scalability for such approaches has received some attention, another fundamental problem is that high-detail object mapping quickly becomes outdated, as objects get moved around a lot. In this work, we develop a mapping and navigation system for object-goal navigation that, from the ground up, considers the possibilities that a queried object can have moved, or may not be mapped at all. Instead of striving for high-fidelity mapping detail, we consider that the main purpose of a map is to provide environment grounding and context, which we combine with the semantic priors of LLMs to reason about object locations and deploy an active, online approach to navigate to the objects. Through simulated and real-world experiments we find that our approach tends to have higher retrieval success at shorter path lengths for static objects and by far outperforms prior approaches in cases of dynamic or unmapped object queries. We provide our code and dataset at: https://github.com/xiexiexiaoxiexie/osmAG-LLM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI