日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2507.07299

MLFM: ゼロショット意味的ナビゲーションにおける言語理解を豊かにする多層特徴マップ

MLFM: Multi-Layered Feature Maps for Richer Language Understanding in Zero-Shot Semantic Navigation

シェア:XThreadsFacebookLINEはてブBluesky

自然言語で指定された複数の物体を順に探索するタスクLaMoNを提案し、視覚言語特徴から多層意味マップを構築するMLFMでゼロショットナビゲーション性能を向上させた。

詳しい要約

1. どんなもの?

- 言語指示に基づくsemantic navigationのための研究 - 新dataset「LangNav」を提案 - open-vocabularyなmulti-object navigation用 - 自然言語のgoal記述(例: 'go to the red short candle on the table') - 細粒度のlinguistic annotation(attributes: color=red, size=short; relations: support=on)付き - 評価設定としてLanguage-guided Multi-Object Navigation (LaMoN)を拡張提案 - 手法としてMulti-Layered Feature Map (MLFM)を提案

2. 先行研究と比べてどこがすごい?

- 言語理解を体系的に評価する枠組みが欠けていたgapをLangNavで埋める - 細粒度linguistic annotationにより言語のgroundingを系統的に評価可能 - 既存のzero-shot mapping-based navigation baselineに対しMLFMが優位と報告 - 具体的な数値比較は要旨からは不明

3. 技術・手法の肝は?

- MLFMはpretrained vision-language featuresから構築 - queryableかつmulti-layeredなsemantic mapを構築 - goal記述中のfine-grained attributesとspatial relationsのreasoningに有効 - 詳細なアーキテクチャは要旨からは不明

4. どうやって有効だと検証した?

- LangNav上で実験 - state-of-the-artのzero-shot mapping-based navigation baselineと比較しMLFMが上回ることを示す - 具体的なmetric・数値は要旨からは不明

5. 議論はある?

- 言語中心の評価枠組みの必要性を指摘 - 細粒度annotationの有用性を示唆 - limitationやfailure caseの議論は要旨からは不明

6. 次に読むべき論文は?

- LangNav(dataset) - LaMoN(task setting) - zero-shot mapping-based navigationのbaseline手法 - 基盤となるlarge vision-language models - 詳細は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sonia Raychaudhuri, Enrico Cancelli, Tommaso Campari, Lamberto Ballan, Manolis Savva, Angel X. Chang

分類: cs.RO, cs.CV

原文アブストラクト

Recent progress in large vision-language models has driven improvements in language-based semantic navigation, where an embodied agent must reach a target object described in natural language. Yet we still lack a clear, language-focused evaluation framework to test how well agents ground the words in their instructions. We address this gap by proposing LangNav, an open-vocabulary multi-object navigation dataset with natural language goal descriptions (e.g. 'go to the red short candle on the table') and corresponding fine-grained linguistic annotations (e.g., attributes: color=red, size=short; relations: support=on). These labels enable systematic evaluation of language understanding. To evaluate on this setting, we extend multi-object navigation task setting to Language-guided Multi-Object Navigation (LaMoN), where the agent must find a sequence of goals specified using language. Furthermore, we propose Multi-Layered Feature Map (MLFM), a novel method that builds a queryable, multi-layered semantic map from pretrained vision-language features and proves effective for reasoning over fine-grained attributes and spatial relations in goal descriptions. Experiments on LangNav show that MLFM outperforms state-of-the-art zero-shot mapping-based navigation baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI