日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.01723

OpenMap: オープン語彙視覚言語マッピングによる指示のグラウンディング

OpenMap: Instruction Grounding via Open-Vocabulary Visual-Language Mapping

シェア:XThreadsFacebookLINEはてブBluesky

自由形式の言語指示を3Dシーン内の特定物体に結びつけるゼロショットの視覚言語マップを提案し、ナビゲーションタスクでの指示グラウンディング精度を向上させた。

詳しい要約

1. どんなもの?

- 実世界の open-world 環境で動く embodied agent 向けの、zero-shot な open-vocabulary visual-language map である OpenMap を提案する研究。 - 自由形式の言語指示を 3D シーンの特定インスタンスに接地(instruction grounding)することを目的とする。 - ナビゲーションタスクにおける指示接地の精度向上を狙う。

2. 先行研究と比べてどこがすごい?

- 従来の visual-language mapping は VLM を活用し汎化可能な意味表現を実現してきたが、自由形式コマンドと特定シーンインスタンスの対応付けが不十分だった。 - その原因として instance-level の意味的一貫性と指示解釈の限界を指摘。 - OpenMap は zero-shot 設定で state-of-the-art ベースラインを上回ると報告。

3. 技術・手法の肝は?

- 視点間の意味的不整合に対処するため、global な幾何構造と vision-language 類似度を同時に考慮する Structural-Semantic Consensus 制約を導入し、頑健な 3D instance-level 集約を導く。 - 指示解釈の改善のため、LLM-assisted Instruction-to-Instance Grounding モジュールを提案。空間的文脈と表現豊かな対象記述を取り込み、細粒度のインスタンス選択を可能にする。

4. どうやって有効だと検証した?

- ScanNet200 と Matterport3D 上で評価。 - semantic mapping と instruction-to-target retrieval の両タスクを対象とする。 - zero-shot 設定で state-of-the-art ベースラインを上回る結果を示し、自由形式言語と 3D 知覚の橋渡しにおける有効性を実証。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗ケース、計算コスト、LLM 依存性などの議論は要旨に記載なし)。

6. 次に読むべき論文は?

- 比較対象として言及される state-of-the-art の visual-language mapping 手法(個別名は要旨からは不明)。 - VLM を用いた visual-language mapping の先行研究。 - ScanNet200 および Matterport3D を用いた 3D 意味マッピング/instruction grounding の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Danyang Li, Zenghui Yang, Guangpeng Qi, Songtao Pang, Guangyong Shang, Qiang Ma, Zheng Yang

分類: cs.RO

原文アブストラクト

Grounding natural language instructions to visual observations is fundamental for embodied agents operating in open-world environments. Recent advances in visual-language mapping have enabled generalizable semantic representations by leveraging vision-language models (VLMs). However, these methods often fall short in aligning free-form language commands with specific scene instances, due to limitations in both instance-level semantic consistency and instruction interpretation. We present OpenMap, a zero-shot open-vocabulary visual-language map designed for accurate instruction grounding in navigation tasks. To address semantic inconsistencies across views, we introduce a Structural-Semantic Consensus constraint that jointly considers global geometric structure and vision-language similarity to guide robust 3D instance-level aggregation. To improve instruction interpretation, we propose an LLM-assisted Instruction-to-Instance Grounding module that enables fine-grained instance selection by incorporating spatial context and expressive target descriptions. We evaluate OpenMap on ScanNet200 and Matterport3D, covering both semantic mapping and instruction-to-target retrieval tasks. Experimental results show that OpenMap outperforms state-of-the-art baselines in zero-shot settings, demonstrating the effectiveness of our method in bridging free-form language and 3D perception for embodied navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI