ロボットナビゲーションと操作のためのマルチモーダル空間言語マップ

- ロボットの navigation と manipulation のための **multimodal spatial language maps** を提案する研究。 - pretrained multimodal foundation models の特徴量と環境の 3D reconstruction を融合した spatial map representation。 - 標準的な exploration で自律的に構築し、2 つの実装 **VLMaps**（visual-language）と **AVLMaps**（audio-visual-language）を示す。 - LLM と組み合わせることで open-vocabulary な spatial goal への変換や embodiment 間の共有を可能にする。

- 従来手法は environment mapping と切り離されている、geometric map の spatial precision を欠く、vision 以外の modality を無視するという課題があった。 - 本研究は pretrained multimodal features を 3D reconstruction に融合することで、これらの課題に対処する。 - VLMaps は LLM と組み合わせて open-vocabulary な spatial goal を地図上で直接 localize でき、異なる robot embodiments 間で共有可能。 - AVLMaps は audio を統合し、text・image・audio snippet といった multimodal goal query を spatial location に ground できる点が新しい。

- pretrained multimodal foundation models の特徴量と環境の 3D reconstruction を融合した spatial map representation を構築。 - 標準的な exploration により地図を自律的に生成。 - VLMaps は visual-language の特徴量を統合し、LLM と組み合わせて自然言語命令を open-vocabulary な spatial goal に変換、地図上で localize。 - AVLMaps は audio・visual・language の cue を統合した unified 3D spatial representation を導入し、multimodal goal query を spatial location に ground。 - 異なる robot embodiments 向けに tailored obstacle map をオンデマンド生成。

- simulation と real-world settings の両方で実験を実施。 - multimodal spatial language maps が zero-shot の spatial goal navigation と multimodal goal navigation を可能にすることを示す。 - ambiguous な scenario において recall が 50% 改善したと報告。 - mobile robots と tabletop manipulators に適用し、visual・audio・spatial cue に導かれた navigation と interaction を支援できることを確認。

- ambiguous 環境での goal disambiguation に対し、audio を含む多様な sensory input の導入が有効であると議論。 - 異なる robot embodiments 間で地図を共有し、オンデマンドに obstacle map を生成できる点を利点として挙げる。 - 具体的な限界や失敗事例、計算コストなどに関する詳細な議論は要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として **VLMaps**（本研究の visual-language map）とその拡張 **AVLMaps**、基盤となる pretrained multimodal foundation models や LLM を用いた language grounding 研究、3D reconstruction に基づく spatial map 研究を次に読む候補として挙げる。