OVerSeeC: 衛星画像と自然言語からのオープンボキャブラリ・コストマップ生成

- 衛星画像と自然言語から、長距離計画用のglobal costmapを生成する問題を扱う。 - テスト時にmission-specificな走行ルールやentityが自然言語で与えられる設定。 - 既存の固定ontologyや静的cost mappingでは対応できない柔軟性が求められる。 - OVerSeeCはzero-shot modular frameworkで、Interpret-Locate-Synthesizeに分解する。 - LLMがentityとranked preferencesを抽出し、open-vocabulary segmentationが高解像度画像からentityを同定し、LLMが実行可能なcostmap codeを合成する。

- 既存手法は固定ontologyと静的cost mappingに依存し、mission要件の変化や未知のterrain entityに対応できない。 - foundation modelは言語解釈やopen-vocabulary perceptionに優れるが、単一モデルではmission directiveの解析、大規模画像中の任意entityの位置特定、実行可能なcost functionの合成を同時にできない。 - OVerSeeCはmodular compositionにより、open-vocabularyでpreference-alignedなcostmap生成をzero-shotで実現する点が新しい。 - 分布シフトに対するrobustnessも示す。

- Interpret-Locate-Synthesizeの3段階からなるzero-shot modular framework。 - (i) LLMが自然言語からentityとranked preferencesを抽出する。 - (ii) open-vocabulary segmentation pipelineが高解像度衛星画像からこれらのentityを同定する。 - (iii) LLMがユーザの自然言語preferencesとmaskを用いて実行可能なcostmap codeを合成する。 - これにより、未知entityやranked・compositional preferencesに対応する。

- 新規entityを扱えること、rankedおよびcompositional preferencesを尊重することを実証。 - 多様な地域において、生成されたroutesが人間が描いたtrajectoriesと一致することを確認。 - 分布シフトに対するrobustnessを示す。 - 具体的なデータセット名や評価指標は要旨からは不明。

- 要旨からは明示的な議論や限界は不明。 - ただし、modular composition of foundation modelsがopen-vocabularyでpreference-alignedなcostmap生成を可能にし、scalableでmission-adaptiveなglobal planningに寄与する点が示唆される。 - 今後の課題や制約についての言及は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、open-vocabulary segmentation、LLM-based planning、costmap generation、satellite imagery navigationなどが挙げられる。 - 同分野の定番として、CLIP、Segment Anything、LLM-based planners、costmap learningなどが考えられるが、要旨に具体的な論文名はない。