HELIOS: 未知環境における言語指示に基づく移動マニピュレーションのための階層的探索

- 部分的にしか観測できない未知環境で、言語指示に基づく mobile manipulation を行うための階層的シーン表現と探索目的関数の提案 - 2D の semantic/occupancy map による navigation と、task-relevant object の 3D Gaussian 表現の能動的構築を同時に行う - 計画を階層表現上の探索問題として定式化し、frontier-based exploration と object detection の semantic consistency 改善に伴う expected information gain を統合 - OVMM benchmark と実世界 office 環境の Spot robot で評価

- 部分的観測、言語から scene への semantic grounding、新観測による知識更新という複数の課題を同時に扱う枠組みを提示 - 2D map と 3D Gaussian 表現を融合する multi-layered representation を採用し、Dirichlet distribution で各 object の multi-view consistency を明示的にモデル化 - exploration と information gathering を単一の探索目的関数に統合している点が特徴 - OVMM benchmark で state-of-the-art を達成し、task specific training なしで simulation と実世界の両方に適用 - 具体的な比較対象の先行研究名は要旨からは不明

- 2D map に semantic 情報と occupancy 情報を保持して navigation に利用 - task-relevant object については 3D Gaussian representation を能動的に構築 - 複数層の表現間で観測を fuse し、Dirichlet distribution を用いて object detection の multi-view consistency をモデル化 - planning を階層表現上の search problem として定式化 - 目的関数は (i) 未観測・不確実領域の exploration と (ii) candidate object の追加観測による information gathering を jointly に考慮 - frontier-based exploration と semantic consistency 改善の expected information gain を統合 - pretrained VLM を利用し、task specific training を必要としな…

- OVMM benchmark を Habitat simulator 上で評価。大規模で複雑な scene に対し target object が比較的小さく perception が難しい設定 - HELIOS が OVMM で state-of-the-art の結果を達成 - 実世界の office 環境で Spot robot による language-specified pick and place を実演 - simulation と real world の双方で、task specific training なしに pretrained VLM を用いて結果を達成

- 要旨からは不明 - 想定される論点として、部分的観測下での exploration と object 観測の trade-off、Dirichlet distribution による multi-view consistency モデルの感度、実世界 office 環境での汎化性などが考えられるが、要旨には明記されていない

- OVMM benchmark に関する論文 - Habitat simulator を用いた mobile manipulation 研究 - frontier-based exploration の関連研究 - 3D Gaussian representation を用いた scene representation 研究 - Dirichlet distribution による multi-view consistency モデリングの関連研究 - pretrained VLM をロボティクスに応用する研究