スキルベース視覚物体ナビゲーションのための対話型セマンティックマップ表現
Interactive Semantic Map Representation for Skill-based Visual Object Navigation
屋内環境での物体ナビゲーションに向けて、エージェントの対話中に形成されるセマンティックマップ表現を提案し、強化学習と地図ベース計画を組み合わせたSkillTronを実装した。
著者: Tatiana Zemskova, Aleksei Staroverov, Kirill Muravyev, Dmitry Yudin, Aleksandr Panov
分類: cs.RO, cs.CV
原文アブストラクト
Visual object navigation using learning methods is one of the key tasks in mobile robotics. This paper introduces a new representation of a scene semantic map formed during the embodied agent interaction with the indoor environment. It is based on a neural network method that adjusts the weights of the segmentation model with backpropagation of the predicted fusion loss values during inference on a regular (backward) or delayed (forward) image sequence. We have implemented this representation into a full-fledged navigation approach called SkillTron, which can select robot skills from end-to-end policies based on reinforcement learning and classic map-based planning methods. The proposed approach makes it possible to form both intermediate goals for robot exploration and the final goal for object navigation. We conducted intensive experiments with the proposed approach in the Habitat environment, which showed a significant superiority in navigation quality metrics compared to state-of-the-art approaches. The developed code and used custom datasets are publicly available at github.com/AIRI-Institute/skill-fusion.
関連論文
- 動く前に探索方針を決める:拡散モデル生成の探索参照を用いた半静的環境でのゼロショット物体ナビゲーション物体ナビゲーション
- HTCE:同相写像に着想を得た物体ナビゲーションのためのシーン横断経験の正規化と再利用物体ナビゲーション
- SOR-Nav: 探索継続か領域移動か?文脈ゲート付き探索と領域間移動による物体ナビゲーション物体ナビゲーション
- NaviScale: 物体ナビゲーション向け大規模セマンティックマップデータセットの生成物体ナビゲーション
- ユーザー中心物体ナビゲーション:個人の習慣を統合したパーソナライズド物体探索ベンチマーク物体ナビゲーション
- Hydra-Nav: 適応的二重プロセス推論による物体ナビゲーション物体ナビゲーション
