NavVerse: 屋内から屋外への連続ロボットシミュレーションにおける具現化ナビゲーションのベンチマーク

NavVerseは、屋内から屋外への連続的な移動を伴うembodied navigationを評価するための、物理シミュレーションに基づくベンチマークである。100の屋内シーン、50の都市屋外シーン、50の屋内から屋外へのシーンを含み、Object Navigation、Vision-and-Language Navigation、Place Navigationのタスクにわたる10,000のエピソードを提供する。エージェントは実行可能なロボットインターフェースを通じて評価され、タスク成功率、経路効率、安全性の指標が用いられる。

既存のベンチマークは通常、屋内と屋外のナビゲーションを別々に評価し、ロボットの実行を抽象化することが多い。NavVerseは、単一の連続エピソード内での屋内から屋外への移行に焦点を当て、出口探索、境界横断、適応、kinodynamic failuresなどの課題を扱う点で新しい。

NavVerseは、物理シミュレーション環境を構築し、多様なシーンとタスクを統合する。エージェントは、実行可能なロボットインターフェースを介して評価され、タスク成功、経路効率、安全性の指標で測定される。ベースラインとして、RL、VLA、モジュラー手法を用いたゼロショット実験が行われる。

ゼロショット実験をRL、VLA、モジュラーベースラインで実施し、エンドツーエンドのVLAが最高のゼロショット成功率を達成し、モジュラー手法が最も強い安全性プロファイルを示すことを確認した。PlaceNavタスクでは、屋外から屋内屋外混合シーンへの明確な性能低下が観察され、適応が主要なボトルネックであることを示した。

要旨からは、現在のエージェントはクロスコンテキストナビゲーションを解決するにはほど遠いことが示唆される。適応が主要なボトルネックであるとされるが、具体的な議論や限界については要旨からは不明。

要旨で参照されている関連研究として、Object Navigation、Vision-and-Language Navigation、Place Navigationの既存ベンチマークや、RL、VLA、モジュラー手法の基礎となる研究が挙げられる。具体的な論文名は要旨にないため、同分野の定番であるHabitat、Matterport3D、Room-to-Roomなどのデータセットや手法を参照することが考えられる。