DreamNav: 軌道ベースの想像フレームワークによるゼロショット視覚言語ナビゲーション

- 連続環境における Vision-and-Language Navigation (VLN-CE) のための zero-shot フレームワーク DreamNav の提案。 - 言語指示を実世界の知覚・制御に結びつける embodied robot の中核能力を対象とする。 - 大規模 pretrained foundation models を shared prior として用い、タスク固有学習なしで動作する zero-shot VLN を目指す。 - 三人称など追加情報に頼らず egocentric 入力のみで動作する点を特徴とする。

- 既存 zero-shot VLN は高コストな知覚と受動的な scene understanding に依存し、制御が point-level の選択に縮退していた。 - その結果、deploy コストが高く、action semantics の不整合、planning の短視眼的傾向という課題があった。 - DreamNav は trajectory-level planning と active imagination を egocentric 入力のみで統合した初の zero-shot VLN 手法と主張。 - VLN-CE と実世界テストで zero-shot SOTA を更新し、追加情報を持つ最強の egocentric baseline に対し SR で最大 7.49%、SPL で最大 18.15% 上回る。

- EgoView Corrector: 視点を整え egocentric perception を安定化し、sensory cost を削減する。 - Trajectory Predictor: point-level action ではなく global な trajectory-level planning を行い、指示の semantics との整合を図る。 - Imagination Predictor: agent に proactive thinking 能力を与え、anticipatory かつ long-horizon な planning を可能にする。 - これら3要素を組み合わせ、egocentric 入力のみで trajectory-level planning と active imagination を統合する構成。

- VLN-CE ベンチマークと実世界テストの両方で評価を実施。 - zero-shot SOTA を達成し、追加情報を用いる最強の egocentric baseline と比較して SR 最大 7.49%、SPL 最大 18.15% の改善を報告。 - 評価指標として SR と SPL を使用。 - 各コンポーネントの個別 ablation の詳細は要旨からは不明。

- 既存手法の高コスト知覚・受動的理解・point-level 制御・短視眼的 planning という課題を明示的に動機づけとしている。 - trajectory-level planning と active imagination の統合が egocentric 入力のみで可能である点を新規性として主張。 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明。

- 比較対象として言及される egocentric baseline や、追加情報を用いる zero-shot VLN 手法（具体的名称は要旨からは不明）。 - 背景となる VLN-CE ベンチマークおよび大規模 pretrained foundation models を用いた zero-shot VLN の関連研究。 - 同分野の定番として、zero-shot VLN における LLM/VLM ベースの planning 手法や trajectory-level navigation 研究を参照するとよい。