スパース動画生成による実世界の視界外ビジョン言語ナビゲーション

- 本論文は、Vision-Language Navigation (VLN) の新たな課題である Beyond-the-View Navigation (BVN) に取り組む。 - BVN では、エージェントは詳細な指示なしに、単純で高レベルな意図のみに基づき、未知環境で遠くの見えない目標を自律的に見つける必要がある。 - 既存の LLM ベース手法は短いホライズンの監督に依存し、近視眼的な行動に陥りやすい。 - 本研究では、ビデオ生成モデルを初めてこの分野に導入し、SparseVideoNav を提案する。 - SparseVideoNav は、20秒先までの疎な未来を生成し、サブ秒の軌道推論を実現する。

- 既存の LLM ベース手法は密な指示に従うのは得意だが、短いホライズンの監督に依存するため近視眼的行動をとる。 - 監督ホライズンを単純に延ばすと LLM の訓練が不安定になる。 - ビデオ生成モデルは長いホライズンの監督から本質的に恩恵を受け、言語指示と整合するため、BVN に適していることを見出した。 - SparseVideoNav は、未最適化の counterpart と比較して 27 倍の速度向上を達成。 - 実世界ゼロショット実験で、BVN タスクにおいて最先端 LLM ベースラインの 2.5 倍の成功率を達成し、困難な夜間シーンでの能力を初めて実現した。

- ビデオ生成モデルを BVN に導入し、長いホライズンの監督を活用する。 - 20秒のホライズンにわたる疎な未来を生成し、それに基づいてサブ秒の軌道推論を行う。 - これにより、数十秒のビデオ生成の prohibitive なレイテンシを回避し、実世界展開を可能にする。 - 具体的なモデルアーキテクチャや訓練手順の詳細は要旨からは不明。

- 広範な実世界ゼロショット実験を実施。 - BVN タスクにおいて、SparseVideoNav が最先端 LLM ベースラインの 2.5 倍の成功率を達成することを示した。 - 困難な夜間シーンでの能力を初めて実現したことを報告。 - 未最適化の counterpart と比較して 27 倍の速度向上を確認。

- ビデオ生成モデルが長いホライズンの監督から恩恵を受ける理由や、BVN への適合性についての議論がある。 - ビデオ生成のレイテンシが実世界展開の障害となる点を指摘し、疎な未来生成で対処。 - 夜間シーンでの成功は新規性があるが、他の困難な環境や一般化可能性についての議論は要旨からは不明。 - 倫理的・社会的影響については要旨からは不明。

- 要旨で参照/比較されている研究：LLM ベースの VLN 手法、ビデオ生成モデル。 - 関連手法：Vision-Language Navigation (VLN)、Beyond-the-View Navigation (BVN)、Large Language Model (LLM) ベースのナビゲーション。 - 同分野の定番：Vision-and-Language Navigation (VLN) のベンチマークや手法（例：R2R, REVERIE など）が関連するが、要旨では具体的に言及されていない。