視覚と言語によるナビゲーションの限界は何か？

- Vision-and-Language Navigation (VLN) の実世界展開における性能劣化問題を扱う研究。 - 劣化要因として知覚不安定性（照明変化、motion blur）と指示の曖昧さを指摘。 - 既存のモデル規模・訓練データ拡大では限界があると主張。 - ボトルネックは robust な spatial grounding と cross-domain priors の欠如とする。 - 提案手法 StereoNav は Vision-Language-Action フレームワーク。 - 実世界ナビゲーションの一貫性向上を目的とする。

- 従来はモデル規模や訓練データの拡大で simulation と real-world のギャップを埋めようとした。 - 本手法は scaling ではなく、Target-Location Priors と stereo vision で課題解決を図る。 - より少ないパラメータと訓練データで state-of-the-art を達成。 - R2R-CE と RxR-CE で egocentric RGB 性能の最高スコアを記録。 - 実世界ロボット展開で複雑・非構造環境での信頼性を大幅改善。

- Target-Location Priors を導入し、ドメイン間で不変な安定視覚ガイダンスを提供。 - 指示が曖昧でもエージェントを効果的に grounding する。 - stereo vision を活用し、semantics と geometry の統合表現を構築。 - 深度認識を強化し、正確な action prediction を可能にする。 - motion blur や illumination shifts などの視覚外乱を緩和。

- R2R-CE と RxR-CE で実験を実施。 - egocentric RGB 性能で state-of-the-art を達成。 - SR と SPL スコアは R2R-CE で 81.1% と 68.3%、RxR-CE で 67.5% と 52.0%。 - 先行の scaling ベース手法より大幅に少ないパラメータと訓練データで達成。 - 実世界ロボット展開で複雑・非構造環境でのナビゲーション信頼性向上を確認。

- 性能劣化の主因は知覚不安定性と指示の曖昧さであると議論。 - scaling ではボトルネックを解決できないと主張。 - robust な spatial grounding と cross-domain priors の重要性を強調。 - 実世界展開の信頼性向上を確認したが、詳細な限界や失敗事例は要旨からは不明。

- R2R-CE および RxR-CE のベンチマーク研究。 - Vision-and-Language Navigation (VLN) の既存手法。 - scaling ベースの VLN アプローチ。 - stereo vision を用いた embodied navigation 研究。 - Target-Location Priors に関連する grounding 手法。