NavDreamer: 動画生成モデルをゼロショット3Dナビゲータとして活用

- ビデオベースの3Dナビゲーションフレームワーク「NavDreamer」を提案。 - 生成ビデオモデルを言語指示とナビゲーション軌跡の間の汎用インターフェースとして活用。 - ビデオの時空間情報と物理ダイナミクスの符号化能力、インターネット規模のデータ可用性がゼロショット汎化を可能にすると仮定。 - 生成予測の確率性を緩和するため、VLMによる軌跡スコアリングと選択を行うサンプリングベース最適化を導入。 - 逆ダイナミクスモデルで生成ビデオ計画から実行可能なウェイポイントをデコード。 - 複数のビデオモデルバックボーンで評価する包括的ベンチマークを導入。

- 従来のVision-Language-Actionモデルは、労働集約的な収集による多様性に乏しいデータと、時間的ダイナミクスや物理法則を捉えられない静的表現という限界があった。 - NavDreamerは、ビデオの時空間情報と物理ダイナミクスの符号化能力とインターネット規模の可用性を活用し、ゼロショット汎化を実現。 - 静的表現ではなくビデオベースの計画により、ナビゲーションの高レベル意思決定に適していることをアブレーションで示唆。

- 生成ビデオモデルを言語指示からナビゲーション軌跡への汎用インターフェースとして使用。 - サンプリングベース最適化：VLMを用いて生成された軌跡をスコアリングし選択。 - 逆ダイナミクスモデル：生成ビデオ計画から実行可能なウェイポイントをデコード。 - 複数のビデオモデルバックボーンで評価するベンチマークを構築。

- 物体ナビゲーション、精密ナビゲーション、空間グラウンディング、言語制御、シーン推論を含む包括的ベンチマークを導入。 - 複数のビデオモデルバックボーンで実験。 - 新規物体と未見環境への堅牢な汎化を実証。 - アブレーション研究で、ナビゲーションの高レベル意思決定性質がビデオベース計画に特に適していることを明らかにした。

- 生成予測の確率性を緩和するため、サンプリングベース最適化とVLMスコアリングを導入。 - ナビゲーションの高レベル意思決定性質がビデオベース計画に適していることをアブレーションで示唆。 - その他の議論や限界については要旨からは不明。

- 要旨で参照/比較されている研究：Vision-Language-Action models。 - 関連手法：video models, VLM, inverse dynamics model。 - 同分野の定番：object navigation, precise navigation, spatial grounding, language control, scene reasoning に関するベンチマーク。