DreamToNav: 生成ビデオ計画によるロボットの汎用ナビゲーション

- 生成ビデオモデルをロボットのナビゲーション計画に用いる自律ロボットフレームワーク DreamToNav を提案。 - ユーザは自然言語プロンプト（例: "Follow the person carefully"）を与え、システムが実行可能な動作に変換。 - パイプラインは Qwen 2.5-VL-7B-Instruct による指示の精密化、NVIDIA Cosmos 2.5 による物理的に整合するビデオ生成、視覚的 pose estimation・robot detection・trajectory recovery による運動学的経路抽出から成る。 - 車輪移動ロボットと四脚ロボットの屋内ナビゲーションで評価。

- 従来の rigid waypoint navigation ではなく、自然言語プロンプトから直接動作を生成する human-in-the-loop 制御を実現。 - タスク固有のエンジニアリングを必要とせず、障害物回避と目標指向ナビゲーションを統一フレームワークで扱う。 - ビデオ生成を planning engine として扱い、ロボットが実行前に複雑な振る舞いを視覚的に "dream" できる点が新しい。 - 異なる locomotion platform（車輪型・四脚型）で動作することを示した。

- まず Qwen 2.5-VL-7B-Instruct で曖昧なユーザ指示を精密な視覚記述に変換。 - その記述を条件として NVIDIA Cosmos 2.5（video foundation model）がロボットがタスクを行う物理的に整合するビデオ列を合成。 - 合成ビデオから visual pose estimation、robot detection、trajectory recovery を用いて有効な kinematic path を抽出。 - 抽出経路を実機で実行することで、生成ビデオを計画エンジンとして利用。

- 車輪移動ロボットと四脚ロボットの屋内ナビゲーションタスクで評価。 - 成功率 76.7%、最終目標誤差は通常 0.05–0.10 m、軌道追従誤差は 0.15 m 未満。 - 生成ビデオ予測から抽出した軌道が異なる locomotion platform の実機で信頼性高く実行できることを示した。

- 生成ビデオ予測から抽出した軌道が実機で実行可能であることを実証。 - タスク固有エンジニアリング不要で障害物回避と目標指向ナビゲーションを統合できる可能性を示唆。 - 限界や失敗事例、計算コスト、リアルタイム性、安全性に関する議論は要旨からは不明。

- Qwen 2.5-VL-7B-Instruct - NVIDIA Cosmos 2.5 - 関連手法として video foundation model を用いた planning、visual pose estimation、trajectory recovery、human-in-the-loop navigation の研究。 - 具体的な参照論文は要旨からは不明。