VENTURA: 画像拡散モデルを統合タスク条件付きナビゲーションに適応

- 実世界のロボットナビゲーション向けの vision-language navigation システム「VENTURA」 - インターネット事前学習済みの image diffusion model を finetune し、経路計画を行う - 低レベル action を直接予測せず、image space 上に path mask（visual plan）を生成 - 軽量な behavior-cloning policy が visual plan を実行可能な trajectory に変換 - 自然言語指示に従い多様なロボット挙動を生成するインターフェースを提供

- 従来の VLM は language と perception の grounding に強い prior を持つが、action space や pretraining objective の違いからナビゲーションへの steer が困難 - VENTURA は diffusion model を path planning に finetune することでこの転移性の問題に対処 - 実世界評価で state-of-the-art の foundation model baseline を上回る - object reaching、obstacle avoidance、terrain preference で成功率 33% 向上、衝突 54% 削減（seen/unseen 両方） - 個別タスクの未見の組み合わせにも汎化し、創発的な compositional capability を示す

- internet-pretrained image diffusion model を finetune して path mask を生成 - path mask は image space 上の visual plan で、fine-grained かつ context-aware なナビゲーション挙動を表現 - 軽量 behavior-cloning policy が visual plan を executable trajectory に接地 - 学習監督には self-supervised tracking model 由来の path mask と VLM-augmented caption を使用 - 手動の pixel-level annotation や高度に設計された data collection setup を回避して学習をスケール

- 実世界での extensive な評価を実施 - object reaching、obstacle avoidance、terrain preference のタスクで評価 - state-of-the-art foundation model baseline と比較 - seen と unseen の両シナリオで成功率 33% 向上、衝突 54% 削減 - 未見のタスク組み合わせへの汎化（compositional capability）も確認

- 未見タスク組み合わせへの汎化と創発的な compositional capability が観察された点を議論 - 詳細な limitation や failure case の議論は要旨からは不明 - baseline の具体的構成や評価被験体数などは要旨からは不明

- 比較対象の state-of-the-art foundation model baseline（具体的名称は要旨からは不明） - VLM を用いた navigation 関連研究（vision-language navigation 分野の定番） - image diffusion model をロボット意思決定に転用する研究 - self-supervised tracking model を用いたデータ生成手法 - behavior cloning による visual plan の trajectory 接地に関する研究