VL-LN Bench：能動的対話による長期的目標指向ナビゲーションに向けて

- 実世界の指示は曖昧・不完全で対話による意図確認が必要という問題意識から、Instance Goal Navigation (IGN) を拡張した Interactive Instance Goal Navigation (IIGN) タスクを提案する研究。 - エージェントは特定インスタンス探索中に自然言語で oracle に自由に質問でき、Language と Navigation (LN) の両出力を生成しながら移動する。 - これを支えるベンチマーク VL-LN Bench を構築。 - 自動データ収集パイプラインと 41k 超の long-horizon dialog-augmented trajectories を含む。 - エージェントの問い合わせに答える専用 oracle 付きの自動評価プロトコルを提供。

- 既存の embodied navigation は instruction following や object searching など指示が明確・一意な理想化設定が主流で、vision と言語入力から navigation 出力を出すことに限定。 - 本研究は指示の underspecified 性と対話による曖昧性解消・意図推論を扱う点が新しい。 - IGN を対話可能に拡張し、移動しながら Language と Navigation を同時生成する設定を導入。 - 41k 超の長距離対話付き軌跡と専用 oracle 付き自動評価を備えたベンチマークを提供する点が先行研究と異なる。

- IIGN タスク設計: エージェントが探索中に自然言語で oracle へ問い合わせ、Language と Navigation の両出力を生成。 - VL-LN Bench の構築: 自動データ収集パイプラインで 41k 超の long-horizon dialog-augmented trajectories を収集。 - 評価: エージェントのクエリに答える専用 oracle と自動評価プロトコルを用意。 - 詳細なモデル構成や学習手法は要旨からは不明。

- IIGN の実験で 2 つの主要ボトルネックを特定: long-horizon exploration と、同カテゴリの distractor の中から正しいインスタンスへテキスト情報を fine-grained に grounding すること。 - active dialog はこれらの課題を部分的に緩和するが、現行モデルは人間性能に大きく劣ることを示す。 - 追加 ablation で、構築パイプラインが生成するデータの価値と、提案 oracle が人間サポートに匹敵するスケーラブルな支援を提供することを検証。

- active dialog だけでは long-horizon exploration と fine-grained grounding のボトルネックを完全には解消できず、モデルと人間の性能差が残る。 - 提案 oracle は人間支援に匹敵するスケーラブルな代替となり得ると示唆。 - データパイプラインの有効性は ablation で支持される。 - 具体的な限界や失敗事例の詳細は要旨からは不明。

- Instance Goal Navigation (IGN): 本研究が拡張したベースラインタスク。 - instruction following および object searching 系の embodied navigation 研究: 明確な指示設定の比較対象。 - long-horizon exploration に関する研究。 - fine-grained grounding / vision-and-language grounding に関する研究。 - dialog-enabled embodied navigation や対話を用いた曖昧性解消の関連研究。