日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.32855

FINE: 未来情報を活用したナビゲーション符号化によるデータ効率的な視覚言語ナビゲーション

FINE: Future-Informed Navigation Encoding for Data-Efficient Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

既存の実演軌道から未来の観測情報を補助監督として抽出し、視覚言語ナビゲーションのデータ効率を高める手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language Navigation (VLN) ポリシーを新環境へ適応させるには、経路と指示ごとに embodied demonstration が必要で高コスト。 - 標準的な observation-to-action 学習は、各 trajectory に含まれる情報のごく一部しか使っていない。 - 特に将来の観測は、指示に関連する landmark の見え方や 3D 配置を明らかにする。 - 本論文は FINE (Future-Informed Navigation Encoding) を提案。 - 既存 demonstration からこの潜在的な supervision を抽出する枠組み。 - VLN backbone に 2 つの補助表現を付与する。

2. 先行研究と比べてどこがすごい?

- 従来の observation-to-action 学習は trajectory 内の将来情報を活用していない。 - FINE は既存 demonstration から future observation に基づく supervision を抽出する点が新しい。 - 追加の embodied demonstration を必要とせず、データ効率を高める。 - 学習データが限られるほど効果が増大する点が特徴。 - 70% demonstration budget で success rate を 6.8 ポイント改善。 - 削減で失われた性能の約 1/3 を回復。

3. 技術・手法の肝は?

- VLN backbone に 2 つの相補的な補助表現を付与。 - 第一に explicit landmark tokens。 - 指示で指定された順序に従う landmark を扱う。 - 将来の landmark 領域を予測するよう学習。 - semantic 2D patch-feature space と viewpoint-dependent 3D geometric feature space の両方で予測。 - 第二に implicit future token。 - 実際に到達した landmark state と、video world model が生成する plausible な same-scene counterfactual futures を区別するよう学習。

4. どうやって有効だと検証した?

- R2R-CE と RxR-CE の val-unseen で評価。 - full training data で InternVLA-N1 をそれぞれ 2.6、4.5 success-rate ポイント改善。 - demonstration が限られると効果が増大。 - 70% demonstration budget で success rate を 6.8 ポイント改善。 - 削減で失われた性能の約 1/3 を回復。 - Project page: https://finevln.github.io/。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、video world model の品質依存性などは要旨では触れられていない。

6. 次に読むべき論文は?

- InternVLA-N1 (比較対象の VLN backbone)。 - R2R-CE、RxR-CE (評価データセット)。 - video world model 関連手法。 - VLN のデータ効率化に関する研究。 - 要旨で参照されている具体的な先行研究名は限られるため、同分野の定番として VLN ベンチマークや vision-language navigation の代表的手法を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Khang H. Nguyen, Hoang Pham Quang Nguyen, Ha Phuong Nguyen, Khanh Dinh Binh, Xuan Ha Nguyen, Vien Ngo, Duy Ho Nguyen Minh, Huan Nguyen, An T. Le

分類: cs.RO, cs.CV

原文アブストラクト

Adapting vision-language navigation (VLN) policies to new environments is expensive because every additional route and instruction requires an embodied demonstration. Yet standard observation-to-action training uses only a small fraction of the information already contained in each trajectory. In particular, future observations reveal the instruction-relevant landmarks that the agent will encounter, including what they look like and how they are arranged in 3D. We introduce FINE, a Future-Informed Navigation Encoding framework that extracts this latent supervision from existing demonstrations. FINE equips a VLN backbone with two complementary auxiliary representations. First, explicit landmark tokens follow the ordered landmarks specified by the instruction and are trained to predict future landmark regions in both semantic 2D patch-feature space and viewpoint-dependent 3D geometric feature space. Second, an implicit future token learns to distinguish the landmark state that is actually reached from plausible same-scene counterfactual futures generated by a video world model. On R2R-CE and RxR-CE val-unseen, FINE improves InternVLA-N1 by 2.6 and 4.5 success-rate points, respectively, at full training data. More importantly, as demonstrations become limited, the benefit grows: at a 70% demonstration budget, FINE improves success rate by 6.8 points, recovering roughly one-third of the performance lost by reducing the training demonstrations. Project page is available at https://finevln.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI