日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚言語ナビゲーションarXiv:2602.06356

ドリフトを未然に防ぐ:堅牢な視覚言語ナビゲーションのための遡及的修正

Nipping the Drift in the Bud: Retrospective Rectification for Robust Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語ナビゲーションにおける模倣学習の誤差蓄積問題に対し、過去の有効な状態から修正軌道を合成するオンラインフレームワークBudVLNを提案し、R2R-CEとRxR-CEで最高性能を達成した。

詳しい要約

1. どんなもの?

- Vision-Language Navigation (VLN) において、embodied agent が自然言語指示を解釈し複雑な連続3D環境をナビゲートするタスクを扱う。 - 主要な imitation learning パラダイムは exposure bias に悩まされ、推論時の小さなずれが複合誤差を引き起こす。 - DAgger スタイルのアプローチは誤り状態を修正しようとするが、Instruction-State Misalignment という重大な限界を特定。 - オフトラック状態から回復行動を学習させると、元の指示と意味的に矛盾する監督信号が生じる問題に対処。 - BudVLN を提案:on-policy ロールアウトから学習し、現在の状態分布に合致する監督を構築するオンラインフレームワーク。

2. 先行研究と比べてどこがすごい?

- 従来の imitation learning は exposure bias により推論時のずれが複合誤差を生む。 - DAgger スタイルのアプローチは誤り状態を修正するが、Instruction-State Misalignment を引き起こす。 - BudVLN はこの限界を克服し、意味的一貫性を保ちながら分布シフトを緩和。 - 標準ベンチマーク R2R-CE と RxR-CE で Success Rate と SPL の両方で state-of-the-art 性能を達成。

3. 技術・手法の肝は?

- オンラインフレームワーク BudVLN を導入。 - on-policy ロールアウトから学習し、現在の状態分布に合致する監督を構築。 - retrospective rectification を実行:counterfactual re-anchoring と decision-conditioned supervision synthesis を使用。 - geodesic oracle を用いて、有効な歴史的状態から始まる修正軌道を合成し、意味的一貫性を確保。

4. どうやって有効だと検証した?

- 標準ベンチマーク R2R-CE と RxR-CE で実験。 - BudVLN が分布シフトを一貫して緩和し、Success Rate と SPL の両方で state-of-the-art 性能を達成することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- DAgger スタイルのアプローチ(関連研究として言及) - imitation learning パラダイム(関連研究として言及) - Vision-Language Navigation (VLN) の一般的な手法(同分野の定番)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gang He, Zhenyang Liu, Kepeng Xu, Li Xu, Tong Qiao, Wenxin Yu, Chang Wu, Weiying Xie

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Vision-Language Navigation (VLN) requires embodied agents to interpret natural language instructions and navigate through complex continuous 3D environments. However, the dominant imitation learning paradigm suffers from exposure bias, where minor deviations during inference lead to compounding errors. While DAgger-style approaches attempt to mitigate this by correcting error states, we identify a critical limitation: Instruction-State Misalignment. Forcing an agent to learn recovery actions from off-track states often creates supervision signals that semantically conflict with the original instruction. In response to these challenges, we introduce BudVLN, an online framework that learns from on-policy rollouts by constructing supervision to match the current state distribution. BudVLN performs retrospective rectification via counterfactual re-anchoring and decision-conditioned supervision synthesis, using a geodesic oracle to synthesize corrective trajectories that originate from valid historical states, ensuring semantic consistency. Experiments on the standard R2R-CE and RxR-CE benchmarks demonstrate that BudVLN consistently mitigates distribution shift and achieves state-of-the-art performance in both Success Rate and SPL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI