日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.13133

DecoVLN: 観察・推論・修正を分離した視覚言語ナビゲーション

DecoVLN: Decoupling Observation, Reasoning, and Correction for Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

長期的な指示に従う視覚言語ナビゲーションの性能を高めるため、記憶構築の最適化と誤差補正のための微調整戦略を導入したフレームワークを提案した。

詳しい要約

1. どんなもの?

- Vision-and-Language Navigation (VLN) において、長期的な指示に従い複雑な3D環境をナビゲートするエージェントを実現するフレームワーク DecoVLN を提案。 - 長期的なメモリバンクの構築と複合誤差問題の克服を目的とする。 - ストリーミング知覚と閉ループ制御を可能にする。

2. 先行研究と比べてどこがすごい?

- 既存手法の課題:効果的な長期メモリバンクの構築と複合誤差問題。 - DecoVLN は長期メモリ構築を最適化問題として定式化し、適応的洗練機構を導入。 - 複合誤差に対しては、状態-行動ペアレベルの修正ファインチューニング戦略を導入。 - これにより、効率と安定性を向上。

3. 技術・手法の肝は?

- 長期メモリ構築:履歴候補プールからフレームを選択する適応的洗練機構。 - 統合スコア関数を反復最適化し、意味的関連性、視覚的多様性、時間的カバレッジをバランス。 - 複合誤差軽減:状態-行動ペアレベルの修正ファインチューニング。 - 状態間の測地距離を用いて専門家軌道からの逸脱を定量化。 - 信頼領域内の高品質ペアを収集し、低関連の汚染データをフィルタリング。

4. どうやって有効だと検証した?

- 広範な実験により DecoVLN の有効性を実証。 - 実世界環境に展開済み。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Vision-and-Language Navigation (VLN) の関連手法(例:REVERIE, RxR)や、長期メモリ・誤差修正に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihao Xin, Wentong Li, Yixuan Jiang, Bin Wang, Runmin Cong, Jie Qin, Shengjun Huang

分類: cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) requires agents to follow long-horizon instructions and navigate complex 3D environments. However, existing approaches face two major challenges: constructing an effective long-term memory bank and overcoming the compounding errors problem. To address these issues, we propose DecoVLN, an effective framework designed for robust streaming perception and closed-loop control in long-horizon navigation. First, we formulate long-term memory construction as an optimization problem and introduce adaptive refinement mechanism that selects frames from a historical candidate pool by iteratively optimizing a unified scoring function. This function jointly balances three key criteria: semantic relevance to the instruction, visual diversity from the selected memory, and temporal coverage of the historical trajectory. Second, to alleviate compounding errors, we introduce a state-action pair-level corrective finetuning strategy. By leveraging geodesic distance between states to precisely quantify deviation from the expert trajectory, the agent collects high-quality state-action pairs in the trusted region while filtering out the polluted data with low relevance. This improves both the efficiency and stability of error correction. Extensive experiments demonstrate the effectiveness of DecoVLN, and we have deployed it in real-world environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI