日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.18492

DV-VLN: LLMベース視覚言語ナビゲーションのための信頼性の高い二重検証

DV-VLN: Dual Verification for Reliable LLM-Based Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

LLMによる視覚言語ナビゲーションで、生成した行動候補を真偽検証とマスク実体検証の二重チャネルで検証し、信頼性を高めるフレームワークを提案。

詳しい要約

1. どんなもの?

- LLMベースのVision-and-Language Navigation (VLN) フレームワーク DV-VLN を提案。 - 複雑な3D環境で自然言語指示に従いナビゲーションするembodied agentを対象。 - generate-then-verify パラダイムを採用。 - オープンソースLLaMA-2をパラメータ効率的にin-domain適応し、構造化されたnavigational chain-of-thoughtを生成。 - 候補行動をTrue-False Verification (TFV)とMasked-Entity Verification (MEV)の2チャネルで検証。 - 複数サンプルの検証成功を集約して行動選択し、解釈可能なスコアでreranking。

2. 先行研究と比べてどこがすごい?

- 従来のLLMベースagentはsingle-shot action decisionsに依存し、ノイズの多いtextualized multi-perspective observationsから1つを選ぶ必要があった。 - 局所的なmismatchや不完全なintermediate reasoningにより、正しい経路から逸脱しやすく、unseen環境でerror accumulationと信頼性低下を招いていた。 - DV-VLNはgenerate-then-verifyにより、直接予測やsampling-onlyベースラインを一貫して改善。 - language-only VLN agentの中で競争力のある性能を示し、いくつかのcross-modalシステムと比較しても有望な結果。

3. 技術・手法の肝は?

- オープンソースLLaMA-2 backboneをparameter-efficientにin-domain適応。 - 構造化されたnavigational chain-of-thoughtを生成。 - 候補行動を2つの相補的チャネルで検証:True-False Verification (TFV)とMasked-Entity Verification (MEV)。 - 複数サンプルにわたる検証成功を集約して行動を選択。 - 解釈可能なスコアをrerankingに利用。

4. どうやって有効だと検証した?

- R2R、RxR (English subset)、REVERIEでの実験。 - 直接予測およびsampling-onlyベースラインと比較し、一貫した改善を確認。 - language-only VLN agent間で競争力のある性能を達成。 - いくつかのcross-modalシステムと比較して有望な結果を示す。 - コードは https://github.com/PlumJun/DV-VLN で公開。

5. 議論はある?

- 要旨からは不明。 - ただし、single-shot action decisionsの問題点としてlocal mismatchesとimperfect intermediate reasoningによるerror accumulationが挙げられている。 - 提案手法の限界や失敗ケース、計算コスト、検証チャネルの詳細な議論は要旨には記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:LLaMA-2、R2R、RxR (English subset)、REVERIE。 - 関連手法:Vision-and-Language Navigation (VLN)、large language models (LLMs)、chain-of-thought、True-False Verification (TFV)、Masked-Entity Verification (MEV)。 - 同分野の定番:cross-modal systems、language-only VLN agents。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijun Li, Shijie Li, Zhenxi Zhang, Bin Li, Shoujun Zhou

分類: cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) requires an embodied agent to navigate in a complex 3D environment according to natural language instructions. Recent progress in large language models (LLMs) has enabled language-driven navigation with improved interpretability. However, most LLM-based agents still rely on single-shot action decisions, where the model must choose one option from noisy, textualized multi-perspective observations. Due to local mismatches and imperfect intermediate reasoning, such decisions can easily deviate from the correct path, leading to error accumulation and reduced reliability in unseen environments. In this paper, we propose DV-VLN, a new VLN framework that follows a generate-then-verify paradigm. DV-VLN first performs parameter-efficient in-domain adaptation of an open-source LLaMA-2 backbone to produce a structured navigational chain-of-thought, and then verifies candidate actions with two complementary channels: True-False Verification (TFV) and Masked-Entity Verification (MEV). DV-VLN selects actions by aggregating verification successes across multiple samples, yielding interpretable scores for reranking. Experiments on R2R, RxR (English subset), and REVERIE show that DV-VLN consistently improves over direct prediction and sampling-only baselines, achieving competitive performance among language-only VLN agents and promising results compared with several cross-modal systems.Code is available at https://github.com/PlumJun/DV-VLN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI