日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.02917

大規模視覚言語モデルによる経路指示追従:低レベル行動空間とパノラマ行動空間の比較

Following Route Instructions using Large Vision-Language Models: A Comparison between Low-level and Panoramic Action Spaces

シェア:XThreadsFacebookLINEはてブBluesky

市販の大規模視覚言語モデルQwen2.5-VL-3BをR2Rデータセットでファインチューニングし、低レベル行動空間とパノラマ行動空間の両方で視覚言語ナビゲーションの性能を評価・比較した。

詳しい要約

1. どんなもの?

- Vision-and-Language Navigation (VLN) を対象とした研究 - 自律ロボットが自然言語指示に従い未知環境を移動するタスク - 既製の Large Vision-Language Model (LVLM) を VLN に適用可能か検証 - アーキテクチャ変更やシミュレータ訓練なしの fine-tune で検討 - 2つの action space を比較 - low-level action space: egocentric view と atomic action (turn left, move forward など) - panoramic action space: 離散的な navigable viewpoint - オープンソースの Qwen2.5-VL-3B-Instruct を Room-to-Room (R2R) dataset で fine-tune

2. 先行研究と比べてどこがすごい?

- 従来の VLN 研究は navigation 専用に設計・最適化されたモデルが主流 - 既製 LVLM の潜在能力は十分に検討されていなかった - 本研究は off-the-shelf LVLM の適用可能性を直接検証 - アーキテクチャ変更や simulator-based training を行わない点が特徴 - low-level と panoramic の両 action paradigm を同一モデルで比較 - 古い low-level 系と新しい panoramic 系の双方を扱う点が先行研究と異なる - ただし性能は navigation 専用モデルに依然劣ると報告

3. 技術・手法の肝は?

- オープンソース LVLM の Qwen2.5-VL-3B-Instruct を採用 - Room-to-Room (R2R) dataset で fine-tune - アーキテクチャの変更なし - simulator-based training なし - 2種類の action space で評価 - low-level action space: egocentric view と atomic action - panoramic action space: 離散的な navigable viewpoint - 同一モデルを両 paradigm に対応させて比較する設計

4. どうやって有効だと検証した?

- Room-to-Room (R2R) dataset の test set で評価 - 最良モデルは 41% の success rate を達成 - この結果から、off-the-shelf LVLM が VLN を学習可能であることを示す - 同時に、navigation 専用に設計されたモデルには及ばないことも確認

5. 議論はある?

- off-the-shelf LVLM は VLN を学習できるが、専用モデルには性能で劣る - 41% success rate という結果が根拠 - low-level と panoramic の両 action space を同一モデルで扱える可能性を示唆 - ただし、なぜ専用モデルに劣るのか、各 action space の詳細な比較結果は要旨からは不明 - アーキテクチャ変更や simulator-based training の欠如が性能差にどう影響するかは要旨からは不明

6. 次に読むべき論文は?

- navigation 専用に設計・最適化された VLN モデル(具体名は要旨からは不明) - panoramic action space を用いる新しい VLN 手法(具体名は要旨からは不明) - low-level action space を用いる従来の VLN 手法(具体名は要旨からは不明) - 関連データセットとして Room-to-Room (R2R) - 関連モデルとして Qwen2.5-VL-3B-Instruct

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vebjørn Haug Kåsene, Pierre Lison

分類: cs.CV, cs.AI, cs.CL, cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) refers to the task of enabling autonomous robots to navigate unfamiliar environments by following natural language instructions. While recent Large Vision-Language Models (LVLMs) have shown promise in this task, most current VLM systems rely on models specifically designed and optimized for navigation, leaving the potential of off-the-shelf LVLMs underexplored. Furthermore, while older VLN approaches used low-level action spaces with egocentric views and atomic actions (such as "turn left" or "move forward"), newer models tend to favor panoramic action spaces with discrete navigable viewpoints. This paper investigates (1) whether off-the-shelf LVLMs (fine-tuned without architectural modifications or simulator-based training) can effectively support VLN tasks and (2) whether such models can support both low-level and panoramic action paradigms. To this end, we fine-tune the open-source model Qwen2.5-VL-3B-Instruct on the Room-to-Room (R2R) dataset and evaluate its empirical performance across both low-level and panoramic action spaces. The best resulting model achieves a 41% success rate on the R2R test set, demonstrating that while off-the-shelf LVLMs can learn to perform Vision-and-Language Navigation, they still lag behind models specifically designed for this task.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI