日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34969

NavJev: 行動中心の視覚圧縮と識別的行動意味記憶による効率的な視覚言語ナビゲーション

NavJev: Efficient Vision-Language Navigation via Action-Centric Visual Compression and Discriminative Action-Semantic Memory

シェア:XThreadsFacebookLINEはてブBluesky

MLLMの逐次推論をやめ、候補行動を圧縮表現に変換して軽量な確率的行動選択を行うことで、視覚言語ナビゲーションの推論遅延を大幅に削減したフレームワーク。

詳しい要約

1. どんなもの?

- zero-shot Vision-and-Language Navigation (VLN) の効率化フレームワーク NavJev を提案。 - 各ナビゲーションステップで MLLM を反復呼び出しする従来手法の推論遅延を問題視。 - オンラインナビゲーションを「反復的なマルチモーダル生成」から「コンパクトな視覚圧縮+軽量な typed action selection」へ再定式化。 - 構成要素は Action-Centric Visual Compression (ACVC) と Discriminative Action-Semantic Memory (DASM)。 - 最終的に Jev が行動集合上で構造化確率的意思決定を行う。

2. 先行研究と比べてどこがすごい?

- 従来の zero-shot VLN は MLLM による自己回帰的マルチモーダル推論を毎ステップ実行し、推論遅延が大きい。 - NavJev はこれを軽量な typed action selection に置き換え、推論遅延とコストを大幅削減。 - R2R-CE で 27.0% SR、22.4% SPL を 1 ステップ 0.65 秒で達成。 - MLLM ベース VLN と比較して推論遅延・コストを大幅に低減。 - 応答性の高い embodied agent を目指す点が先行研究との差異。

3. 技術・手法の肝は?

- Action-Centric Visual Compression (ACVC): waypoint geometry、BLIP captions、RAM semantic tags を統合し、候補行動のコンパクト表現を生成。 - Discriminative Action-Semantic Memory (DASM): 共有意味をフィルタし、行動固有の識別的な証拠をナビゲーションステップ間で保持。 - これらの表現に基づき Jev が利用可能な行動集合上で構造化確率的決定を直接実行。 - 反復的なマルチモーダル生成を排除し、軽量な typed action selection を実現。

4. どうやって有効だと検証した?

- R2R-CE データセットで実験を実施。 - 27.0% SR、22.4% SPL を達成。 - 1 ナビゲーションステップあたり 0.65 秒で動作。 - MLLM ベース VLN 手法と比較して推論遅延とコストを大幅削減することを示した。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、一般化可能性、他のデータセットでの検証などについての議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照・比較されている MLLM ベースの zero-shot VLN 手法。 - 具体的な論文名は要旨に記載なし。 - 関連手法として BLIP、RAM が言及されている。 - 同分野の定番として R2R-CE、Vision-and-Language Navigation (VLN)、Multimodal Large Language Models (MLLMs) に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kai Sheng, Liuyi Wang, Jinlong Li, Haojie Dai, Chengju Liu, Qijun Chen

分類: cs.RO

原文アブストラクト

Recent zero-shot Vision-and-Language Navigation (VLN) methods increasingly rely on multimodal large language models (MLLMs) to reason over visual observations, navigation instructions, and candidate actions. Although effective, repeatedly invoking autoregressive multimodal reasoning at every navigation step introduces substantial inference latency, limiting the responsiveness of embodied agents. We propose NavJev, an efficient VLN framework that reformulates online navigation from repeated multimodal generation into compact visual compression followed by lightweight typed action selection. Specifically, Action-Centric Visual Compression (ACVC) integrates waypoint geometry, BLIP captions, and RAM semantic tags into compact representations of candidate actions, while Discriminative Action-Semantic Memory (DASM) filters shared semantics and maintains discriminative action-specific evidence across navigation steps. Based on these representations, Jev directly performs structured probabilistic decisions over the available action set. Experiments on R2R-CE show that NavJev achieves 27.0% SR and 22.4% SPL with only 0.65 s per navigation step, while substantially reducing inference latency and cost compared with MLLM-based VLN methods. The project page is available at https://kai-sheng-caesar.github.io/NavJev/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI