日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2604.19536

LiveVLN: 視覚言語ナビゲーションにおける停止・再開ループの解消

LiveVLN: Breaking the Stop-and-Go Loop in Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLMナビゲータに多段階動作継続を追加し、実行と新規観測の処理を重ね合わせることで、待ち時間を削減し連続的なナビゲーションを実現するトレーニング不要のフレームワークを提案した。

詳しい要約

1. どんなもの?

- Vision-Language Navigation (VLN) の実世界展開で問題となる stop-and-go な動作を改善する枠組み LiveVLN を提案。 - 学習不要 (training-free) で、pretrained VLM navigator に multi-step action continuation を付加。 - 各観測ごとに sensing・transmission・inference を待つ blocking な sense-inference-execution loop を、実行と新規観測処理の overlap により緩和。 - 現在の実行可能な action prefix が尽きる前に、更新された future actions を引き渡す。 - これにより動作中も action が継続的に利用可能となり、idle waiting を削減し online execution を滑らかにする。

2. 先行研究と比べてどこがすごい?

- 従来の navigation systems は benchmark で高い性能を示すが、実世界では stop-and-go が顕著。 - その原因は sense-inference-execution loop が blocking であり、action-generation cost の削減だけでは冗長な待ちが解消されない点にあると指摘。 - LiveVLN は action-generation cost の削減ではなく、実行と観測処理の overlap により待ちを削減する点が異なる。 - 学習不要で既存の compatible な pretrained VLM navigators に runtime で統合可能。 - R2R と RxR で benchmark performance を維持しつつ、waiting time 削減と action availability 向上を実現。

3. 技術・手法の肝は?

- pretrained VLM navigators を拡張する training-free framework。 - multi-step action continuation を導入し、各 full sense-and-inference round ごとに停止する代わりに、実行と新規観測の処理を overlap。 - 現在の executable prefix が尽きる前に、refreshed future actions を hand off する設計。 - 動作中に actions を継続的に利用可能にし、idle waiting を減らす。 - runtime で動作し、compatible な pretrained VLM navigators と統合可能。

4. どうやって有効だと検証した?

- R2R と RxR の benchmark で評価。 - benchmark performance を維持しつつ、waiting time を削減し action availability を改善。 - 実世界展開では、StreamVLN で平均 episode waiting time を最大 77.7% 削減、wall-clock episode time を 12.6% 短縮。 - NaVIDA では wall-clock episode time を 19.6% 短縮。 - これにより deployment 中のより coherent な execution を実現。

5. 議論はある?

- 要旨からは、限界や失敗事例、計算資源・メモリ・安全性・倫理面などの議論は不明。 - 主張は benchmark performance 維持と待ち時間削減、実世界での wall-clock 短縮に限定。 - どの pretrained VLM navigators が compatible か、overlap の具体的な遅延・スループット特性は要旨からは不明。

6. 次に読むべき論文は?

- StreamVLN - NaVIDA - R2R - RxR - Vision-Language Navigation (VLN) の pretrained VLM navigators に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangchen Wang, Weiye Zhu, Teng Wang, TianTian Geng, Zekai Zhang, Zhiyuan Qi, Jinyu Yang, Feng Zheng

分類: cs.RO

原文アブストラクト

Recent navigation systems achieve strong benchmark results, yet real-world deployment often remains visibly stop-and-go. This bottleneck arises because the sense-inference-execution loop is still blocking: after each new observation, the controller must wait for sensing, transmission, and inference before motion can continue. Reducing action-generation cost alone therefore does not remove redundant waiting. To address this issue, we present LiveVLN, a training-free framework for more continuous embodied navigation by augmenting pretrained VLM navigators with multi-step action continuation. Instead of pausing for each full sense-and-inference round, LiveVLN overlaps execution with the processing of newly arrived observations, allowing refreshed future actions to be handed off before the current executable prefix is exhausted. This design keeps actions continuously available during motion, reducing idle waiting and enabling smoother online execution. The framework operates at runtime and can be integrated with compatible pretrained VLM navigators. Across R2R and RxR, LiveVLN preserves benchmark performance while reducing waiting time and improving action availability. In real-world deployments, it cuts average episode waiting time by up to $77.7\%$ and shortens wall-clock episode time by $12.6\%$ on StreamVLN and $19.6\%$ on NaVIDA, yielding more coherent execution during deployment. Code is available at https://github.com/NIneeeeeem/LiveVLN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI