日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.16806

遅い推論器から速いプランナーへのトークン単位潜在ストリーミングによる動的視覚言語ナビゲーション

Token-Wise Latent Streaming from Slow Reasoners to Fast Planners for Dynamic Vision Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

動的な人間中心環境での視覚言語ナビゲーションにおいて、遅いVLMの推論中に中間隠れ状態をストリーミングして高速なプランナーを逐次更新するSPARK-VLNを提案し、ナビゲーション成功率と社会的コンプライアンスを向上させた。

詳しい要約

1. どんなもの?

動的な人間中心環境におけるVision-Language Navigation (VLN) の問題に取り組む、SPARK-VLNというデュアルシステムフレームワークを提案。言語推論は遅く慎重である一方、安全で社会的に適合したプランニングは即時的で反応的であるべきという根本的な緊張関係に着目し、推論中の観測の陳腐化が安全性に重大な影響を与えると指摘。VLMの推論が完了するずっと前に、中間の隠れ状態が行動関連の意図を既に符号化しているという観察に基づき、遅いVLM推論者の知識を、トークン生成全体にわたって高速なフローマッチング専門プランナーにストリーミングすることで、推論中に新鮮で進化するガイダンスを提供する。

2. 先行研究と比べてどこがすごい?

従来のVLN手法は、VLMの推論結果を待ってからプランニングを行うため、動的環境では推論遅延による観測の陳腐化が生じ、安全性が損なわれる可能性があった。SPARK-VLNは、VLMの推論が完了する前の中間表現を利用することで、この陳腐化問題を軽減し、推論効率を維持しながらナビゲーション成功率と社会的コンプライアンスを向上させる点が新しい。

3. 技術・手法の肝は?

3つのモジュールで構成される。Token-Wise Hidden Streamerは、トークン生成プロセスに沿って中間の隠れ状態を抽出する。Sequence-to-Slot Latent Bridgeは、それらを固定サイズの潜在スロットに投影する。Evolving Latent Conditionerは、それらを専門プランナーに注入する。これにより、VLMの推論中に進化するガイダンスを提供する。

4. どうやって有効だと検証した?

人間中心の動的ソーシャルVLNのためのベンチマークスイートを導入し、歩行者とロボットが推論中もアクティブであり続ける環境で、ナビゲーション成功率、社会的コンプライアンス、人間との衝突、明示的な陳腐化統計を報告。これらの設定で、SPARK-VLNはナビゲーション成功率と社会的コンプライアンスを改善し、推論効率を維持することを検証した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。また、ベンチマークの詳細や比較対象の具体的な手法についても要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、Vision-Language Navigation (VLN) の既存研究や、フローマッチングを用いたプランニング手法、VLMの中間表現を利用した手法などが考えられる。具体的には、VLNの古典的ベンチマークであるR2Rや、動的環境でのナビゲーションを扱った研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianshuai Hu, Yangyi Zhong, Zeying Gong, Lingdong Kong, Xiaodong Mei, Guoyang Zhao, Xiaolu Liu, Song Wang, Rong Li, Junwei Liang

分類: cs.RO

原文アブストラクト

Vision-Language Navigation in dynamic, human-centric environments exposes a fundamental tension: linguistic reasoning is slow and deliberative, whereas safe, socially compliant planning should be instant and reactive. The resulting observation staleness is safety-critical: a maneuver chosen during inference can already be unsafe by the time it executes. We observe that, long before a VLM finishes its inference, its intermediate hidden states already encode action-relevant intent. We propose SPARK-VLN, a dual-system framework for dynamic social VLN that streams the slow VLM reasoner's knowledge to a fast flow-matching expert planner throughout token generation, providing fresh and evolving guidance during inference. This design is realized by three modules: a Token-Wise Hidden Streamer that extracts intermediate hidden states along the token generation process, a Sequence-to-Slot Latent Bridge that projects them into fixed-size latent slots, and an Evolving Latent Conditioner that infuses them into the expert planner. We also introduce a human-centric benchmark suite for dynamic social vision-language navigation that keeps pedestrians and the robot active throughout inference and reports navigation success, social compliance, human collisions, and explicit staleness statistics. Across these settings, SPARK-VLN mproves navigation success and social compliance while sustaining inference efficiency. Webpage: https://hutslib.github.io/SPARK-VLN/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI