日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.22548

JanusVLN: 二重暗黙メモリで意味と空間を分離する視覚言語ナビゲーション

JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

人間の左右脳のように意味理解と空間認知を別々の固定サイズの暗黙的ニューラルメモリで表現し、冗長な計算を抑えつつ効率的に視覚言語ナビゲーションを行うフレームワークを提案した。

詳しい要約

1. どんなもの?

- Vision-and-Language Navigation (VLN) のための新しいフレームワーク JanusVLN を提案 - 人間のナビゲーションにおける暗黙的なシーン表現に着想 - 左脳の意味理解と右脳の空間認知のアナロジー - 空間幾何学的記憶と視覚意味記憶を、分離したコンパクトで固定サイズの neural representation としてモデル化する dual implicit neural memory を特徴とする - RGB 入力のみで動作する embodied agent 向けの枠組み

2. 先行研究と比べてどこがすごい?

- 近年の VLN は Multimodal Large Language Model (MLLM) の意味理解を活用 - 既存手法は textual cognitive map 構築や履歴視覚フレーム保存など explicit semantic memory に依存 - 空間情報損失、計算冗長性、memory bloat が問題 - JanusVLN は dual implicit neural memory によりこれらを回避 - 20 以上の最近手法を上回り SOTA を達成 - 複数データ型入力手法比で成功率 10.5-35.5 向上 - より多くの RGB 訓練データを用いる手法比で 3.6-10.8 向上

3. 技術・手法の肝は?

- MLLM を拡張し、spatial-geometric encoder からの 3D prior knowledge を組み込む - RGB 入力のみのモデルの空間推論能力を強化 - spatial-geometric encoder と visual-semantic encoder の historical key-value caches を dual implicit memory として構築 - 初期トークンと sliding window 内トークンの KV のみ保持 - 冗長計算を回避し効率的な incremental update を実現 - 記憶を固定サイズの neural representation として圧縮

4. どうやって有効だと検証した?

- 広範な実験を実施し、20 以上の最近手法と比較して SOTA 性能を達成 - 成功率の改善を定量的に報告 - 複数データ型入力手法比で 10.5-35.5 向上 - より多くの RGB 訓練データを用いる手法比で 3.6-10.8 向上 - 具体的なベンチマーク名やデータセット名は要旨からは不明

5. 議論はある?

- dual implicit neural memory を新たなパラダイムとして位置づけ、VLN 研究の有望な新方向性を示唆 - explicit semantic memory の空間情報損失・計算冗長性・memory bloat を暗黙表現で克服する主張 - 限界や失敗事例、ablation の詳細は要旨からは不明 - 固定サイズ記憶による情報圧縮の影響評価は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及される explicit semantic memory 系の VLN 手法(textual cognitive map 構築や履歴視覚フレーム保存を用いるもの) - MLLM をベースとした VLN 手法 - spatial-geometric encoder に関連する 3D prior を用いる研究 - 暗黙的シーン表現・neural memory に関する研究 - 個別の論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuang Zeng, Dekang Qi, Xinyuan Chang, Feng Xiong, Shichao Xie, Xiaolong Wu, Shiyi Liang, Mu Xu, Xing Wei, Ning Guo

分類: cs.CV, cs.RO

原文アブストラクト

Vision-and-Language Navigation requires an embodied agent to navigate through unseen environments, guided by natural language instructions and a continuous video stream. Recent advances in VLN have been driven by the powerful semantic understanding of Multimodal Large Language Models. However, these methods typically rely on explicit semantic memory, such as building textual cognitive maps or storing historical visual frames. This type of method suffers from spatial information loss, computational redundancy, and memory bloat, which impede efficient navigation. Inspired by the implicit scene representation in human navigation, analogous to the left brain's semantic understanding and the right brain's spatial cognition, we propose JanusVLN, a novel VLN framework featuring a dual implicit neural memory that models spatial-geometric and visual-semantic memory as separate, compact, and fixed-size neural representations. This framework first extends the MLLM to incorporate 3D prior knowledge from the spatial-geometric encoder, thereby enhancing the spatial reasoning capabilities of models based solely on RGB input. Then, the historical key-value caches from the spatial-geometric and visual-semantic encoders are constructed into a dual implicit memory. By retaining only the KVs of tokens in the initial and sliding window, redundant computation is avoided, enabling efficient incremental updates. Extensive experiments demonstrate that JanusVLN outperforms over 20 recent methods to achieve SOTA performance. For example, the success rate improves by 10.5-35.5 compared to methods using multiple data types as input and by 3.6-10.8 compared to methods using more RGB training data. This indicates that the proposed dual implicit neural memory, as a novel paradigm, explores promising new directions for future VLN research. Ours project page: https://miv-xjtu.github.io/JanusVLN.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI