日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.38318

ナビゲータは何を記憶すべきか?ゼロショット視覚言語ナビゲーションのための時空間記憶

What Should a Navigator Remember? Spatiotemporal Memory for Zero-Shot Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

8B規模のゼロショットVLNエージェントにおいて、指示進捗・階層圧縮した観察履歴・累積幾何情報をタスク/時間/空間記憶として統合し、記憶の種類ごとの寄与を実機含めて検証した論文。

詳しい要約

1. どんなもの?

- ゼロショット vision-and-language navigation (VLN) のためのナビゲーションシステム - 8B スケールのモデルで構成されるエージェント - 何を記憶し、どう組織化すべきかを研究する - 3種の相補的メモリを統合 - task memory: instruction progress - temporal memory: pose に紐づけた階層的に圧縮された観測履歴 - spatial memory: 蓄積された geometry - 構成要素 - 8B observer が観測を要約 - 8B reasoner がメモリを用いて waypoint intents 選択や追加視野要求 - geometric controller が目標を実行

2. 先行研究と比べてどこがすごい?

- ゼロショット VLN において、ナビゲーション特化の学習なしで過去観測を活用 - 評価した Qwen3 ベースのゼロショットベースラインの中で R2R-CE val-unseen で最高性能 - 実世界 Unitree Go2 実験で、corridor と office 環境の両方で post-trained baseline より高い成功率 - 評価した実世界設定への転移が良いことを示唆 - メモリの各要素の寄与を ablation で示す - temporal memory 除去で SR 低下、平均経路長が 16.9m から 39.1m へ急増 - spatial-map と planning 除去でも SR 低下

3. 技術・手法の肝は?

- 意味情報の観点から「証拠の保持」「reasoner からのアクセス性」「追加観測の獲得」を区別 - メモリを task・temporal・spatial の3種に分けて構造化 - instruction progress を task memory として保持 - 観測履歴を pose に anchor し階層的に圧縮して temporal memory に - geometry を蓄積し spatial memory に - 8B observer が観測を要約、8B reasoner がメモリから waypoint intents を選択または追加視野を要求 - geometric controller が選択された target を実行

4. どうやって有効だと検証した?

- R2R-CE val-unseen で Qwen3 ベースのゼロショットベースラインと比較 - ablation 実験 - temporal memory 除去: SR 低下、平均経路長 16.9m→39.1m - spatial-map と planning 除去: SR 低下 - 実世界実験: Unitree Go2 で corridor と office 環境 - post-trained baseline より高い成功率 - 補完評価として LAW2 を使用 - paired instruction interventions で行動応答を検討 - endpoint success を超えた instruction following 能力を評価

5. 議論はある?

- ゼロショットナビゲーションにおいて task progress・観測履歴・geometry を構造化メモリに保持することの有効性を支持 - 小規模な open model でも成立する可能性を示唆 - 実世界への転移可能性について言及 - ただし評価した実世界設定に限られる - LAW2 による instruction following 評価は endpoint success 以外の側面を補完 - 各メモリ要素の必要性は ablation で示されるが、詳細な限界や失敗事例は要旨からは不明

6. 次に読むべき論文は?

- R2R-CE に関する VLN 研究 - Qwen3 ベースのゼロショットベースライン - LAW2 - Unitree Go2 を用いた実世界ナビゲーション研究 - vision-and-language navigation (VLN) における memory 設計の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhang Peng, Zhikai Wang, Ziyi Wang, Jiaru Zhong, Xiaoji Zheng, Jingzhi Huang, Yi Wang, Jiangtao Gong

分類: cs.RO, cs.AI

原文アブストラクト

Zero-shot vision-and-language navigation (VLN) requires an agent to use past observations without navigation-specific training. We study what information an 8B-scale navigation system should retain and how it should be organized for subsequent decisions. Our agent combines instruction progress, hierarchically compressed observation history anchored to poses, and accumulated geometry in complementary task, temporal, and spatial memories. An 8B observer summarizes observations, and an 8B reasoner uses the memories to select waypoint intents or request additional views, a geometric controller executes the selected targets. A semantic information perspective motivates the distinction between retaining evidence, making it accessible to the reasoner, and acquiring further observations. On R2R-CE val-unseen, the complete system achieves the highest among the evaluated Qwen3-based zero-shot baselines. Removing temporal memory reduces SR and sharply increases average path length from 16.9 to 39.1m, removing the spatial-map and planning component reduces SR as well. Real-world experiments on a Unitree Go2 show that our zero-shot method achieves higher success rates than the post-trained baseline in both corridor and office environments, suggesting better transfer to the evaluated real-world settings. As a complementary evaluation, LAW2 uses paired instruction interventions to examine behavioral responses, instruction following ability beyond endpoint success. These results support preserving task progress, observation history, and geometry in structured memory for zero-shot navigation with smaller open models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI