日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.14807

HiMemVLN:階層的記憶システムによるオープンソースゼロショット視覚言語ナビゲーションの信頼性向上

HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System

シェア:XThreadsFacebookLINEはてブBluesky

オープンソースLLMを用いた視覚言語ナビゲーションにおける「ナビゲーション健忘」問題を分析し、階層的記憶システムを導入することで性能を約2倍に改善した研究。

詳しい要約

1. どんなもの?

- オープンソースLLMを用いたゼロショットVision-and-Language Navigation (VLN) の信頼性を高める手法HiMemVLNを提案。 - ナビゲーション過程の分析からNavigation Amnesiaという問題を特定し、階層的記憶システム(Hierarchical Memory System)をマルチモーダル大規模モデルに組み込む。 - 視覚的知覚の想起と長期位置推定を強化し、健忘問題を緩和してナビゲーション性能を向上させる。

2. 先行研究と比べてどこがすごい?

- 従来のゼロショットVLNは主にクローズドソースLLMに依存し、高いトークンコストやデータ漏洩リスクがあった。 - オープンソースLLMと時空間CoTフレームワークの組み合わせはクローズドソースに大きく劣っていた。 - HiMemVLNはオープンソースの最先端手法と比較して約2倍の性能を達成し、このギャップを大幅に縮める。

3. 技術・手法の肝は?

- マルチモーダル大規模モデルにHierarchical Memory Systemを統合。 - 階層的記憶により視覚的知覚の想起と長期位置推定を強化。 - Navigation Amnesia問題を緩和し、エージェントのナビゲーション性能を改善。

4. どうやって有効だと検証した?

- シミュレーション環境と実世界環境の両方で広範な実験を実施。 - オープンソースの最先端手法と比較して約2倍の性能を達成することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: クローズドソースLLMを用いたゼロショットVLN手法、オープンソースLLMと時空間CoTフレームワークを組み合わせた手法。 - 関連手法: 階層的記憶システム、マルチモーダル大規模モデル。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

分類: cs.CV, cs.RO

原文アブストラクト

LLM-based agents have demonstrated impressive zero-shot performance in vision-language navigation (VLN) tasks. However, most zero-shot methods primarily rely on closed-source LLMs as navigators, which face challenges related to high token costs and potential data leakage risks. Recent efforts have attempted to address this by using open-source LLMs combined with a spatiotemporal CoT framework, but they still fall far short compared to closed-source models. In this work, we identify a critical issue, Navigation Amnesia, through a detailed analysis of the navigation process. This issue leads to navigation failures and amplifies the gap between open-source and closed-source methods. To address this, we propose HiMemVLN, which incorporates a Hierarchical Memory System into a multimodal large model to enhance visual perception recall and long-term localization, mitigating the amnesia issue and improving the agent's navigation performance. Extensive experiments in both simulated and real-world environments demonstrate that HiMemVLN achieves nearly twice the performance of the open-source state-of-the-art method. The code is available at https://github.com/lvkailin0118/HiMemVLN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI