日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.13152

SE-VLN: マルチモーダル大規模言語モデルに基づく自己進化型視覚言語ナビゲーションフレームワーク

SE-VLN: A Self-Evolving Vision-Language Navigation Framework Based on Multimodal Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダルLLMを活用し、テスト中に経験から継続的に進化できる視覚言語ナビゲーションのフレームワークを提案。未見環境での成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- 視覚言語ナビゲーション(VLN)のための自己進化型フレームワーク SE-VLN を提案する研究。 - multimodal LLM を活用し、テスト中に継続的に進化できる VLN エージェントを目指す。 - 3つのコアモジュール(階層的メモリ、検索拡張型思考推論、リフレクション)で構成。 - 未見環境でのナビゲーション成功率 57%(R2R)と 35.2%(REVERSE)を達成。

2. 先行研究と比べてどこがすごい?

- 従来の LLM ベース VLN は固定された知識ベースと推論能力に制約され、経験的知識を十分に取り込めず進化能力が乏しかった。 - SE-VLN はテスト中に継続的に進化する能力を VLN エージェントに付与する点が新しい。 - 著者らの知る限り、multimodal LLM を用いた自己進化型 VLN フレームワークは初。 - R2R で 23.9%、REVERSE で 15.0% の絶対性能改善を現行 SOTA 比で示す。

3. 技術・手法の肝は?

- 階層的メモリモジュール:成功・失敗事例を再利用可能な知識に変換。 - 検索拡張型思考ベース推論モジュール:経験を検索し、多段階意思決定を可能にする。 - リフレクションモジュール:継続的進化を実現。 - 自然エージェントの進化能力に着想を得た設計。

4. どうやって有効だと検証した?

- 未見環境でのナビゲーション成功率を R2R と REVERSE データセットで評価。 - SE-VLN は R2R で 57%、REVERSE で 35.2% の成功率を達成。 - 現行 SOTA 手法に対し R2R で 23.9%、REVERSE で 15.0% の絶対改善。 - 経験リポジトリの増加に伴い性能が向上することを確認。

5. 議論はある?

- 経験リポジトリの増加に伴う性能向上から、自己進化型エージェントフレームワークとしての大きな可能性を示唆。 - ただし要旨からは、失敗事例の扱いやメモリのスケーラビリティ、計算コストなどの詳細な議論は不明。 - 限界や今後の課題についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- R2R および REVERSE データセットを用いた VLN の先行研究(要旨で比較対象として言及)。 - LLM ベースの VLN 手法(一般的な関連研究)。 - retrieval-augmented reasoning や reflection を用いたエージェント研究(一般的な関連手法)。 - multimodal LLM を活用したロボティクス/ナビゲーション研究(同分野の定番)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangyu Dong, Haoran Zhao, Jiang Gao, Haozhou Li, Xiaoguang Ma, Yaoming Zhou, Fuhai Chen, Juan Liu

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Recent advances in vision-language navigation (VLN) were mainly attributed to emerging large language models (LLMs). These methods exhibited excellent generalization capabilities in instruction understanding and task reasoning. However, they were constrained by the fixed knowledge bases and reasoning abilities of LLMs, preventing fully incorporating experiential knowledge and thus resulting in a lack of efficient evolutionary capacity. To address this, we drew inspiration from the evolution capabilities of natural agents, and proposed a self-evolving VLN framework (SE-VLN) to endow VLN agents with the ability to continuously evolve during testing. To the best of our knowledge, it was the first time that an multimodal LLM-powered self-evolving VLN framework was proposed. Specifically, SE-VLN comprised three core modules, i.e., a hierarchical memory module to transfer successful and failure cases into reusable knowledge, a retrieval-augmented thought-based reasoning module to retrieve experience and enable multi-step decision-making, and a reflection module to realize continual evolution. Comprehensive tests illustrated that the SE-VLN achieved navigation success rates of 57% and 35.2% in unseen environments, representing absolute performance improvements of 23.9% and 15.0% over current state-of-the-art methods on R2R and REVERSE datasets, respectively. Moreover, the SE-VLN showed performance improvement with increasing experience repository, elucidating its great potential as a self-evolving agent framework for VLN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI