日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.12618

ActiveVLN: マルチターン強化学習による能動的探索を実現する視覚言語ナビゲーション

ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語ナビゲーションにおいて、少数の模倣学習で初期化した後、マルチターン強化学習とGRPOで能動的に探索し、効率的に性能を向上させるフレームワークを提案。

詳しい要約

1. どんなもの?

- Vision-and-Language Navigation (VLN) タスク向けのフレームワーク - 自然言語指示に従い複雑な環境をナビゲートするエージェントを対象 - MLLM ベースのエージェントを multi-turn RL で学習 - 2段階の学習パイプライン - 第1段階: 少量の expert trajectories による imitation learning (IL) でブートストラップ - 第2段階: エージェントが行動予測・実行を反復し、多様な trajectory を自動収集して GRPO 目的で最適化 - コードとデータは公開予定と記載

2. 先行研究と比べてどこがすごい?

- 既存 MLLM ベース VLN は主に imitation learning (IL) と DAgger による post-training に依存 - データ収集・学習コストが大きいという課題 - 従来の VLN RL 手法との違い - 環境との動的な相互作用を欠き、expert trajectories に基づく reward shaping に依存 - open-ended な active exploration ができない - ActiveVLN の優位点 - multi-turn RL により active exploration を明示的に可能化 - IL ベースラインに対し DAgger ベースや既存 RL ベースの post-training より最大の性能向上 - より小さいモデルで state-of-the-art に匹敵する性能

3. 技術・手法の肝は?

- 第1段階: 少量の expert trajectories で IL を行いエージェントを初期化 - 第2段階: multi-turn RL - エージェントが反復的に行動を予測・実行 - 多様な trajectory を自動収集 - 複数の rollout を GRPO 目的で最適化 - RL 効率化の工夫 - dynamic early-stopping strategy で long-tail や失敗しそうな trajectory を枝刈り - 追加の engineering optimizations

4. どうやって有効だと検証した?

- 実験により ActiveVLN の性能を評価 - IL ベースラインに対する性能向上が、DAgger ベースおよび既存 RL ベースの post-training 手法より大きいことを確認 - より小さいモデルでありながら state-of-the-art 手法と競争可能な性能に到達 - 具体的なベンチマーク名・データセット名・評価指標は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、dynamic early-stopping の詳細な影響、モデル規模と性能のトレードオフに関する議論は記載なし - 言及されている課題認識 - IL/DAgger のデータ収集・学習コスト - 従来 RL の動的相互作用欠如と expert trajectory 依存の reward shaping

6. 次に読むべき論文は?

- DAgger(本論文で比較対象の post-training 手法) - GRPO(本論文で用いる RL 目的関数) - 既存の MLLM ベース VLN 手法(imitation learning ベース) - 従来の VLN RL 手法(expert trajectories による reward shaping を用いるもの) - 同分野の定番として Vision-and-Language Navigation (VLN) のベンチマーク関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zekai Zhang, Weiye Zhu, Hewei Pan, Xiangchen Wang, Rongtao Xu, Xing Sun, Feng Zheng

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

The Vision-and-Language Navigation (VLN) task requires an agent to follow natural language instructions and navigate through complex environments. Existing MLLM-based VLN methods primarily rely on imitation learning (IL) and often use DAgger for post-training to mitigate covariate shift. While effective, these approaches incur substantial data collection and training costs. Reinforcement learning (RL) offers a promising alternative. However, prior VLN RL methods lack dynamic interaction with the environment and depend on expert trajectories for reward shaping, rather than engaging in open-ended active exploration. This restricts the agent's ability to discover diverse and plausible navigation routes. To address these limitations, we propose ActiveVLN, a VLN framework that explicitly enables active exploration through multi-turn RL. In the first stage, a small fraction of expert trajectories is used for IL to bootstrap the agent. In the second stage, the agent iteratively predicts and executes actions, automatically collects diverse trajectories, and optimizes multiple rollouts via the GRPO objective. To further improve RL efficiency, we introduce a dynamic early-stopping strategy to prune long-tail or likely failed trajectories, along with additional engineering optimizations. Experiments show that ActiveVLN achieves the largest performance gains over IL baselines compared to both DAgger-based and prior RL-based post-training methods, while reaching competitive performance with state-of-the-art approaches despite using a smaller model. Code and data will be released soon.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI