日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.05530

ProFocus: 視覚と言語によるナビゲーションにおける能動的知覚と焦点化推論

ProFocus: Proactive Perception and Focused Reasoning in Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

VLNエージェントの非効率な視覚処理と無差別な履歴利用を改善するため、LLMとVLMの協調による訓練不要のフレームワークProFocusを提案。能動的知覚で必要な視覚情報を特定し、BD-MCTSで高価値な経路点に焦点を当てた推論を行う。

詳しい要約

1. どんなもの?

- VLN(Vision-and-Language Navigation)において、複雑な視覚環境を正確に知覚し、ナビゲーション指示と履歴を推論する必要がある。 - 既存手法は冗長な視覚入力を受動的に処理し、全ての履歴コンテキストを無差別に扱うため、知覚が非効率で推論が焦点化されない。 - 本研究では、LLMとVLMの協調による訓練不要の漸進的フレームワークProFocusを提案。 - Proactive PerceptionとFocused Reasoningを統合。 - ゼロショット手法としてR2RとREVERIEベンチマークで最先端性能を達成。

2. 先行研究と比べてどこがすごい?

- 既存手法は受動的に冗長な視覚入力を処理し、全ての履歴コンテキストを等しく扱うため、知覚と推論が非効率。 - ProFocusは訓練不要で、LLMとVLMを協調させ、能動的知覚と焦点化推論を統合。 - ゼロショット手法の中でR2RとREVERIEベンチマークで最先端性能を達成。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- 訓練不要の漸進的フレームワーク。 - Proactive Perception: パノラマ観測を構造化されたego-centric semantic mapsに変換。 - オーケストレーションエージェントが信頼できる意思決定に必要な欠落視覚情報を特定。 - 対応するfocus regionsを伴うターゲット視覚クエリを生成し、知覚エージェントが要求観測を取得するよう誘導。 - Focused Reasoning: Branch-Diverse Monte Carlo Tree Search (BD-MCTS)を提案。 - 広範な履歴候補からtop-kの高価値waypointsを特定。 - 決定エージェントはこれらのwaypointsに関連する履歴コンテキストに推論を焦点化。 - LLMとVLMの協調。

4. どうやって有効だと検証した?

- 広範な実験によりProFocusの有効性を検証。 - R2RとREVERIEベンチマークにおいて、ゼロショット手法の中で最先端性能を達成。 - 具体的な実験設定や指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、VLNのゼロショット手法、LLMとVLMの協調、Monte Carlo Tree Search (MCTS)を応用したナビゲーション、R2RおよびREVERIEベンチマークを用いた研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Xue, Mingcheng Li, Xuecheng Wu, Jingqun Tang, Dingkang Yang, Lihua Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Vision-and-Language Navigation (VLN) requires agents to accurately perceive complex visual environments and reason over navigation instructions and histories. However, existing methods passively process redundant visual inputs and treat all historical contexts indiscriminately, resulting in inefficient perception and unfocused reasoning. To address these challenges, we propose \textbf{ProFocus}, a training-free progressive framework that unifies \underline{Pro}active Perception and \underline{Focus}ed Reasoning through collaboration between large language models (LLMs) and vision-language models (VLMs). For proactive perception, ProFocus transforms panoramic observations into structured ego-centric semantic maps, enabling the orchestration agent to identify missing visual information needed for reliable decision-making, and to generate targeted visual queries with corresponding focus regions that guide the perception agent to acquire the required observations. For focused reasoning, we propose Branch-Diverse Monte Carlo Tree Search (BD-MCTS) to identify top-$k$ high-value waypoints from extensive historical candidates. The decision agent focuses reasoning on the historical contexts associated with these waypoints, rather than considering all historical waypoints equally. Extensive experiments validate the effectiveness of ProFocus, achieving state-of-the-art performance among zero-shot methods on R2R and REVERIE benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI