日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.14772

ScoutVLA:オープンワールド具現化質問応答のためのデュアルエキスパートVLAモデルによるUAV中心の能動知覚

ScoutVLA: UAV-Centric Active Perception via a Dual-Expert VLA Model for Open-World Embodied Question Answering

シェア:XThreadsFacebookLINEはてブBluesky

UAVが環境を能動的に知覚して質問に答える空中具現化質問応答(EQA)において、証拠探索に必要な微細な視点調整を可能にするベンチマークFG-EQAと、ミツバチのダンスに着想を得たデュアルエキスパート型VLAモデルScoutVLAを提案した。

詳しい要約

1. どんなもの?

- 屋外での Aerial Embodied Question Answering (EQA) を対象とした研究。 - UAV が自然言語の質問に答えるため、能動的に環境を知覚する必要がある。 - 既存の屋外 EQA は対象が視野に入ると停止し、証拠探索のための細かな視点調整が未解決。 - これを解決するため FG-EQA ベンチマークと ScoutVLA モデルを提案。 - FG-EQA は 40K 以上のシミュレーション軌跡と 1K の実世界軌跡を含む。 - ScoutVLA は証拠駆動型の Vision-Language-Action モデル。

2. 先行研究と比べてどこがすごい?

- 既存の屋外 EQA システムは対象が視野に入ると停止し、証拠探索型の質問に対応できない。 - 提案手法はミツバチの「waggle dance」に着想を得て、飛行経路を反復調整し対象情報を検証する。 - これにより細粒度の能動知覚を実現。 - 最先端ベースラインと比較して、平均 strict success rate が 10.48 倍、平均 QA correctness が 7.72 倍高い。 - シミュレーションと実世界の両方で優位性を確認。

3. 技術・手法の肝は?

- 証拠駆動型の Vision-Language-Action モデル ScoutVLA を提案。 - 分離型デュアルエキスパートアーキテクチャを採用。 - 視覚言語エキスパートが意味的意図を推論し、不足証拠を特定。 - 独立した行動エキスパートが高自由度 flow matching を用いて連続的な視点調整軌跡を生成。 - 連続制御と意味推論の競合を緩和するため、知識絶縁機構を備えた分離訓練戦略を考案。 - 行動勾配がマルチモーダル推論能力を消去するのを防止。

4. どうやって有効だと検証した?

- 大規模なシミュレーション実験を実施。 - 実世界での定性的フィールド研究も実施。 - 両方で ScoutVLA が最先端ベースラインを上回ることを確認。 - 平均 strict success rate が 10.48 倍、平均 QA correctness が 7.72 倍高い。 - 有効性を実証。

5. 議論はある?

- 要旨からは不明。 - 限界や議論については明示されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Aerial Embodied Question Answering (EQA)、Vision-Language-Action モデル、flow matching が挙げられる。 - 同分野の定番として Embodied Question Answering (EQA) や Vision-Language Navigation が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhao Lu, Zhengqiu Zhu, Xiaofeng Wang, Xiaoran Zhang, Yatai Ji, Yong Zhao, Yue Hu, Yingzhen Nie, Jinlong Zhu, Zheng Zhu

分類: cs.CV, cs.AI

原文アブストラクト

Aerial Embodied Question Answering (EQA) requires Unmanned Aerial Vehicles (UAVs) to actively perceive the environment and answer natural language questions. Existing outdoor EQA systems usually stop once the target enters the UAV's field of view, leaving the fine-grained viewpoint adjustment needed for evidence-seeking questions largely unresolved. To address this issue, we introduce FG-EQA, a fine-grained active perception EQA benchmark with more than 40K simulated trajectories and 1K real-world trajectories. Drawing inspiration from the ``waggle dance'' of scout bees, which iteratively adjust their flight paths to verify target information, we propose ScoutVLA, an evidence-driven Vision-Language-Action model for outdoor EQA. To emulate this active exploration behavior, ScoutVLA features a decoupled dual-expert architecture: a vision-language expert infers the semantic intent to identify missing evidence, while an independent action expert employs high-DoF flow matching to generate continuous viewpoint-refinement trajectories. To balance the competing demands of continuous control and semantic reasoning, we devise a decoupled training strategy with a knowledge insulation mechanism that prevents the action gradients from erasing the model's multimodal reasoning ability. Extensive simulated experiments and a qualitative real-world field study both verify the superiority of ScoutVLA over the state-of-the-art baselines, demonstrating a 10.48$\boldsymbol{\times}$ higher average strict success rate and a 7.72$\boldsymbol{\times}$ higher average QA correctness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI