日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマーク/空間知能/マルチモーダルarXiv:2606.28049

AirGroundBench: 異種マルチビュー身体化コラボレーションにおけるマルチモーダル大規模モデルの空間知能の評価

AirGroundBench: Probing Spatial Intelligence in Multimodal Large Models under Heterogeneous Multi-View Embodied Collaboration

シェア:XThreadsFacebookLINEはてブBluesky

UAVとUGVの協調におけるマルチビュー空間知能を評価するベンチマークを構築し、13のMLLMの性能を分析した。

詳しい要約

1. どんなもの?

- 異種マルチビュー身体化協調における空間知能を評価する診断ベンチマーク AirGroundBench を提案。 - UAV-UGV 協調を対象に、11 の高忠実度シミュレーション環境から 1,021 の同期 air-ground 観測ペアを構築。 - 約 62,000 の dual-view 四択 VQA インスタンスと 115 の closed-loop vision-language navigation エピソードを含む。 - 10 タスクタイプを spatial perception、cross-view alignment、spatial transformation and reasoning、embodied decision-making の 4 能力次元に整理。 - cross-view object identities や metric 2D/3D bounding boxes などの構造化空間アノテーションを提供。

2. 先行研究と比べてどこがすごい?

- 既存ベンチマークは主に single-agent、single-view 知覚に焦点を当て、協調的な air-ground 設定の系統的評価が欠けていた。 - 多スケール観測の相補性に伴う scale mismatch、asymmetric occlusion、reference-frame inconsistencies を扱う点が新しい。 - 異種 UAV-UGV 協調に特化し、dual-view 入力設定を含む評価を可能にした。 - 単一視点だけでなく、cross-view alignment や transformation-intensive reasoning、sequential decision-making まで評価範囲を拡張。

3. 技術・手法の肝は?

- 11 の高忠実度シミュレーション環境から同期した air-ground 観測ペアを収集。 - 1,021 の観測ペアを基に約 62,000 の dual-view 四択 VQA と 115 の closed-loop VLN エピソードを生成。 - タスクを 4 つの能力次元(spatial perception、cross-view alignment、spatial transformation and reasoning、embodied decision-making)に階層化。 - geometry-grounded 評価のため、cross-view object identities と metric 2D/3D bounding boxes を含む構造化空間アノテーションを付与。 - UAV-only、UGV-only、dual-view の入力設定で MLLMs を比較評価。

4. どうやって有効だと検証した?

- 13 の代表的な MLLMs を UAV-only、UGV-only、dual-view 入力設定で評価。 - モデルは spatial perception では比較的良好だが、cross-view alignment と transformation-intensive reasoning で苦戦。 - これらの欠陥が vision-language navigation の sequential decision-making に伝播することを確認。 - dual-view 入力は single-view より測定可能な改善をもたらすが、人間性能との持続的ギャップが残る。 - 幾何的一貫性が現在の embodied MLLMs の主要な限界であることを示唆。

5. 議論はある?

- dual-view 入力の利得は確認されるが、人間性能とのギャップが残り、geometric consistency が鍵となる制限として浮上。 - scale mismatch、asymmetric occlusion、reference-frame inconsistencies が協調設定の課題として指摘される。 - 評価結果から、cross-view alignment と transformation-intensive reasoning の弱点が embodied decision-making に影響すると議論。 - 具体的な議論の詳細や限界の深掘りは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 同分野の定番として、embodied MLLMs、vision-language navigation、multi-view spatial reasoning、UAV-UGV collaboration に関するベンチマークや手法を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haotian Li, Yida Wang, Leyuan Wang, Jinshan Lai, Keyang Wang, Zonghao Guo, Qiang Ma, Liuyu Xiang, Jianwei Hu, Zhaofeng He

分類: cs.CV

原文アブストラクト

In recent years, multimodal large language models (MLLMs) have shown strong potential for embodied intelligence, yet their ability to maintain geometrically consistent spatial understanding across heterogeneous views remains under-evaluated. Existing benchmarks largely focus on single-agent, single-view perception, leaving a gap in the systematic assessment of collaborative air-ground settings, where multi-scale observations are complementary but introduce scale mismatch, asymmetric occlusion, and reference-frame inconsistencies. We present AirGroundBench, a diagnostic benchmark for evaluating multi-view spatial intelligence in heterogeneous UAV-UGV collaboration. AirGroundBench is built from 11 high-fidelity simulated environments with 1,021 synchronized air-ground observation pairs, yielding approximately 62,000 dual-view, four-option single-choice visual question answering instances and 115 closed-loop vision-language navigation episodes. It covers 10 task types organized into four progressively demanding capability dimensions: spatial perception, cross-view alignment, spatial transformation and reasoning, and embodied decision-making. To support geometry-grounded evaluation and analysis, we provide structured spatial annotations, including cross-view object identities and metric 2D and 3D bounding boxes. Evaluations of 13 representative MLLMs under UAV-only, UGV-only, and dual-view input settings reveal consistent bottlenecks: models perform relatively well on spatial perception but struggle with cross-view alignment and transformation-intensive reasoning, and these deficits propagate to sequential decision-making in vision-language navigation. Although dual-view inputs provide measurable gains over single-view variants, a persistent gap from human performance remains, highlighting geometric consistency as a key limitation of current embodied MLLMs.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI