日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマークarXiv:2607.12477

空間における自己:UAV具現化知能における自己認識と空間認知のベンチマーク

Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

シェア:XThreadsFacebookLINEはてブBluesky

UAVの具現化知能における自己認識と空間認知を評価するベンチマークSIS-Benchを提案し、既存のMLLMが自己認識と空間認知のバランスに欠けることを示した。

詳しい要約

1. どんなもの?

SIS-Benchは、UAVの具現化空間知能を評価するためのベンチマークである。既存の環境中心のベンチマークとは異なり、エージェント自身の自己認識(self-awareness)と空間認知(spatial cognition)を統一的に評価する「self-in-space」フレームワークを提案する。1,646本の実世界UAVビデオから、タスク条件付き構築パイプラインと専門家検証を経て、13タスク、4,856の質問応答ペアを収録する。評価は「space」と「self」の2次元と、「perception」「memory」「reasoning」の3レベル階層で構成される。

2. 先行研究と比べてどこがすごい?

既存のUAV向けベンチマークやMLLM評価は環境中心で、空間理解タスクに焦点を当て、エージェントの自己認識は暗黙的であった。SIS-Benchは、自己と空間を統一的に扱う初のベンチマークであり、動的でエージェント中心のプロセスを評価する点で革新的である。また、自己認識と空間認知の不均衡や認知レベルの段階的劣化を明示的に評価できる点が先行研究と比べて優れている。

3. 技術・手法の肝は?

手法の肝は、評価フレームワークとデータ構築パイプラインにある。評価は「space」と「self」の2次元と「perception」「memory」「reasoning」の3レベルで構成され、タスクはこれらを組み合わせて設計される。データは実世界UAVビデオからタスク条件付きで質問応答ペアを自動生成し、専門家が検証する。さらに、発見されたMLLMの限界に対処するため、オプティカルフローと視覚特徴融合による自己関連ダイナミクスを組み込んだ「motion-aware representation」を提案する。

4. どうやって有効だと検証した?

SIS-Benchを用いて、複数の最新MLLMを評価した。その結果、現在のMLLMは動的でエージェント中心のプロセスをモデル化する際に根本的な限界があることを示した。具体的には、空間認知と自己認識の間の明確な不均衡、および認知レベルが上がるにつれての性能劣化を観測した。さらに、提案するmotion-aware表現を適用した実験では、知覚と記憶の性能が空間認知と自己認識の両方で向上し、下流のUAV意思決定タスクにも汎化することを確認した。

5. 議論はある?

議論として、現在のMLLMは自己認識と空間認知のバランスが取れておらず、自己認識の重要性が示唆される。また、認知レベル(知覚→記憶→推論)が上がるにつれて性能が劣化することは、MLLMの高次認知能力の不足を示す。motion-aware表現の有効性は、自己運動情報のモデル化が具現化知能に重要であることを示すが、その効果は知覚と記憶に限定され、推論への効果は要旨からは不明である。また、ベンチマークのタスク設計やデータ構築のバイアスについての詳細な議論は要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、UAV向けの既存の環境中心ベンチマークや、MLLMの空間認知評価に関する研究が挙げられる。具体的な論文名は不明だが、同分野の定番として、具現化AIのベンチマーク(例:EmbodiedQA、ALFRED)や、MLLMの空間推論ベンチマーク(例:VQA、GQA)が関連する。また、自己認識や自己運動のモデル化に関する研究(例:Ego4D)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhishan Zou, Guoyan Sun, Zhiwei Wei, Jiancheng Pan, Yujie Li, Mugen Peng, Wenjia Xu

分類: cs.CV

原文アブストラクト

Autonomous UAV systems increasingly rely on multimodal large language models (MLLMs) to operate in complex real-world environments. Such embodied scenarios require not only understanding the surrounding space but also maintaining a coherent representation of the agent itself. However, existing UAV-oriented approaches and benchmarks remain largely environment-centric, primarily focusing on spatial understanding tasks, with the agent's self-awareness remaining implicit. To address this gap, we introduce SIS-Bench, a benchmark for evaluating embodied spatial intelligence in UAV scenarios under a unified self-in-space formulation. SIS-Bench organizes evaluation along two complementary dimensions, space and self, and a three-level hierarchy of perception, memory, and reasoning. It contains 4,856 question--answer pairs across 13 tasks derived from 1,646 real-world UAV videos through a task-conditioned construction pipeline with expert verification. Extensive evaluations reveal that current MLLMs exhibit fundamental limitations in modeling dynamic and agent-centered processes. In particular, we observe a clear imbalance between spatial cognition and self-awareness, as well as a progressive performance degradation across cognitive levels. Motivated by these findings, we further explore a motion-aware representation that incorporates self-related dynamics through optical flow and visual feature fusion. Experimental results show that modeling agent motion consistently improves perception and memory performance, not only in spatial cognition but also in self-awareness, and generalizes to downstream UAV decision-making tasks. Our results highlight the importance of self-awareness for advancing embodied spatial intelligence, and provide both a new benchmark and empirical evidence for motion-aware self-in-space modeling.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI