空間理解/ベンチマーク2026/4/10arXiv:2604.08991

PinpointQA: 屋内ビデオにおける小型物体中心の空間理解のためのベンチマーク

PinpointQA: A Benchmark for Small Object-Centric Spatial Understanding in Indoor Videos

屋内ビデオから小型物体の正確な位置特定能力を評価するベンチマークを提案し、既存のMLLMの性能低下と微調整による改善を示した。

詳しい要約

1. どんなもの？

- 屋内動画における小物体の空間理解を評価するベンチマーク PinpointQA を提案。 - ScanNet++ と ScanNet200 から構築し、1,024 シーン、10,094 の QA ペアを含む。 - 4 つの段階的タスクで構成：Target Presence Verification、Nearest Reference Identification、Fine-Grained Spatial Description、Structured Spatial Prediction。 - モデルにはサンプリングされた RGB 動画フレームのみを与え、小物体の位置を正確に特定し表現できるかを評価する。

2. 先行研究と比べてどこがすごい？

- 既存の video spatial intelligence や embodied reasoning のベンチマークは、小物体の位置を十分な精度で特定・表現できるかを直接評価していなかった。 - PinpointQA は、下流の embodied interaction に先立つ spatial grounding 能力を分離して診断する点が新しい。 - 単なる診断だけでなく、有効な学習リソースとしても機能することを示す。

3. 技術・手法の肝は？

- 正解アノテーションは、位置合わせされた 3D geometry と instance-level annotations から得られる中間空間表現を基に構築。 - 評価対象モデルには、サンプリングされた RGB 動画フレームのみを入力として与える。 - 4 タスクを段階的に難易度付けし、空間理解の精度を多面的に評価する設計。

4. どうやって有効だと検証した？

- 代表的な MLLMs を評価し、タスクの進行に伴い性能が一貫して低下することを確認。 - 特に Structured Spatial Prediction が最も困難であることを示した。 - supervised fine-tuning により性能が大幅に改善することを確認。

5. 議論はある？

- 既存ベンチマークでは捉えられなかった小物体の空間 grounding の難しさを明らかにした。 - MLLMs は段階が進むほど性能が低下し、特に構造化された空間予測が課題として残る。 - supervised fine-tuning が有効である一方、詳細な議論や限界は要旨からは不明。

6. 次に読むべき論文は？

- ScanNet++ - ScanNet200 - 関連する video spatial intelligence や embodied reasoning のベンチマーク（具体名は要旨からは不明） - MLLMs の spatial grounding に関する研究（具体名は要旨からは不明）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiyu Zhou, Peilin Liu, Ruoxuan Zhang, Luyang Zhang, Cheng Zhang, Hongxia Xie, Wen-Huang Cheng

分類: cs.CV, cs.AI

原文アブストラクト

Reliable embodied interaction in indoor environments requires agents to precisely localize small everyday objects from visual observations. Yet this fundamental capability remains challenging for multimodal large language models (MLLMs), particularly when spatial understanding must be performed from indoor videos. Existing benchmarks study video spatial intelligence and embodied reasoning, but do not directly evaluate whether a model can localize a small target object and express its position with sufficient precision. We introduce PinpointQA, a benchmark built from ScanNet++ and ScanNet200. It contains 1,024 scenes and 10,094 QA pairs across four progressively challenging tasks: Target Presence Verification, Nearest Reference Identification, Fine-Grained Spatial Description, and Structured Spatial Prediction. Ground-truth annotations are constructed from intermediate spatial representations derived from aligned 3D geometry and instance-level annotations, while evaluated models receive only sampled RGB video frames. Evaluations of representative MLLMs reveal a consistent performance decline across the task progression, with structured spatial prediction remaining particularly challenging, while supervised fine-tuning substantially improves performance. By isolating the spatial grounding capabilities that precede downstream embodied interaction, PinpointQA serves as both a diagnostic benchmark and an effective training resource. The project page is available at https://rainchowz.github.io/PinpointQA/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧