ESPIRE: 視覚言語モデルの身体化空間推論のための診断ベンチマーク
ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models
視覚言語モデルの空間推論能力を身体化ロボットタスクで評価する診断ベンチマークを提案し、タスクを位置特定と実行に分解して生成問題として扱うことで、受動的な空間推論を超えた分析を可能にした。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yanpeng Zhao, Wentao Ding, Hongtao Li, Baoxiong Jia, Zilong Zheng
分類: cs.CV, cs.LG, cs.RO
原文アブストラクト
A recent trend in vision-language models (VLMs) has been to enhance their spatial cognition for embodied domains. Despite progress, existing evaluations have been limited both in paradigm and in coverage, hindering rapid, iterative model development. To address these limitations, we propose ESPIRE, a diagnostic benchmark for embodied spatial reasoning. ESPIRE offers a simulated world that physically grounds VLMs and evaluates them on spatial-reasoning-centric robotic tasks, thus narrowing the gap between evaluation and real-world deployment. To adapt VLMs to robotic tasks, we decompose each task into localization and execution, and frame both as generative problems, in stark contrast to predominant discriminative evaluations (e.g., via visual-question answering) that rely on distractors and discard execution. This decomposition further enables a fine-grained analysis beyond passive spatial reasoning toward reasoning to act. We systematically design ESPIRE both at the instruction level and at the environment level, ensuring broad coverage of spatial reasoning scenarios. We use ESPIRE to diagnose a range of frontier VLMs and provide in-depth analysis of their spatial reasoning behaviors.
関連論文
- RoboSPA: VLAモデルは単純なシーンと短期的なタスクを超えられるか?VLA/ベンチマーク
- Behavior-Skill: 長期的タスクにおける視覚-言語-行動ポリシー評価のための細粒度ベンチマークVLA/ベンチマーク
- InstructMove: 指示追従操作のためのテキスト必須ベンチマークVLA/ベンチマーク
- NumerosityVLM: 視覚言語モデルにおける数量表現の解釈のための認知に着想を得たベンチマークVLA/ベンチマーク
- SO-101における視覚言語行動モデルのベンチマーク:失敗と回復の分析VLA/ベンチマーク
- RoboProcessBench: 視覚言語ロボット操作におけるプロセス認識理解のベンチマークVLA/ベンチマーク
