日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ベンチマークarXiv:2603.13033

ESPIRE: 視覚言語モデルの身体化空間推論のための診断ベンチマーク

ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルの空間推論能力を身体化ロボットタスクで評価する診断ベンチマークを提案し、タスクを位置特定と実行に分解して生成問題として扱うことで、受動的な空間推論を超えた分析を可能にした。

詳しい要約

1. どんなもの?

- ESPIREは、Vision-Language Models (VLMs) のembodied spatial reasoningを評価するための診断ベンチマーク。 - シミュレーション世界で物理的に接地し、空間推論中心のロボティクスタスクで評価する。 - タスクをlocalizationとexecutionに分解し、両方を生成問題として定式化する。 - 従来の識別評価(visual-question answeringなど)とは対照的。 - 指示レベルと環境レベルで体系的に設計され、空間推論シナリオを広くカバーする。

2. 先行研究と比べてどこがすごい?

- 従来の評価はパラダイムとカバレッジが限定的で、迅速な反復的モデル開発を妨げていた。 - ESPIREはシミュレーション世界で物理的に接地し、実世界展開とのギャップを狭める。 - 識別評価(visual-question answering)ではなく、生成問題としてlocalizationとexecutionを扱う。 - これにより、受動的な空間推論を超え、行動するための推論(reasoning to act)の詳細な分析が可能。 - 指示レベルと環境レベルで体系的に設計し、広範な空間推論シナリオをカバー。

3. 技術・手法の肝は?

- 各タスクをlocalizationとexecutionに分解し、両方を生成問題として定式化。 - シミュレーション世界を提供し、VLMsを物理的に接地させる。 - 指示レベルと環境レベルで体系的に設計し、空間推論シナリオを広くカバー。 - これにより、受動的な空間推論から行動するための推論への詳細な分析が可能。 - 具体的なアルゴリズムやモデル構造は要旨からは不明。

4. どうやって有効だと検証した?

- ESPIREを用いて、様々な最先端VLMsを診断し、空間推論行動の詳細な分析を提供。 - 具体的な評価指標や実験設定は要旨からは不明。 - 有効性の検証方法の詳細は要旨からは不明。

5. 議論はある?

- 従来の評価の限界を指摘し、ESPIREの設計意図を議論。 - 生成問題としての定式化が、より実世界展開に近い評価を可能にする点を強調。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:visual-question answeringに基づく評価、識別評価。 - 関連手法:embodied spatial reasoningのためのVLMs、ロボティクスタスク。 - 同分野の定番:Embodied AI、Vision-Language Navigation、Robotics benchmarks。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanpeng Zhao, Wentao Ding, Hongtao Li, Baoxiong Jia, Zilong Zheng

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

A recent trend in vision-language models (VLMs) has been to enhance their spatial cognition for embodied domains. Despite progress, existing evaluations have been limited both in paradigm and in coverage, hindering rapid, iterative model development. To address these limitations, we propose ESPIRE, a diagnostic benchmark for embodied spatial reasoning. ESPIRE offers a simulated world that physically grounds VLMs and evaluates them on spatial-reasoning-centric robotic tasks, thus narrowing the gap between evaluation and real-world deployment. To adapt VLMs to robotic tasks, we decompose each task into localization and execution, and frame both as generative problems, in stark contrast to predominant discriminative evaluations (e.g., via visual-question answering) that rely on distractors and discard execution. This decomposition further enables a fine-grained analysis beyond passive spatial reasoning toward reasoning to act. We systematically design ESPIRE both at the instruction level and at the environment level, ensuring broad coverage of spatial reasoning scenarios. We use ESPIRE to diagnose a range of frontier VLMs and provide in-depth analysis of their spatial reasoning behaviors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI