日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体化AI/ベンチマークarXiv:2606.17639

ERQA-Plus:身体化AIにおける推論の診断ベンチマーク

ERQA-Plus: A Diagnostic Benchmark for Reasoning in Embodied AI

シェア:XThreadsFacebookLINEはてブBluesky

身体化AIエージェントの推論能力を診断するためのベンチマークERQA-Plusを提案し、空間・手続き・社会的推論などのカテゴリ別にモデルの弱点を明らかにした。

詳しい要約

1. どんなもの?

- 本論文は ERQA-Plus を提案する。 - embodied AI における reasoning を診断する benchmark。 - 構成は 1,766 の question-answer instances。 - 711 枚の robot-centric images に基づく。 - 構造化 taxonomy で分類。 - perceptual, action-centric, social-interaction, navigation-environmental, contextual commonsense reasoning を含む。 - 目的は grounded embodied reasoning と shortcut 的な visual/linguistic pattern matching の区別。

2. 先行研究と比べてどこがすごい?

- 既存の visual / embodied question answering benchmarks は、テストされる reasoning dependencies の制御が限定的。 - そのため grounded embodied reasoning と shortcut 的な pattern matching の区別が難しい。 - ERQA-Plus は structured taxonomy に基づき、reasoning の種類を細かく制御・分類。 - 正答だけでなく、どの embodied reasoning が可能かを測定可能にする。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- taxonomy-guided question generation を実施。 - multi-stage generation and validation pipeline を採用。 - automatic quality judging。 - iterative revision。 - human assessment。 - これらにより visual grounding, answer validity, reasoning quality を改善。 - 詳細なモデル構造や学習手法は要旨からは不明。

4. どうやって有効だと検証した?

- 代表的 general-purpose vision-language models と embodied models を benchmark。 - LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL, RoboRefer-8B, RoboBrain2.5-8B。 - 最強モデル Qwen3-VL-32B は overall accuracy 83.4%、SBERT score 61.4 を達成。 - category-level 結果で spatial reasoning, procedural reasoning, event prediction, intention inference に弱点が残ることを確認。

5. 議論はある?

- 最強モデルでも category-level で弱点が残る。 - spatial reasoning, procedural reasoning, event prediction, intention inference。 - 正答率だけでなく、どの embodied reasoning が信頼できるかを評価する枠組みを提供。 - 限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究: LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL, RoboRefer-8B, RoboBrain2.5-8B。 - 関連手法として embodied question answering, visual question answering, vision-language models の代表的 benchmark を挙げる。 - 個別の論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hong Yang, Basura Fernando

分類: cs.RO, cs.CV

原文アブストラクト

Generalist embodied agents require more than object recognition: they must reason about spatial relations, actions, procedures, human intentions, environmental constraints, and commonsense consequences from situated visual observations. Yet existing visual and embodied question answering benchmarks often provide limited control over the reasoning dependencies being tested, making it difficult to distinguish grounded embodied reasoning from shortcut-driven visual or linguistic pattern matching. We present ERQA-Plus, a diagnostic benchmark for reasoning in embodied AI. ERQA-Plus contains 1,766 question-answer instances grounded in 711 robot-centric images and organized according to a structured taxonomy spanning perceptual, action-centric, social-interaction, navigation-environmental, and contextual commonsense reasoning. The dataset is constructed using a multi-stage generation and validation pipeline that combines taxonomy-guided question generation, automatic quality judging, iterative revision, and human assessment to improve visual grounding, answer validity, and reasoning quality. We benchmark representative general-purpose vision-language models and embodied models, including LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL, RoboRefer-8B, and RoboBrain2.5-8B. Although the strongest model, Qwen3-VL-32B, achieves 83.4% overall accuracy and 61.4 SBERT score, category-level results reveal persistent weaknesses in spatial reasoning, procedural reasoning, event prediction, and intention inference. ERQA-Plus therefore provides a fine-grained evaluation framework for measuring not only whether embodied agents answer correctly, but also which forms of embodied reasoning they can and cannot perform reliably. The dataset is available https://huggingface.co/datasets/huggingdas/erqa-plus and the project page at https://github.com/LUNAProject22/erqa-plus.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI