VLA/ベンチマーク2026/5/16arXiv:2605.17070

EPIC-Bench: 視覚言語モデルにおける細粒度な身体化視覚グラウンディングのための知覚中心ベンチマーク

EPIC-Bench: A Perception-Centric Benchmark for Fine-Grained Embodied Visual Grounding in Vision-Language Models

身体化エージェントの視覚基盤として使われる視覚言語モデル（VLM）の、実際の環境での細かい視覚認識能力を評価するベンチマークEPIC-Benchを提案。6.6kの注釈付きデータで、対象位置特定・ナビゲーション・操作の3段階にわたる23タスクを設定し、89以上のVLMを評価した。

詳しい要約

1. どんなもの？

- 大規模 vision-language models (VLMs) を embodied agents の知覚バックボーンとして評価するためのベンチマーク。 - 名称は EPIC-Bench (Embodied PerceptIon BenChmark)。 - 6.6k の (Image, Text, Mask) タプルを人手で注釈。 - 23 の fine-grained tasks を、Target Localization, Navigation, Manipulation の 3 段階に分類。 - 質問応答や多肢選択ではなく、mask による grounding を要求する知覚中心の設計。

2. 先行研究と比べてどこがすごい？

- 既存 benchmark は question-answering や multiple-choice 形式が多く、言語的 prior に依存して真の visual grounding を示さなくても高得点になり得る。 - EPIC-Bench は (Image, Text, Mask) の tuple で fine-grained grounding を直接評価する点が異なる。 - 実世界 embodied 環境を対象に、23 タスクを 3 段階の interaction pipeline に沿って体系的に評価。 - 89 以上の主要 VLM を評価し、複雑な visual-text alignment が普遍的に困難であることを示した。

3. 技術・手法の肝は？

- 6.6k の人手注釈 tuple (Image, Text, Mask) を構築。 - タスクを Target Localization, Navigation, Manipulation の 3 コア段階に整理。 - 各段階で 23 の fine-grained tasks を設定。 - モデルには text に対応する mask を出力させ、visual grounding 能力を直接測定。 - 詳細なタスク設計や評価指標は要旨からは不明。

4. どうやって有効だと検証した？

- 89 以上の leading VLMs を EPIC-Bench で大規模評価。 - advanced reasoning models は可能性を示す一方、現行 VLM は物理的 interaction に必要な複雑な visual-text alignment で普遍的に苦戦。 - 特に multi-target counting, part-whole relationship understanding, affordance region detection に critical bottlenecks があると報告。 - 具体的なスコアや統計は要旨からは不明。

5. 議論はある？

- 既存 benchmark の QA/multiple-choice 形式は linguistic priors を利用でき、真の visual grounding を測れないという問題意識。 - 現行 VLM は embodied 環境での fine-grained grounding に限界があり、特に counting, part-whole, affordance が弱点。 - EPIC-Bench は次世代 vision-driven embodied models の基盤と actionable insights を提供すると主張。 - 限界や倫理的議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として vision-language models (VLMs), embodied agents, visual grounding, affordance detection, part-whole relationship understanding の文献を挙げる。 - 同分野の定番 benchmark として Visual Genome, RefCOCO, GQA, VQA などが考えられるが、要旨での直接言及はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haozhe Shan, Xiancong Ren, Han Dong, Haoyuan Shi, Yingji Zhang, Jiayu Hu, Yi Zhang, Yong Dai, Bin Shen, Lizhen Qu, Zenglin Xu, Xiaozhu Ju

分類: cs.CV

原文アブストラクト

While large vision-language models (VLMs) are increasingly adopted as the perceptual backbone for embodied agents, existing benchmarks often rely on question-answering or multiple-choice formats. These protocols allow models to exploit linguistic priors rather than demonstrating genuine visual grounding. To address this, we present EPIC-Bench, Embodied PerceptIon BenChmark, a fine-grained grounding benchmark designed to systematically evaluate the visual perceptual capabilities of VLMs in real-world embodied environments. Comprising 6.6k meticulously annotated tuples (Image, Text, Mask), EPIC-Bench spans 23 fine-grained tasks across three core stages of the embodied interaction pipeline: Target Localization, Navigation, and Manipulation. Extensive evaluations of over 89 leading VLMs reveal that while advanced reasoning models show promise, current VLMs universally struggle with complex visual-text alignment for physical interactions. Specifically, models exhibit critical bottlenecks in multi-target counting, part-whole relationship understanding, and affordance region detection. EPIC-Bench provides a robust foundation and actionable insights for advancing the next generation of vision-driven embodied models.

arXivで原文を読む →arXiv概要ページ

EPIC-Bench: 視覚言語モデルにおける細粒度な身体化視覚グラウンディングのための知覚中心ベンチマーク

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell