日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
VLA/ベンチマークarXiv:2605.29074

Embodied3DBench: 視覚言語モデルの低水準身体化空間知能のベンチマーク

Embodied3DBench: Benchmarking Low-Level Embodied Spatial Intelligence of Vision Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルの身体化3D環境における低水準空間知能を評価するベンチマークを提案し、13モデルの評価と大規模データセットによる改善を示した。

詳しい要約

1. どんなもの？

- 3D環境でのembodied interactionを理解・推論するVLMの能力を評価するrobot-centric benchmark - 低レベルのspatial intelligenceに焦点 - 6 task categoriesを2群に分類 - Spatial Structural Understanding: Grounding, Spatial Relation Prediction, Multi-view Correspondence - Interaction-Oriented Perception: Affordance Prediction, Grasp Point Prediction, Trajectory Prediction - 12 subcategories、21k超の高品質QAペアを含む - 13のSOTAモデルを評価

2. 先行研究と比べてどこがすごい？

- 既存benchmarkは高次のspatial reasoningに偏り、interaction-oriented perceptionを体系的に評価していない - 本benchmarkは低レベルのembodied spatial intelligenceに特化 - 13モデル評価で、object-to-object positional relationsなど高次推論は比較的強いが、interaction-oriented perceptionは脆弱と判明 - 3D-aware interaction priorsの欠如を明示 - 評価だけでなく1.3M QAペアの学習データを合成し、fine-tuningで改善を示す点が新しい

3. 技術・手法の肝は？

- robot-centricなbenchmark設計 - 6 task categoriesを2群に分け、12 subcategoriesで構成 - 21k超の高品質QAペアを収集 - 13のSOTA VLMを評価 - 能力ギャップを埋めるため、1.3M QAペアの大規模学習データを合成 - このデータでfine-tuningすると低レベルspatial intelligenceが大幅改善

4. どうやって有効だと検証した？

- 13のSOTAモデルをbenchmarkで評価 - 高次spatial reasoningは比較的強いが、interaction-oriented perceptionで脆弱と確認 - 合成した1.3M QAペアでfine-tuningし、低レベルspatial intelligenceの有意な改善を確認 - 詳細な評価指標や実験設定は要旨からは不明

5. 議論はある？

- 現行VLMは3D-aware interaction priorsが不足 - 高次推論と低次interaction perceptionの能力差が課題 - benchmarkと学習データで能力ギャップを橋渡しする方向性を提示 - 具体的な限界や失敗事例、倫理的議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない - 同分野の定番として、embodied AI向けbenchmark (e.g., ALFRED, RLBench, Habitat) や3D vision-languageモデル (e.g., 3D-LLM, PointCLIP) を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiyao Zhang, Mingxu Zhang, Yitong Peng, Haoxuan Liu, Chenshuo Wang, Yuxing Long, Haoyang Huang, Dongjiang Li, Nan Duan, Hui Shen, Hao Dong

分類: cs.CV, cs.RO

原文アブストラクト

Are current Vision Language Models (VLMs) ready to comprehend and reason about complex embodied interactions in 3D environments? We introduce Embodied3DBench, a robot-centric benchmark targeting low-level spatial intelligence in embodied 3D environments. To systematically evaluate these foundational perceptual capabilities, the benchmark includes 6 task categories divided into two core groups: Spatial Structural Understanding (Grounding, Spatial Relation Prediction, and Multi-view Correspondence) and Interaction-Oriented Perception (Affordance Prediction, Grasp Point Prediction, and Trajectory Prediction). The benchmark spans 12 subcategories and contains over 21k high-quality question-answer pairs. We evaluate 13 state-of-the-art models, and the results show that while current models exhibit relatively strong high-level spatial reasoning, such as understanding object-to-object positional relations, they remain fragile in interaction-oriented perception, highlighting a significant lack of robust 3D-aware interaction priors. To actively bridge this capability gap revealed by our benchmark, we further synthesize a large-scale training dataset comprising 1.3M QA pairs. Notably, fine-tuning on this dataset yields significant improvements in low-level spatial intelligence. Ultimately, Embodied3DBench fills a critical gap by providing both a systematic evaluation framework and a scalable data solution, setting a clear target for the development of interaction-aware multimodal systems.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →