日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VQA/ベンチマークarXiv:2605.24456

EgoProx: 認知階層にわたる自己中心3D近接推論におけるMLLMの評価

EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点での3D近接推論を評価するベンチマークEgoProxを提案し、多様なQAペアを生成するデータエンジンを設計。既存のMLLMの性能を分析し、空間知識はあるものの推論には課題があることを示した。

詳しい要約

1. どんなもの?

- EgoProxは、MLLMsが自己中心的な3D近接推論を評価するためのベンチマーク。 - 認知階層に沿って意図、探索、活用、行動連鎖推論のタスクを構成。 - エージェントベースのデータエンジンで多様で一貫したQAペアを大規模生成。 - 現行MLLMsを評価し、データセット固有・タスク固有のinstruction tuningも実施。

2. 先行研究と比べてどこがすごい?

- 従来のMLLMs評価は主に2D画像や静的なVQAに焦点。 - EgoProxは自己中心的な3D近接推論に特化し、認知階層に沿ったタスク設計が新しい。 - エージェントベースのデータエンジンにより、多様で一貫したQAペアを大規模に生成可能。 - クロスドメインでの性能向上を確認し、MLLMsが空間知識をある程度持つことを示唆。

3. 技術・手法の肝は?

- 認知階層に基づくタスク設計:意図、探索、活用、行動連鎖推論。 - エージェントベースのデータエンジンでQAペアを自動生成。 - データセット固有およびタスク固有のinstruction tuningを実施。 - 評価はMLLMsの3D近接推論能力を多角的に測定。

4. どうやって有効だと検証した?

- 現行MLLMsをEgoProxでベンチマーク。 - データセット固有・タスク固有のinstruction tuningを行い、クロスドメインでの性能向上を観測。 - しかし、空間推論VQAには依然として課題があることを示した。

5. 議論はある?

- MLLMsは空間知識をある程度含むが、空間推論VQAに効果的に活用できていない。 - クロスドメインの性能向上は、知識の転移可能性を示唆。 - 今後の課題として、空間推論能力の向上が挙げられる。

6. 次に読むべき論文は?

- 要旨からは不明(参照/比較されている研究が明記されていないため)。 - 同分野の定番として、Embodied QA、Spatial VQA、3D vision-language modelsなどが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinzhao Li, Yinuo Chen, Dongxu Piao, Panwang Pan, Yifan Yu, Dong Wang, Honglei Yan, Liang Yue, Shaofei Wang, Yixin Chen, Siyuan Huang, Miao Liu

分類: cs.CV

原文アブストラクト

Humans constantly reason about 3D proximity, the relations between their body and surrounding objects, to guide perception and action in daily life. Whether multimodal large language models (MLLMs) can perform such embodied 3D reasoning remains unclear. To this end, we introduce EgoProx, a benchmark for egocentric 3D proximity reasoning. We organize our tasks along a cognitive chain, covering intention, exploration, exploitation, and chain-of-actions reasoning. We also design an agent based data engine that produces diverse and consistent QA pairs at scale. We benchmark prevailing MLLMs on EgoProx and conduct additional analyses with dataset specific and task specific instruction tuning. We observe large cross-domain gains, indicating that current MLLMs contain some spatial knowledge; however, they still struggle to effectively leverage it for spatial reasoning VQA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI