身体性認知/ベンチマーク2025/11/1arXiv:2511.20937

ENACT: 自己中心的なインタラクションの世界モデリングによる身体性認知の評価

ENACT: Evaluating Embodied Cognition with World Modeling of Egocentric Interaction

ロボティクスシミュレーションから生成した自己中心視点の行動と観測の系列並べ替えタスクにより、視覚言語モデルが身体性認知の能力（アフォーダンス認識、行動効果推論など）をどの程度持つかを評価するベンチマークを提案。

詳しい要約

1. どんなもの？

- ENACTは、embodied cognition（身体性認知）を評価するためのbenchmark。 - 評価を、egocentric interactionからのworld modelingとしてVQA形式で定式化。 - 部分的観測可能なMarkov決定過程（POMDP）として枠組み化し、actionをscene graphの変化として扱う。 - 2つの相補的な系列並べ替えタスクで構成。 - forward world modeling：actionが与えられた下で、シャッフルされたobservationを並べ替える。 - inverse world modeling：observationが与えられた下で、シャッフルされたactionを並べ替える。 - 長期的なhome-scale活動を含む8,972個のQAペアで評価。

2. 先行研究と比べてどこがすごい？

- 従来のVLM評価は受動的観察に偏りがちだが、ENACTはsensorimotor interactionに基づくembodied cognitionを直接問う点が新しい。 - 低レベルの画像生成を避けつつ、affordance recognition、action-effect reasoning、embodied awareness、部分的観測下でのinteractive long-horizon memoryといった能力を暗黙に要求する設計。 - robotics simulation（BEHAVIOR）からQAペアを合成するスケーラブルなpipelineを提供。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は？

- ENACTをPOMDPとして定式化し、actionをscene graphの変化として表現。 - 2つの系列並べ替えタスク（forward/inverse world modeling）をVQA形式で出題。 - BEHAVIORシミュレータからQAペアを合成するスケーラブルなpipelineを構築。 - 長期的なhome-scale活動をカバーする8,972個のQAペアを生成。 - 低レベル画像合成を避けることで評価の交絡を防ぐ設計。

4. どうやって有効だと検証した？

- BEHAVIORシミュレーションから合成した8,972個のQAペア（長期的なhome-scale活動）で評価。 - frontier VLMsと人間の性能差を測定し、interaction horizonが長くなるほど差が広がることを確認。 - モデルはforwardタスクよりinverseタスクで一貫して高い性能を示すことを確認。 - 右利きactionへの選好や、camera intrinsicsやviewpointが人間の視覚から逸脱すると性能が低下するといったanthropocentric biasを観察。

5. 議論はある？

- frontier VLMsと人間の間には性能差があり、interaction horizonの増加に伴い拡大する点が議論の焦点。 - forwardとinverseの非対称な性能は、モデルのworld modelingの偏りを示唆。 - 右利き選好やcamera intrinsics・viewpointへの脆弱性などanthropocentric biasの存在が議論される。 - 具体的な議論の詳細や限界については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として、BEHAVIOR（robotics simulation）、POMDP、scene graph、VQA、world modeling、forward/inverse world modelingが挙げられる。 - 同分野の定番として、embodied cognition評価やVLMの身体性に関する研究を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qineng Wang, Wenlong Huang, Yu Zhou, Hang Yin, Tianwei Bao, Jianwen Lyu, Weiyu Liu, Ruohan Zhang, Jiajun Wu, Li Fei-Fei, Manling Li

分類: cs.AI, cs.CL, cs.CV, cs.RO

原文アブストラクト

Embodied cognition argues that intelligence arises from sensorimotor interaction rather than passive observation. It raises an intriguing question: do modern vision-language models (VLMs), trained largely in a disembodied manner, exhibit signs of embodied cognition? We introduce ENACT, a benchmark that casts evaluation of embodied cognition as world modeling from egocentric interaction in a visual question answering (VQA) format. Framed as a partially observable Markov decision process (POMDP) whose actions are scene graph changes, ENACT comprises two complementary sequence reordering tasks: forward world modeling (reorder shuffled observations given actions) and inverse world modeling (reorder shuffled actions given observations). While conceptually simple, solving these tasks implicitly demands capabilities central to embodied cognition-affordance recognition, action-effect reasoning, embodied awareness, and interactive, long-horizon memory from partially observable egocentric input, while avoiding low-level image synthesis that could confound the evaluation. We provide a scalable pipeline that synthesizes QA pairs from robotics simulation (BEHAVIOR) and evaluates models on 8,972 QA pairs spanning long-horizon home-scale activities. Experiments reveal a performance gap between frontier VLMs and humans that widens with interaction horizon. Models consistently perform better on the inverse task than the forward one and exhibit anthropocentric biases, including a preference for right-handed actions and degradation when camera intrinsics or viewpoints deviate from human vision. Website at https://enact-embodied-cognition.github.io/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧