ESI-Bench：知覚と行動のループを閉じる身体化空間知能のベンチマーク

- 本論文は、Embodied Spatial Intelligence (ESI) のためのベンチマーク ESI-BENCH を提案する。 - 従来の受動的な空間知能ではなく、知覚-行動ループを通じて能動的に空間情報を獲得する能力を評価する。 - OmniGibson 上に構築され、Spelke の core knowledge systems に基づく 10 タスクカテゴリ、29 サブカテゴリからなる。 - エージェントは perception, locomotion, manipulation を適切に選択・順序付けしてタスク関連証拠を集める必要がある。

- 従来の空間知能研究は oracle observations を仮定していたが、本論文は観測者を actor として再定義した。 - 受動的な知覚ではなく、能動的探索による知覚-行動ループを評価する点が新しい。 - 最先端 MLLM を評価し、能動的探索が受動的観察より大幅に優れることを示した。 - ランダム多視点は画像を多く消費するがノイズを増やすことを明らかにした。

- OmniGibson 上に 10 カテゴリ・29 サブカテゴリのタスクを構築し、Spelke の core knowledge systems に基づく。 - エージェントは perception, locomotion, manipulation を選択・順序付けして能動的に証拠を集める。 - 最先端 MLLM を用いて、能動的探索と受動的観察、ランダム多視点、明示的 3D grounding の有無などを比較する。 - 人間研究も実施し、モデルと人間の信念更新の違いを分析する。

- 最先端 MLLM に対して広範な実験を行い、能動的探索が受動的観察より大幅に優れることを示した。 - エージェントが明示的指示なしに創発的な空間戦略を発見することを確認した。 - ランダム多視点は画像を多く消費するがノイズを増やすことを示した。 - 人間研究により、人間は反証視点を求め矛盾下で信念を修正するが、モデルは証拠の質に関わらず高信頼で早期に断定することを明らかにした。

- 失敗の多くは知覚の弱さではなく action blindness に起因する。つまり行動選択の誤りが観測を悪化させ、連鎖的エラーを引き起こす。 - 明示的 3D grounding は深度敏感タスクの推論を安定化させるが、不完全な 3D 表現は 2D ベースラインより有害で空間関係を歪める。 - モデルは人間と異なり、証拠の質に関わらず高信頼で早期に断定する metacognitive gap が存在する。 - このギャップは、より良い知覚や身体化相互作用だけでは埋められないと指摘する。

- 要旨で参照/比較されている研究: 従来の受動的空間知能研究、oracle observations を仮定した研究、MLLM を用いた空間推論研究。 - 関連手法: OmniGibson, Spelke's core knowledge systems, MLLM, 3D grounding。 - 同分野の定番: embodied AI, vision-language models, spatial reasoning benchmarks。