日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

空間推論arXiv:2605.18194

デカルトの幻想を超えて:知覚的ボトルネック下での二段階マルチモーダル心の理論の検証

Beyond the Cartesian Illusion: Testing Two-Stage Multi-Modal Theory of Mind under Perceptual Bottlenecks

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル大規模言語モデルが、他者の視覚的制約を考慮した空間推論(二次の心の理論)を苦手とする問題を指摘し、アンカーベースの空間分解チェーン・オブ・ソートを提案して性能を向上させた。

詳しい要約

1. どんなもの?

本論文は、Multi-Modal Large Language Models (MLLMs) の embodied spatial intelligence における「Cartesian Illusion」を指摘し、多エージェント環境での second-order Theory of Mind (ToM) を要する音声視覚タスクを提案する。Agent A が Agent B の物理的向きと感覚制約に基づき、B が A の相対位置をどう推定するかを予測する課題を設定。Epistemic Sensory Bottleneck モジュールと Anchor-Based Embodied Spatial Decomposition Chain-of-Thought (CoT) を提案し、MLLM の空間推論限界を体系的に評価する基盤を提示する。

2. 先行研究と比べてどこがすごい?

従来の MLLMs はテキストベース確率分布に依存し、grounded な 3D topological understanding を欠く。本論文は、単なる scene perception を超え、他エージェントの信念を推論する second-order ToM を要求する点で先行研究と異なる。また、rigid な rule-based coordinate transformations を捨て、感覚的ボトルネックを考慮した推論連鎖を導入することで、pure egocentric および allocentric ベースラインを上回る性能を示す。

3. 技術・手法の肝は?

Epistemic Sensory Bottleneck モジュールを提案し、rigid な rule-based coordinate transformations を放棄。Anchor-Based Embodied Spatial Decomposition Chain-of-Thought (CoT) により、MLLM を「geometric-to-semantic」投影へ導く。具体的には、まず Agent B の local coordinate system を確立し、次に Agent A が B の visual frustum 内にいるか否かに基づき、visual と auditory モダリティを動的に重み付けする。

4. どうやって有効だと検証した?

音声視覚タスクを用いた extensive evaluations を実施。current MLLMs は spatial symmetry と out-of-view ambiguities に根本的に苦戦し、zero-shot baseline は 42% accuracy であることを厳密に示す。提案する sensory-bounded reasoning chain が pure egocentric および allocentric ベースラインを堅牢に上回ることを確認。

5. 議論はある?

本論文は、MLLMs の空間推論の現状限界を体系的にベンチマークし、Embodied AI における epistemic かつ modality-aware な推論の基礎的パラダイムを確立する。ただし、具体的な議論の詳細や限界に関する深い考察は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法として、Theory of Mind (ToM) を扱う MLLM 研究、embodied spatial reasoning のベンチマーク、Chain-of-Thought (CoT) を用いたマルチモーダル推論、egocentric/allocentric 視点変換の研究が次に読むべき候補として挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yajing Zhou, Xiangyu Kong

分類: cs.AI, cs.CV

原文アブストラクト

While Multi-Modal Large Language Models (MLLMs) demonstrate impressive capabilities in general reasoning, their embodied spatial intelligence remains hampered by a "Cartesian Illusion" - a reliance on text-based probability distributions that lack grounded, 3D topological understanding. This limitation is starkly exposed in multi-agent environments, which demand more than just scene perception; they require second-order Theory of Mind (ToM). Specifically, an Agent A must be able to infer Agent B's belief about the environment, governed strictly by Agent B's physical orientation and sensory limitations. In this paper, we probe the limits of two-stage spatial inference in MLLMs through a novel audio-visual task: requiring Agent A to predict Agent B's estimation of A's relative location. To solve this, we propose an Epistemic Sensory Bottleneck module that abandons rigid, rule-based coordinate transformations. Instead, we introduce an Anchor-Based Embodied Spatial Decomposition Chain-of-Thought (CoT). This guides the MLLM through a "geometric-to-semantic" projection, forcing it to first establish B's local coordinate system and then dynamically weight visual and auditory modalities based on whether A falls within B's visual frustum. Extensive evaluations reveal that while current MLLMs fundamentally struggle with spatial symmetry and out-of-view ambiguities (establishing a rigorous zero-shot baseline of 42% accuracy), our sensory-bounded reasoning chain robustly outperforms pure egocentric and allocentric baselines. By systematically benchmarking these perceptual bottlenecks, our work exposes the current limits of MLLM spatial reasoning and establishes a foundational paradigm for epistemic, modality-aware inference in Embodied AI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI