マルチモーダル言語モデルの身体性能力をスキル単位で評価・診断するベンチマークBEAR

- 本論文は、embodied MLLMs の能力ボトルネックを診断するためのベンチマーク **BEAR** を提案する。 - embodied タスクを **14 個の atomic skills** に分解し、skill-level で評価する。 - **4,469** 個の image-video-text interleaved サンプルを含み、6 カテゴリ・14 スキルをカバーする。 - 低次知覚から高次 planning までを対象とする。 - さらに **BEAR-Agent** を提案する。 - MLLM に visual / spatial reasoning tools を追加した multimodal conversational agent。 - 評価対象は **20 個の MLLMs**。

- 既存の embodied benchmark は主に **task-level evaluation** に焦点を当てており、モデル失敗の原因について実行可能な洞察を与えられない。 - BEAR は embodied タスクを **14 atomic skills** に分解し、**skill-level** の fine-grained 評価を可能にする点が新しい。 - 階層的な **skill-level diagnosis framework** の下で 20 MLLMs を評価し、従来 benchmark ではほとんど明らかになっていなかった問題を明らかにする。 - 知覚能力が reasoning 失敗の主要ボトルネックであること。 - 現在のモデルが不安定な **spatiotemporal modeling** を抱えていること。

- **BEAR benchmark** の構築。 - embodied タスクを **14 atomic skills**（6 カテゴリ）に分解。 - **4,469** 個の image-video-text interleaved サンプルを収集。 - 低次知覚から高次 planning までをカバー。 - **hierarchical skill-level diagnosis framework** による評価。 - 20 MLLMs を skill-level で診断。 - **BEAR-Agent** の提案。 - MLLM に **visual and spatial reasoning tools** を付与した multimodal conversational agent。 - 詳細な tool 構成や学習手順は要旨からは不明。

- **BEAR** 上で **20 MLLMs** を hierarchical skill-level diagnosis framework の下で評価。 - その結果、以下の 2 つの知見を得た。 - 知覚能力が reasoning 失敗の主要ボトルネックであること。 - 現在のモデルが不安定な spatiotemporal modeling を抱えていること。 - **BEAR-Agent** の有効性検証。 - **GPT-5** 上で base model 比 **17.5%** の相対改善を BEAR 上で達成。 - **simulation** および **real-world robotic experiments** の両方で強い baseline を上回る。

- 既存 benchmark の task-level 評価では失敗原因を特定できないという問題意識に基づき、skill-level 診断の重要性を主張。 - 知覚能力が reasoning 失敗の主要ボトルネックであるという知見を示す。 - 現在のモデルが不安定な spatiotemporal modeling を抱え、それが従来 benchmark ではほとんど明らかになっていないと指摘。 - これらの知見に動機づけられて BEAR-Agent を提案。 - 具体的な限界や今後の課題については要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として、要旨で言及された以下を挙げる。 - 既存の **embodied benchmarks**（task-level evaluation 中心のもの）。 - **embodied multimodal large language models (MLLMs)**。 - **visual and spatial reasoning tools** を用いる agent 手法。 - 同分野の定番として、embodied MLLM の planning / reasoning 評価や、tool-augmented multimodal agent に関する研究を次に読む候補として挙げる。