マルチモーダルLLMの空間知能を包括的に評価するEASI

- 本論文は、Multimodal LLM の Spatial Intelligence (SI) を包括的に評価する枠組み EASI を提案する。 - EASI は既存 benchmark と新規に整備した benchmark 群を統合する spatial タスクの taxonomy を定義する。 - GPT-5, Gemini, Grok, Seed, Qwen, Intern など最先端モデルを対象とする。 - 8 つの主要 benchmark を 100 億 token 超のコストで評価する実証研究である。 - コードベースと leaderboard を公開する継続的な community effort でもある。

- 既存 benchmark を統合する包括的 taxonomy を提示し、散在する spatial 評価を一望できる点が特徴。 - 単一 benchmark ではなく 8 つの主要 benchmark を横断し、最先端モデルを同一枠組みで比較する。 - GPT-5 を含む最新モデル群を対象に、SI タスク全体の到達点を測る点が新しい。 - 100 億 token 超という大規模評価を実施している。 - 再現可能な standardized interface と prompt を備えた codebase と leaderboard を提供する。

- spatial タスクの包括的 taxonomy を構築し、既存 benchmark と新規 benchmark を統合する。 - EASI codebase は standardized interface、integrated protocols、prompts を備え、複数 benchmark の設定・実行の負担を軽減する。 - 8 つの主要 benchmark 上で最先端 Multimodal LLM を体系的に評価する。 - 定量評価に加え、人間には直感的だが最先端モデルが失敗する多様なシナリオで qualitative evaluation を行う。 - EASI leaderboard で SI 全体の性能スナップショットを継続更新する。

- 8 つの主要 benchmark を用いた実証評価を実施し、100 億 token 超を消費している。 - GPT-5 が SI で前例のない強さを示す一方、広範な SI タスクで人間性能に大きく及ばないことを示す。 - SI タスクが非 SI タスクよりモデル能力の不足を強く露呈することを示す。 - 最も難しいタスクでは proprietary models が決定的優位を示さないことを示す。 - 人間に直感的な多様シナリオでの qualitative evaluation で最先端モデルの失敗を確認する。

- 最先端モデルでも SI は人間に大きく劣り、SI が現行 Multimodal LLM の主要な弱点であると論じる。 - SI タスクは非 SI タスク以上にモデル能力不足を顕在化させる。 - 最難関タスクでは proprietary models の優位が決定的でない点を指摘する。 - EASI を継続的 community effort と位置づけ、leaderboard で進捗を追跡する。 - 個々の benchmark 設計や taxonomy の妥当性に関する詳細な議論は要旨からは不明。

- 要旨で直接比較・参照されている個別研究は明示されていない。 - EASI が統合する既存 spatial benchmark 群と、新規に整備された benchmark の原論文を確認する。 - 評価対象である GPT-5、Gemini、Grok、Seed、Qwen、Intern の各技術報告を参照する。 - 同分野の定番として spatial reasoning や embodied AI 向け Multimodal benchmark の関連研究を辿る。