マルチモーダル基盤モデルによる空間知能のスケーリング

- 本研究は、multimodal foundation models の spatial intelligence を強化する取り組み。 - SenseNova-SI family として、既存の multimodal foundations（Qwen3-VL、InternVL3、Bagel）を基盤に構築。 - 空間能力の厳密な taxonomy に基づき 8M の多様なデータ（SenseNova-SI-8M）を体系的に整備。 - 複数の spatial intelligence ベンチマークで高性能を示し、学習済みモデルを公開。

- 先行 multimodal foundation models は spatial intelligence に顕著な欠陥があると指摘。 - 既存基盤モデル（Qwen3-VL、InternVL3、Bagel）を土台に、空間能力の taxonomy に沿った大規模データで強化。 - 広範な spatial benchmarks で「unprecedented」な性能を報告しつつ、一般 multimodal understanding（MMBench-En 84.9%）も維持。 - データスケーリングや emergent generalization の兆候、過学習・language shortcuts のリスク分析も含む点が特徴。

- 空間能力の rigorous taxonomy を定義し、それに基づき SenseNova-SI-8M（8M サンプル）を体系的にキュレーション。 - 基盤は visual understanding models（Qwen3-VL、InternVL3）と unified understanding and generation model（Bagel）。 - 多様データ訓練による generalization を狙う設計。 - spatial chain-of-thought reasoning の予備的検討や下流応用の可能性検証も実施。

- 多数の spatial intelligence benchmarks で評価：VSI-Bench 68.8%、MMSI 43.3%、MindCube 85.7%、ViewSpatial 54.7%、SITE 47.7%、BLINK 63.9%、3DSR 55.5%、EmbSpatial 72.0%。 - 一般 multimodal understanding も MMBench-En 84.9% で維持を確認。 - データスケーリングの影響、emergent generalization の兆候、過学習・language shortcuts リスク、spatial chain-of-thought reasoning、下流応用の可能性を分析。

- データスケーリングの影響を分析。 - 多様データ訓練による emergent generalization の初期兆候を議論。 - 過学習および language shortcuts のリスクを指摘・分析。 - spatial chain-of-thought reasoning に関する予備的検討を提示。 - 下流応用の可能性を検証。 - 具体的な限界や未解決課題の詳細は要旨からは不明。

- 基盤として用いられた Qwen3-VL、InternVL3、Bagel の各論文。 - 評価に用いられた VSI-Bench、MMSI、MindCube、ViewSpatial、SITE、BLINK、3DSR、EmbSpatial、MMBench-En の各ベンチマーク論文。 - spatial chain-of-thought reasoning や language shortcuts に関連する研究。 - 要旨で直接参照されていない関連手法は要旨からは不明。