ArchSIBench: 視覚言語モデルの建築空間知能のベンチマーク評価

- 本論文は、Vision-Language Models (VLMs) の建築空間知能を評価するベンチマーク ArchSIBench を提案する。 - 建築学・認知科学・心理学の観点から、perception, reasoning, navigation, transformation, configuration の5次元・17サブタスクを設定。 - 建築背景を持つ専門家が手動注釈し、3,000の質問応答ペアを構築。 - データセットとコードは Hugging Face で公開。

- 従来の VLM 空間評価は相対方位・距離比較・物体数え上げなど基礎的認知に限定。 - 本研究は layout understanding, circulation patterns, functional zoning など高次建築空間認知を対象に拡張。 - 建築学・認知科学・心理学の視点を統合した5次元・17サブタスクの体系を新たに提示。

- 建築学・認知科学・心理学の観点から5次元 (perception, reasoning, navigation, transformation, configuration) と17サブタスクを設計。 - 建築背景の専門家が手動で3,000の質問応答ペアを注釈。 - これにより VLM の建築空間知能を多次元的に評価する枠組みを構築。

- ArchSIBench を用いて複数の VLM を評価。 - 多くのモデルの建築空間知能は人間ベースラインと大きく異なることを確認。 - 能力次元間でモデルの性能に大きなばらつきがあることを示す。 - 一部の最先端モデルは建築訓練を受けていない人間評価者に近づくが、建築訓練を受けた人間評価者との間には特に spatial transformation と configuration reasoning で明確な差が残る。

- 多くの VLM は人間ベースラインと大きく異なり、能力次元間のばらつきが大きい。 - 建築訓練なしの人間評価者に近い最先端モデルもあるが、建築訓練ありの人間評価者との差は特に spatial transformation と configuration reasoning で顕著。 - ArchSIBench は VLM の建築空間知能の測定と向上に重要な知見と体系的リソースを提供すると期待される。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、VLM の基本空間技能を評価する既存ベンチマーク (relative orientation, distance comparison, object counting など) が挙げられる。 - 同分野の定番として、embodied interaction や 3D scene understanding and generation に関する研究が関連する。