VISA: VLMによる3D占有ワールドモデルのインスタンス意味監査

- 3D occupancy world model のための training-time semantic auditing 手法 VISA を提案。 - 既存の occupancy world model に対し、推論時は変更なしで適用可能。 - offline VLM を用いて物体 instance の crop を監査し、class hypotheses や confusions などを得る。 - その監査を 3D voxel に接地し、semantic logits へ蒸留する。 - 自動運転やロボット意思決定のための semantic 3D occupancy の精度向上を狙う。

- 一般的な VLM 戦略である 3D voxel/object 特徴と crop-caption embedding の alignment は、text-space similarity を改善しても closed-set occupancy mIoU を確実には改善しないことを示す。 - この不一致に動機づけられ、VLM を generic caption-embedding target ではなく reliability-aware semantic auditor として使う点が新しい。 - 推論時に VLM を必要とせず、既存モデルの training のみを変更する。 - nuScenes で OccWorld を 19.06→20.05 mIoU、GaussianWorld を 21.36→21.91 mIoU に改善。 - GaussianWorld で object mIoU 18.18→19.16、rare-class mIoU 15.60→16.79 と向上。

- offline VLM に各 physical object instance の代表 crop を問い合わせ、structured audit を得る。 - audit には class hypotheses、plausible confusions、reliability、attributes、evidence が含まれる。 - 得られた audit を object track に沿って伝播させる。 - 監査を matched 3D object voxels に接地する。 - reliability-weighted taxonomy loss、attribute-factor loss、scene-level audit graph loss により semantic logits へ蒸留する。 - 推論は変更せず、VLM も不要。

- nuScenes で 3 回の run 平均により評価。 - OccWorld の mIoU が 19.06 から 20.05 に改善。 - GaussianWorld の mIoU が 21.36 から 21.91 に改善。 - GaussianWorld で object mIoU が 18.18 から 19.16、rare-class mIoU が 15.60 から 16.79 に改善。 - これらの結果から、VLM は closed-set occupancy において reliability-aware semantic auditor として適することを示唆。

- VLM の crop-caption embedding alignment は text-space similarity を改善しても closed-set occupancy mIoU を確実には改善しないという mismatch を指摘。 - そのため VLM の役割を generic caption-embedding target から reliability-aware semantic auditor へ再定義することを提案。 - 推論時に VLM を必要としないため、既存の occupancy world model に training-time で組み込める。 - ただし、VLM の監査品質や誤りが性能に与える影響、他データセットへの汎化性などは要旨からは不明。

- 要旨で参照/比較されている研究: OccWorld、GaussianWorld。 - 関連手法: VLM を用いた 3D voxel/object 特徴と crop-caption embedding の alignment。 - 同分野の定番: semantic 3D occupancy prediction、occupancy world model、nuScenes ベースの評価。