屋内空間のための階層的かつ全体的なオープンボキャブラリー機能3Dシーングラフ

本論文は、屋内空間を対象に、物体ノード・interactive elements・functional relationship edgesから成る functional 3D scene graph を open-vocabulary で構築する手法を提案する。従来 benchmark が大規模家具中心で階層構造を欠いていた点を補うため、dense tabletop objects と明示的な multi-level functional relationships を含むよう benchmark coverage を拡張する。

- 従来の pipeline は大規模 furniture 中心で、hierarchical structures を欠く。 - 既存 benchmark の coverage が限定的。 - 本研究は dense tabletop objects と multi-level functional relationships を導入し、small-scale・dense・similar instances、relational reasoning の visual anchoring 欠如、cross-frame fusion の instance confusion、dynamic viewpoints 下の attribution uncertainty に対処する点が新しい。

- 2D visual grounding と 3D graph optimization に基づく open-vocabulary pipeline。 - 2D visual evidence から fine-grained functional edges を anchor。 - 3D で複数 cue を用いて cross-frame の node を associate。 - edge association を temporal graph optimization として定式化し、evidence accumulation・entropy regularization・temporal smoothing を統合。 - 最後に global hierarchy shaping で階層的 graph 構造を復元。

Extensive experiments により、challenging real-world scenes において functional 3D scene graphs を安定的に推論できることを示した。具体的な dataset 名・評価指標・比較手法は要旨からは不明。

要旨からは不明。想定される課題として、small-scale・dense・similar instances、visual anchoring の欠如、cross-frame fusion の instance confusion、dynamic viewpoints 下の attribution uncertainty が挙げられている。

要旨で参照・比較されている個別研究は明示されていない。関連手法として 3D scene graph、open-vocabulary 3D scene understanding、visual grounding、temporal graph optimization の定番研究を読むとよい。