VSCD: 非整列シーンにおけるビデオベースのシーン変化検出

- 屋内空間の異なる時刻に撮影された参照動画とクエリ動画から、クエリフレームごとにピクセル単位の変化マスクを予測するタスク「Video-based Scene Change Detection (VSCD)」を提案。 - カメラ運動は制約なし、動画間の時間同期なし、多数の物体の出現・消失を含む。 - 大規模ベンチマーク（110万フレーム以上、ピクセル精度の変化マスク注釈付き）と実世界テストセットを構築。 - クエリ中心のマルチ参照モデルを提案し、画像ベース・動画ベースの強力なベースラインを上回る性能を達成。 - 移動ロボットに実装し、視覚監視と物体インクリメンタル学習の下流タスクで有効性を検証。

- 従来の変化検出は固定視点、軽度の位置ずれ、少数の変化物体を仮定することが多い。 - VSCDはカメラ運動が制約されず、時間同期もなく、多数の物体の出現・消失を許容する、より現実的な設定を扱う。 - 大規模ベンチマーク（110万フレーム以上）と実世界テストセットを新たに構築し、シミュレーションを超えた転移評価を可能にした。 - 提案手法は画像ベースおよび動画ベースの強力なベースラインに対して最先端性能を達成。 - 実ロボットへの展開により、下流アプリケーションでの実世界影響を検証。

- クエリ中心のマルチ参照モデルを提案。 - 変化マスクの教師信号から時間的マッチングを暗黙的に学習。 - 局所パッチ対応により、候補参照特徴をクエリに位置合わせ。 - フレームレベルとパッチレベルの信頼度を用いて、候補ごとの変化特徴を融合。 - フレームごとに高解像度マスクを一度だけデコード。

- 大規模ベンチマーク（110万フレーム以上、ピクセル精度の変化マスク注釈付き）で評価。 - 実世界テストセットを用いて、シミュレーションを超えた転移性能を評価。 - 画像ベースおよび動画ベースの強力なベースラインと比較し、最先端性能を達成。 - 移動ロボットに実装し、視覚監視と物体インクリメンタル学習の下流タスクで有効性を検証。

- 要旨からは不明。

- 要旨で参照/比較されている研究や関連手法は明記されていない。 - 同分野の定番として、image-based change detection、video-based change detection、long-term autonomy、visual surveillance、object incremental learning が挙げられる。