セグメンテーション/ドメイン適応2026/3/1arXiv:2603.15475

視野を超えて：外挿型ドメイン適応パノラマセグメンテーション

Seeing Beyond: Extrapolative Domain Adaptive Panoramic Segmentation

局所視点画像で学習し、360度パノラマ画像でテストする外挿型ドメイン適応セグメンテーション手法を提案。視野の幾何学的ずれと未知クラスの意味的不確実性を扱う。

詳しい要約

1. どんなもの？

- 360°のpanoramic semantic segmentationを対象に、local perspective viewsで学習しfull 360° panoramic imagesでテストする設定を扱う研究。 - open-set domain adaptation settingを定式化し、EDA-PSeg (Extrapolative Domain Adaptive Panoramic Segmentation) frameworkを提案。 - 課題は、domain間の幾何的なField of View (FoV) shiftsと、未知クラスに由来するsemantic uncertainty。 - 両課題を明示的に扱うことを目的とする。

2. 先行研究と比べてどこがすごい？

- 従来のcross-domain panoramic semantic segmentationは、幾何的なFoV歪みとdomain間のopen-set semanticsの不一致により困難とされる。 - 本手法は、local perspective viewsからfull 360° panoramic imagesへのextrapolativeな設定を扱う点が特徴。 - 幾何的FoV shiftsと未知クラス由来のsemantic uncertaintyの両方に明示的に対処する。 - 4つのbenchmark datasetsでstate-of-the-art性能、多様な視点幾何への頑健な汎化、環境条件変化への耐性を示すと主張。

3. 技術・手法の肝は？

- Euler-Margin Attention (EMA)を提案。angular marginを導入し、viewpoint-invariantなsemantic representationを強化。 - EMAはamplitudeとphaseのmodulationも行い、未知クラスへの汎化を改善。 - Graph Matching Adapter (GMA)を設計。高次のgraph relationsを構築し、FoV shiftsをまたいで共有semanticsを整列。 - GMAはstructural adaptationを通じてnovel categoriesを効果的に分離する。

4. どうやって有効だと検証した？

- camera-shift、weather-condition、open-setのシナリオを含む4つのbenchmark datasetsで広範な実験を実施。 - EDA-PSegがstate-of-the-art performanceを達成すると報告。 - 多様なviewing geometriesへのrobust generalizationを示す。 - 変動するenvironmental conditions下でのresilienceを示す。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、EMAやGMAの個別寄与に関する議論は要旨に記載がない。

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別の先行研究は明示されていない。 - 関連手法として、cross-domain semantic segmentation、domain adaptation、open-set recognition、panoramic semantic segmentation、attention機構、graph matchingが挙げられる。 - 同分野の定番として、panoramic semantic segmentationのbenchmarkやdomain adaptive semantic segmentationの代表的手法を読むことが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuanfan Zheng, Kunyu Peng, Xu Zheng, Kailun Yang

分類: cs.CV, cs.LG, cs.RO, eess.IV

原文アブストラクト

Cross-domain panoramic semantic segmentation has attracted growing interest as it enables comprehensive 360{\deg} scene understanding for real-world applications. However, it remains particularly challenging due to severe geometric Field of View (FoV) distortions and inconsistent open-set semantics across domains. In this work, we formulate an open-set domain adaptation setting, and propose Extrapolative Domain Adaptive Panoramic Segmentation (EDA-PSeg) framework that trains on local perspective views and tests on full 360{\deg} panoramic images, explicitly tackling both geometric FoV shifts across domains and semantic uncertainty arising from previously unseen classes. To this end, we propose the Euler-Margin Attention (EMA), which introduces an angular margin to enhance viewpoint-invariant semantic representation, while performing amplitude and phase modulation to improve generalization toward unseen classes. Additionally, we design the Graph Matching Adapter (GMA), which builds high-order graph relations to align shared semantics across FoV shifts while effectively separating novel categories through structural adaptation. Extensive experiments on four benchmark datasets under camera-shift, weather-condition, and open-set scenarios demonstrate that EDA-PSeg achieves state-of-the-art performance, robust generalization to diverse viewing geometries, and resilience under varying environmental conditions. The code is available at https://github.com/zyfone/EDA-PSeg.

arXivで原文を読む →arXiv概要ページ

← 論文一覧