NRSeg: 走行世界モデルによるノイズ耐性BEVセマンティックセグメンテーション学習

- BEV semantic segmentation のための noise-resilient learning framework「NRSeg」 - end-to-end autonomous driving における BEV semantic segmentation を対象 - driving world models 由来の synthetic data を活用し、labeled data の多様性を高める狙い - unsupervised / semi-supervised 設定での性能向上を目指す

- unsupervised / semi-supervised の BEV タスクは labeled data の均質な分布により性能が低い - world models の synthetic data 活用を検討した点が新しい - 予備実験で generation noise が BEV model learning を損なうことを発見 - 単純に synthetic data を足すのではなく、noise 耐性を組み込んだ枠組みを提案

- Perspective-Geometry Consistency Metric (PGCM) - generated data の perspective road mask と BEV labels から投影した mask の alignment を測る - generated data の model learning への guidance 能力を定量的に評価 - Bi-Distribution Parallel Prediction (BiDPP) - multinomial 分布と Dirichlet 分布の並列予測で学習を制約 - 前者は semantic probabilities を予測、後者は evidential deep learning で uncertainty quantification - Hierarchical Local Semantic Exclusion (HLSE) - BEV semantic segmentation に内在する非相互排他性に対処

- unsupervised および semi-supervised の BEV segmentation タスクで実験 - state-of-the-art 性能を達成 - mIoU の改善は unsupervised で 13.8%、semi-supervised で 11.4% - 詳細な実験設定・データセットは要旨からは不明

- synthetic data の generation noise が BEV model learning を損なう点を課題として指摘 - PGCM により generated data の guidance 能力を評価する枠組みを提示 - uncertainty quantification と非相互排他性への対処を組み込む必要性を議論 - 具体的な限界や失敗事例の議論は要旨からは不明

- driving world models を用いた synthetic data 生成の関連研究 - BEV semantic segmentation の unsupervised / semi-supervised learning 研究 - evidential deep learning による uncertainty quantification の関連手法 - Dirichlet distribution を用いた予測手法 - 要旨で個別論文の参照は明示されていないため、上記は関連手法・分野の一般名