ビデオセグメンテーション2025/9/1arXiv:2509.16677

Segment-to-Act: 身体性知能に向けたラベルノイズに頑健な行動プロンプト付きビデオセグメンテーション

Segment-to-Act: Label-Noise-Robust Action-Prompted Video Segmentation Towards Embodied Intelligence

行動ベースのビデオ物体セグメンテーションにおけるテキストプロンプトノイズとマスクアノテーションノイズに対処するため、初のベンチマークActiSeg-NLを構築し、6つのラベルノイズ学習戦略を適応・評価するとともに、マスクノイズに対処するParallel Mask Head Mechanismを提案した。

詳しい要約

1. どんなもの？

- 本論文は、embodied intelligence のための action-based video object segmentation において、label noise 下での頑健性を初めて体系的に扱う研究である。 - 対象とする noise は textual prompt noise（category flips と within-category noun substitutions）と mask annotation noise（object boundaries の perturb）の2種類。 - 新規ベンチマーク ActiSeg-NL を構築し、6つの label-noise learning 戦略を適用・評価する protocol を整備。 - 加えて mask annotation noise に対処する Parallel Mask Head Mechanism (PMHM) を提案する。

2. 先行研究と比べてどこがすごい？

- action-based video object segmentation は大規模 annotation と prompt に依存し、その multimodal noise は未解明だった。 - 本論文は label noise 下の action-based video object segmentation を初めて研究し、textual・boundary・mixed noise の評価 protocol を確立した点が新しい。 - 既存の label-noise learning 戦略6種をこの設定に適応し、noise 種別ごとの robustness profile を比較した点も先行研究にない貢献。 - 具体的な既存手法名との個別比較は要旨からは不明。

3. 技術・手法の肝は？

- textual prompt noise として category flips と within-category noun substitutions を、mask annotation noise として境界 perturb を導入し、noise を制御可能に模擬する。 - ActiSeg-NL benchmark 上で6つの label-noise learning 戦略を適用し、textual・boundary・mixed noise 下の評価 protocol を設計。 - mask annotation noise 対策として Parallel Mask Head Mechanism (PMHM) を提案。 - PMHM の内部構造や学習手順の詳細は要旨からは不明。

4. どうやって有効だと検証した？

- ActiSeg-NL benchmark を用い、textual・boundary・mixed noise の各条件で6つの label-noise learning 戦略を評価。 - noise 種別と failure mode・robustness gain の関係を定量的に分析。 - qualitative evaluation により boundary leakage、mislocalization、identity substitutions などの特徴的 failure mode を確認。 - foreground-background trade-off に基づく戦略間の robustness profile の差異を示した。

5. 議論はある？

- 学習戦略ごとに robustness profile が異なり、foreground-background trade-off が存在する。 - 一部戦略は balanced performance を達成する一方、foreground accuracy を優先し background precision を犠牲にする戦略もある。 - boundary perturb では boundary leakage と mislocalization、textual flips では identity substitutions が生じる。 - PMHM の有効性の程度や限界、計算コストなどは要旨からは不明。

6. 次に読むべき論文は？

- 本論文が適応・比較した6つの label-noise learning 戦略（個別名称は要旨からは不明）。 - action-based video object segmentation の基盤手法（要旨では個別名が示されていないため一般名）。 - label noise learning の代表的手法（co-teaching、Mixup など同分野の定番）。 - multimodal noise や referential ambiguity を扱う video-language segmentation 関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenxin Li, Kunyu Peng, Di Wen, Ruiping Liu, Mengfei Duan, Kai Luo, Kailun Yang

分類: cs.CV, cs.LG, cs.RO, eess.IV

原文アブストラクト

Embodied intelligence relies on accurately segmenting objects actively involved in interactions. Action-based video object segmentation addresses this by linking segmentation with action semantics, but it depends on large-scale annotations and prompts that are costly, inconsistent, and prone to multimodal noise such as imprecise masks and referential ambiguity. To date, this challenge remains unexplored. In this work, we take the first step by studying action-based video object segmentation under label noise, focusing on two sources: textual prompt noise (category flips and within-category noun substitutions) and mask annotation noise (perturbed object boundaries to mimic imprecise supervision). Our contributions are threefold. First, we introduce two types of label noises for the action-based video object segmentation task. Second, we build up the first action-based video object segmentation under a label noise benchmark ActiSeg-NL and adapt six label-noise learning strategies to this setting, and establish protocols for evaluating them under textual, boundary, and mixed noise. Third, we provide a comprehensive analysis linking noise types to failure modes and robustness gains, and we introduce a Parallel Mask Head Mechanism (PMHM) to address mask annotation noise. Qualitative evaluations further reveal characteristic failure modes, including boundary leakage and mislocalization under boundary perturbations, as well as occasional identity substitutions under textual flips. Our comparative analysis reveals that different learning strategies exhibit distinct robustness profiles, governed by a foreground-background trade-off where some achieve balanced performance while others prioritize foreground accuracy at the cost of background precision. The established benchmark and source code will be made publicly available at https://github.com/mylwx/ActiSeg-NL.

arXivで原文を読む →arXiv概要ページ

← 論文一覧