日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像編集位置特定arXiv:2605.27924

SIGMA: テキスト駆動画像編集位置特定のための意味差分指示グラウンディングマスクアノテータ

SIGMA: Semantic-Difference Instruction-Grounding Mask Annotator for Text-Driven Image Manipulation Localization

シェア:XThreadsFacebookLINEはてブBluesky

公開編集データセットから画像編集位置特定の学習用マスクを自動生成する手法を提案。意味的特徴差分と指示由来の空間事前分布を融合し、拡散ノイズに頑健なマスクを生成する。

詳しい要約

1. どんなもの?

本論文は、Text-driven image editing の編集領域を自動でマスク注釈する SIGMA (Semantic-difference Instruction-Grounding Mask Annotator) を提案する。 - 目的: Image Manipulation Localization (IML) モデル訓練用の大規模 pixel-annotated データを低コストで得ること。 - 着眼: 公開 editing データセットには構造的に同一の (original, edited) ペアが数百万存在し、pixel-level mask だけが欠けている。 - 手法: vision foundation backbone 上で semantic-feature differencing を行い、instruction 由来の spatial prior を bidirectional cross-modal refinement で注入する。 - 学習: Stage I で inpainting mask を教師にし、Stage II で VAE-roundt…

2. 先行研究と比べてどこがすごい?

先行研究と比べての優位性は以下の通り。 - 従来: IML には大規模 pixel-annotated データが必要で、低コスト入手手段がなかった。 - 既存自動マスク生成: pixel differencing は diffusion-induced perturbations で全画素が乱され、instruction-only grounding は prompt 記述部分のみで editor の意図しない副作用を捉えられない。 - 本手法: semantic-feature differencing と instruction-derived spatial prior の双方向融合により、意図的編集領域の差分信号を増幅。 - 結果: 既存自動マスク生成器より 5 benchmarks で高精度 (+12.20% F1, +11.16% IoU)。 - 応用: 公開 editing コーパスから約 1.1M の IML 訓練セットを生成し、6 種の検出器を 5 データセットで +18.34% F1 改善。未使用編集データを model-agnostic な監督資源に変換。

3. 技術・手法の肝は?

技術・手法の肝は以下の通り。 - Semantic-feature differencing: vision foundation backbone 上で意味特徴の差分を計算し、画素差分の弱点を回避。 - Instruction-derived spatial prior: テキスト指示から空間事前分布を生成し、視覚ストリームへ注入。 - Bidirectional cross-modal refinement: 視覚と指示の双方向クロスモーダル精緻化で、意図的編集領域の差分信号を増幅。 - 2段階学習: Stage I は inpainting mask で監督。Stage II は VAE-roundtrip noise calibration, EMA self-training, edit-noise disentanglement loss で diffusion-domain shift を閉じる。 - 前提: editor がユーザ意図を忠実に実現した場合に有効。

4. どうやって有効だと検証した?

有効性の検証は以下の通り。 - 5 benchmarks で既存自動マスク生成器と比較し、+12.20% F1, +11.16% IoU を達成。 - 公開 editing コーパスに適用し、約 1.1M の IML 訓練セットを生成。 - 生成データで 6 種の多様な検出器を訓練し、5 データセットで +18.34% F1 改善を確認。 - これにより、未使用の編集データが model-agnostic な監督資源になることを示した。

5. 議論はある?

議論・限界は以下の通り。 - 本手法は editor がユーザ意図を忠実に実現した場合に意図的編集領域の差分信号を増幅する設計。 - 意図しない editor の副作用や、指示に記述されない編集については、instruction-only grounding の限界をどう扱うかが課題。 - diffusion-domain shift を Stage II で閉じるが、その一般化や他編集モデルへの適用可能性は要旨からは不明。 - コードベースは論文採択後に公開予定。

6. 次に読むべき論文は?

次に読むべき論文は以下の通り。 - 要旨で直接参照/比較されている研究: 既存の automatic mask generators、instruction-only grounding 手法、pixel differencing ベース手法。 - 関連手法: Image Manipulation Localization (IML) の検出器、inpainting mask を用いる手法、VAE-roundtrip noise calibration、EMA self-training、edit-noise disentanglement loss。 - 同分野の定番: diffusion-based image editing、vision foundation backbone を用いたセグメンテーション、cross-modal refinement。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peiyu Zhuang, Jianquan Yang, Haodong Li, Zhuoying Cai, Ruitao Xie, Jishen Zeng, Baoying Chen, Jiwu Huang, Xiaochun Cao

分類: cs.CV

原文アブストラクト

Text-driven image editing has advanced rapidly, but reliably localizing these manipulations requires image manipulation localization (IML) models trained on large pixel-annotated datasets, and there is still no low-cost way to obtain such training data at scale. We observe that these data already exist in disguise: public editing datasets contain millions of structurally identical (original, edited) pairs to IML training samples, lacking only pixel-level masks. Recovering these masks automatically is non-trivial: pixel differencing is overwhelmed by diffusion-induced perturbations across all pixels, and instruction-only grounding localizes only what the prompt describes, missing unintended editor side-effects. We propose SIGMA (Semantic-difference Instruction-Grounding Mask Annotator), which performs semantic-feature differencing in a vision foundation backbone and injects an instruction-derived spatial prior into this visual stream via bidirectional cross-modal refinement, amplifying the difference signal at intended-edit regions when the editor faithfully realizes user intent. SIGMA is trained in two complementary stages: Stage I supervises on inpainting masks; Stage II closes the diffusion-domain shift via VAE-roundtrip noise calibration, EMA self-training, and an edit-noise disentanglement loss. SIGMA outperforms existing automatic mask generators on five benchmarks (+12.20% F1, +11.16% IoU). When applied to public editing corpora, it produces a ~1.1M IML training set that improves six diverse detectors by +18.34% F1 across five datasets, turning previously unused editing data into a model-agnostic supervisory resource for IML. We'll release the full codebase as soon as the paper is accepted.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI