画像編集/拡散モデル2026/11/5arXiv:2611.07922

StitchEdit: 層ごとの勾配プロービングで深度事前知識を画像編集器に縫い込む手法

StitchEdit: Stitching Depth Priors into Image Editors via Per-Layer Gradient Probing

拡散モデルの層ごとの勾配を調べ、編集と深度推定の目的が初期層では両立し終盤層では衝突することを発見し、深度知識を活かしつつ編集できる層別学習率スケジュールを提案した。

詳しい要約

1. どんなもの？

- 拡散モデルによるテキスト誘導画像編集のうち、物体操作・遮蔽操作・視点変更など3D構造理解を要する空間的編集を扱う研究。 - 事前学習済み拡散バックボーンが持つ幾何学的priorを編集へ転用する手法 StitchEdit を提案。 - 併せて geometry-dependent な編集150件からなる StitchEditBench を提案。

2. 先行研究と比べてどこがすごい？

- Marigold らが示した「事前学習拡散バックボーンに幾何priorが内在し depth estimation に活性化できる」知見を、編集タスクへ振り向ける点が新しい。 - 単純な depth-conditioned editing は幾何を無視するか画質を劣化させるのに対し、層ごとの目的衝突を解析して対処。 - instruction-based および depth-conditioned の両baselineを上回ると報告。

3. 技術・手法の肝は？

- per-layer gradient probing により、編集目的と depth 目的が early transformer layers では両立し、late layers では衝突することを発見。 - まず lightweight な depth-denoising adapter でバックボーンの幾何能力を活性化。 - 次に probe-guided な per-layer learning rate schedule でadapterを選択的にfine-tuneし、depth知識を有効な層では保持、衝突する層では剪定。

4. どうやって有効だと検証した？

- 提案する StitchEditBench（spatial transformation・occlusion manipulation・viewpoint change を含む150件の geometry-dependent edits）で評価。 - instruction-based baseline と depth-conditioned baseline に対し、perceptual quality と geometric fidelity の両面で一貫して上回ったと報告。 - 具体的な指標・数値は要旨からは不明。

5. 議論はある？

- early/late layers での目的の両立・衝突という勾配probeに基づく知見が中心的な議論。 - 層選択的なfine-tuningがdepth知識の保持と編集性能の両立に寄与するという解釈。 - 限界や失敗事例、計算コスト、他バックボーンへの一般性は要旨からは不明。

6. 次に読むべき論文は？

- Marigold（拡散バックボーンの幾何priorをdepth estimationへ活性化する先行研究）。 - depth-conditioned editing および instruction-based image editing の代表的baseline（個別名は要旨からは不明）。 - 拡散モデルを用いた depth estimation のフォローアップ研究群。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qin Guo, Dan Xu

分類: cs.CV

原文アブストラクト

Text-guided image editing with diffusion models struggles with spatial edits (e.g. manipulating objects, changing viewpoints, manipulating occlusions) that depend on the 3D structure understanding of a scene. Marigold and follow-up work demonstrate that a pretrained diffusion backbone already harbors strong geometric priors that can be activated for depth estimation, yet how to redirect these priors toward editing remains unresolved. Through per-layer gradient probing, we discover that the editing and depth objectives are compatible in early transformer layers but actively conflict in late layers, explaining why naive depth-conditioned editing either ignores geometry or degrades visual quality. We present StitchEdit, which first activates the backbone's geometric capability via a lightweight depth-denoising adapter, then selectively fine-tunes this adapter for editing using a probe-guided per-layer learning rate schedule that preserves depth knowledge where it helps and prunes it where it conflicts. On the proposed StitchEditBench, a benchmark of 150 geometry-dependent edits spanning spatial transformation, occlusion manipulation, and viewpoint change, StitchEdit consistently surpasses both instruction-based and depth-conditioned baselines on perceptual quality and geometric fidelity.

arXivで原文を読む →arXiv概要ページ

← 論文一覧