日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像編集arXiv:2605.13349

事前分布内でのドラッグ:分布制約下でのテキスト条件付きポイントベース画像編集

Drag within Prior Distribution: Text-Conditioned Point-Based Image Editing within Distribution Constraints

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルを用いたポイントベース画像編集において、CLIPモデルによる意味整合性の評価と事前分布保持損失により、編集結果を元のデータ分布内に保ちつつ、大規模移動時のアーティファクトを低減する手法を提案した。

詳しい要約

1. どんなもの?

- 拡散モデルベースの点編集手法の改良 - テキスト条件付き点ベース画像編集 - 分布制約内での編集を実現 - グローバル編集と細粒度編集の両方に対応

2. 先行研究と比べてどこがすごい?

- 従来の点編集はhandle-targetペアで曖昧さや不要な変更を生む - 距離が大きいとノイズ潜在が反転スコア軌道から逸脱し不自然なアーティファクト - 提案手法はCLIPベースモデルで意味的整合性を評価・誘導 - 事前分布保存損失で潜在コードをサンプリング空間内に制約 - 方向重み付き点追跡で追跡精度と生成品質を向上、編集時間短縮

3. 技術・手法の肝は?

- CLIPベースモデルで中間編集ステップを評価・誘導 - 事前分布保存損失で最適化潜在コードを拡散事前のサンプリング空間内に制約 - 方向重み付き点追跡メカニズムで類似特徴領域内で目標方向へ編集を誘導 - グローバル編集と細粒度編集の両方に適用

4. どうやって有効だと検証した?

- 要旨からは不明(具体的な検証方法やデータセット、評価指標についての記述がない)

5. 議論はある?

- 要旨からは不明(議論や限界についての記述がない)

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてDiffusion-based point editing, CLIP-based models, prior-preservation loss, directionally-weighted point trackingが挙げられる - 同分野の定番としてDiffusion Models, CLIP, Point-based Image Editingが考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyang Hu, Masataka Seo, Yen-Wei Chen

分類: cs.CV

原文アブストラクト

Diffusion-based point editing methods have gained significant traction in image editing tasks due to their ability to manipulate image semantics and fine details by applying localized perturbations on the manifold of noise latent. However, these approaches face several limitations. Traditional point-based editing relies on pairs of handle and target points to define motion trajectories, which can introduce ambiguity or unnecessary alterations. Furthermore, when the distance between the handle and target points is large, the accumulated perturbations often cause the noise latent deviation from inversion score trajectory, resulting in unnatural artifacts. To address these issues in global editing tasks, we introduce a CLIP-based model to evaluate and guide intermediate editing steps, ensuring that the generated results remain both semantically aligned. Additionally, we propose a prior-preservation loss that constrains the optimized latent code to stay within the sampling space of the diffusion prior, improving consistency with the original data distribution, to ensure the model generates images along a familiar score trajectory. For fine-grained tasks, we present a directionally-weighted point tracking mechanism that steers the editing process toward the target direction within similar feature regions. This improves both the tracking accuracy and generation quality, while also reducing the editing time.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI