日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像編集arXiv:2606.14035

360度屋内パノラマ編集に向けた、リフォーカス型クロスアテンションによるチューニング不要拡散モデル

Toward 360-Degree Indoor Panorama Editing via Tuning-Free Diffusion Model with Refocusing Cross-Attention

シェア:XThreadsFacebookLINEはてブBluesky

チューニング不要で対象領域のみを正確に編集できる拡散モデル編集手法FocusDiffを提案し、360度屋内パノラマ編集にも応用した。

詳しい要約

1. どんなもの?

- 360度屋内パノラマ編集向けの tuning-free 拡散モデルフレームワーク FocusDiff を提案 - テキスト誘導のゼロショット画像編集を対象領域に限定して精密に行う - 自動セグメンテーションまたは手動選択で得た対象領域を使用 - 非編集領域を選択的にぼかし attention をマスク領域へ誘導 - refocusing cross-attention で対象の identity・構造・外観を編集出力へ転写 - context-preserving モジュールで背景忠実性と全体整合性を確保 - 単純なテキストプロンプトで single pass の編集を可能にする - 360度屋内パノラマ編集へ拡張し virtual reality 環境で有効性を示す

2. 先行研究と比べてどこがすごい?

- 既存のゼロショットテキスト誘導拡散編集は prompt brittleness で綿密なプロンプト設計を要する - spillover edits により非対象領域へ意図しない影響が及ぶ問題がある - 小物体や clutter した物体では fine-grained supervision 不足で失敗する - FocusDiff はこれら3課題に対し tuning-free で精密かつ領域特異的な編集を実現 - LIMB ベンチマークで既存ゼロショット編集手法を text-image alignment と background preservation で上回る - 精度・photorealism・usability で優位 - 360度屋内パノラマ編集および virtual reality 環境への拡張も示す

3. 技術・手法の肝は?

- tuning-free な拡散編集フレームワーク FocusDiff を採用 - 対象領域は automated segmentation または manual selection で取得 - 非編集領域に selective blurring を適用し attention をマスク領域へ誘導 - refocusing cross-attention により対象の identity・構造・外観を編集出力へ正確に転写 - context-preserving モジュールで背景忠実性と global coherence を担保 - 単純なテキストプロンプトから single pass で正確な編集を実現 - 360度屋内パノラマ編集へ拡張し virtual reality 環境で動作

4. どうやって有効だと検証した?

- 局所編集ベンチマーク LIMB を構築 - LIMB は30枚の multi-object 画像と100件の annotated examples を含む - 困難な small-object ケースも含む - FocusDiff を既存ゼロショット編集手法と比較 - text-image alignment と background preservation で上回ることを示す - 精度・photorealism・usability で優位を確認 - 360度屋内パノラマ編集と virtual reality 環境での有効性も実証

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、計算コスト、ユーザスタディの詳細は要旨に記載なし - prompt brittleness・spillover・小物体失敗の3課題への対処が中心 - 360度パノラマおよび virtual reality への拡張の議論は示唆されるが詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存ゼロショット編集手法(zero-shot text-guided diffusion image editing) - LIMB ベンチマークに関連する localized editing 研究 - 360度屋内パノラマ編集および virtual reality 環境向けの拡散モデル研究 - 具体的な論文名は要旨に明記されていないため、同分野の定番として text-guided diffusion editing と panorama editing の関連研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dinh-Khoi Vo, Nhut-Thanh Le-Hinh, Viet-Tham Huynh, Tam V. Nguyen, Minh-Triet Tran, Trung-Nghia Le

分類: cs.CV

原文アブストラクト

Zero-shot text-guided diffusion has significantly advanced image editing; however, its practical usability remains constrained by three persistent challenges: prompt brittleness that requires meticulous prompt engineering, spillover edits that unintentionally affect non-target regions, and failures on small or cluttered objects caused by limited fine-grained supervision in training data. We propose FocusDiff (Target-Aware Refocusing for Tuning-Free Diffusion Editing), a tuning-free framework for precise and region-specific image manipulation based on refocusing cross-attention. Given a target region obtained through automated segmentation or manual selection, FocusDiff applies selective blurring to non-edit areas to guide attention toward the masked region while accurately transferring the object's identity, structure, and appearance to the edited output. Integrated context-preserving modules further ensure background fidelity and global coherence, enabling accurate edits from simple text prompts in a single pass. We also extend FocusDiff to 360-degree indoor panorama editing and demonstrate its effectiveness within virtual reality environments. Extensive experiments on our localized editing benchmark LIMB, comprising 30 multi-object images and 100 annotated examples including challenging small-object cases, show that FocusDiff outperforms existing zero-shot editors in text-image alignment and background preservation, achieving superior precision, photorealism, and usability. The project page is available at https://vdkhoi20.github.io/FocusDiff.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI