日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像編集arXiv:2606.30003

GeoEdit: 幾何認識オブジェクト編集のためのデュアルブランチ拡散

GeoEdit: Geometry-Aware Object Editing via Dual-Branch Denoising

シェア:XThreadsFacebookLINEはてブBluesky

3D物理制約を守りながら写真内のオブジェクトを正確に操作するための、トレーニング不要のLift-Manipulate-Render-Denoiseパイプラインを提案。

詳しい要約

1. どんなもの?

- 単一写真内の物体を translation・rotation・scaling で操作する diffusion-based editor - 3D 物理制約を守りつつ、物体の剛体幾何と背景の自由合成を両立 - training-free の Lift-Manipulate-Render-Denoise pipeline を提案 - GeoEditBench という pose-aware benchmark と評価指標も導入 - コード公開: https://github.com/Heey731/GeoEdit

2. 先行研究と比べてどこがすごい?

- 既存 2D 手法は spatial awareness を欠き perspective violation を生む - structural proxy を latent space に強制すると variance homogeneity が崩れる - その結果 self-attention leakage で ghosting や background blur が発生 - GeoEdit は variance-homogeneous injection により self-attention を乱さない - 幾何精度・identity fidelity・背景品質で一貫した改善を報告

3. 技術・手法の肝は?

- Lift-Manipulate-Render-Denoise の training-free pipeline - 3D で scene と object を decouple し point correspondence で align - structural depth map 付きの geometry-aligned proxy を render - Dual-Branch Denoising: video diffusion backbone が object identity を保持 - 前景に 3D 制約を narrow denoising window で注入、背景は自由に denoise

4. どうやって有効だと検証した?

- GeoEditBench を導入: object translation・object rotation・camera movement を網羅 - pose-aware evaluation metrics で評価 - 幾何精度・identity fidelity・背景品質で一貫した gains を確認 - 詳細な実験設定・比較手法は要旨からは不明

5. 議論はある?

- 核心的困難は asymmetric: 移動物体は rigid geometry に従う必要 - 一方で露出背景は plausible content を合成する自由が必要 - 既存手法の self-attention leakage が ghosting・background blur を招く点を議論 - 注入信号が native latent statistics と一致すれば self-attention は乱れないと主張 - 限界や失敗事例の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として diffusion-based image editing の一般手法 - video diffusion backbone を用いた生成モデル - 3D-aware object manipulation や point correspondence 関連研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi He, Jiangming Wang, Xinyu Wang, Mark Fong, Songchun Zhang, Yuxuan Xue, Hai-Tao Zheng, Yue Ma

分類: cs.CV

原文アブストラクト

Precisely manipulating objects in a single photograph (translation, rotation, scaling) while obeying 3D physical constraints remains unsolved for diffusion-based editors. Current 2D methods lack spatial awareness and produce perspective violations. Forcing structural proxies into the latent space also disrupts variance homogeneity, and the resulting self-attention leakage leads to ghosting and background blur. The core difficulty is asymmetric: the relocated object must follow a rigid geometry, yet the uncovered background needs freedom to synthesize plausible content. We present GeoEdit, a training-free Lift-Manipulate-Render-Denoise pipeline that satisfies both constraints. We decouple scene and object in 3D, align them through point correspondence, and render a geometry-aligned proxy with a structural depth map. A Dual-Branch Denoising stage then refines this proxy: a video diffusion backbone preserves object identity, while 3D constraints are injected into the foreground within a narrow denoising window at matching noise variance (variance-homogeneous injection). The background denoises freely. Because the injected signal matches the native latent statistics, self-attention stays undisturbed. We also introduce GeoEditBench, a pose-aware benchmark covering object translation, object rotation, and camera movement with pose-aware evaluation metrics. Experiments confirm consistent gains in geometric accuracy, identity fidelity, and background quality. Our codes are available at https://github.com/Heey731/GeoEdit.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI