日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像編集arXiv:2606.05071

InstantRetouch: バイラテラル空間による効率的で忠実度の高い指示追従画像レタッチ

InstantRetouch: Efficient and High-Fidelity Instruction-Guided Image Retouching with Bilateral Space

シェア:XThreadsFacebookLINEはてブBluesky

言語指示による画像レタッチを、拡散モデルの反復生成ではなくバイラテラルグリッド操作で実現し、忠実度と効率を両立した手法を提案。

詳しい要約

1. どんなもの?

- 言語指示に基づく画像レタッチ(色・トーン調整)を、高忠実度かつ高効率で行う手法。 - 画素やlatentを直接編集せず、低解像度のbilateral grid上のaffine変換を予測し、学習したguidance mapでsliceして全解像度画像に適用。 - 幾何・テクスチャを保持しつつ、指示追従・忠実度・効率を両立する。

2. 先行研究と比べてどこがすごい?

- 拡散モデルベースのretouchingは視覚品質に優れるが、生成性質による忠実度問題と反復samplingによる効率問題がある。 - 提案法はbilateral space操作により、content driftを回避し、latencyを大幅改善。 - 最新手法Gemini-2.5-Flash (Nano-Banana)と比較して、忠実度を高く保ちつつ視覚的に好ましい編集を生成。

3. 技術・手法の肝は?

- 低解像度bilateral gridのaffine変換を予測し、学習済みguidance mapでsliceして全解像度に適用。 - 事前学習済み生成モデルの強いpriorを保つため、multi-step diffusion modelをVariational Score Distillationでbilateral grid frameworkに蒸留。 - 指示追従を導くprompt alignment lossを併用。

4. どうやって有効だと検証した?

- 新規benchmarkを導入し、fidelity、instruction following、efficiencyの多次元で評価。 - 最新retouch手法(Gemini-2.5-Flash (Nano-Banana)等)と比較し、content drift回避、latency改善、視覚的に好ましい編集、高忠実度を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Gemini-2.5-Flash (Nano-Banana) - diffusion-based retouching - Variational Score Distillation - bilateral grid

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiarui Wu, Yujin Wang, Ruikang Li, Fan Zhang, Mingde Yao, Tianfan Xue

分類: cs.CV

原文アブストラクト

Language-guided photo retouching aims to adjust color and tone while preserving geometry and texture. Recently, diffusion-based retouching shows a superior visual quality, but often struggles with both fidelity issues due to its generative nature and efficiency because of its iterative sampling process. In this work, we propose an efficient and fidelity-preserving retouching method using bilateral space manipulation, which is both compact and content-decoupled. Specifically, instead of directly editing pixels or image latents, our model predicts a low-resolution bilateral grid of affine transforms, which are sliced using a learned guidance map and then applied to the full-resolution image. This approach yields both high fidelity and improved efficiency. To retain strong priors of a pretrained generative model, we distill a multi-step diffusion model into our bilateral grid framework using Variational Score Distillation, complemented by a prompt alignment loss to guide instruction-following behavior. Additionally, we introduce a new benchmark and evaluate our method across multiple dimensions: fidelity, instruction following, and efficiency. Compared to the latest retouch methods, like Gemini-2.5-Flash (Nano-Banana), our method can avoid content drift, significantly improve latency, and generate visually pleasing edits, while maintaining a high level of fidelity. Project page: https://openimaginglab.github.io/InstantRetouch/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI