画像生成/拡散モデル2026/6/4arXiv:2606.06601

分解された視覚プロキシによる直接的な3D認識オブジェクト挿入

Direct 3D-Aware Object Insertion via Decomposed Visual Proxies

背景画像へのオブジェクト挿入を、3Dポーズ制御可能な拡散モデルベースのフレームワークDIRECTを提案。外観・幾何・文脈の3条件を分離注入し、高品質な合成とポーズ操作を両立する。

詳しい要約

1. どんなもの？

- 参照オブジェクトを背景画像の指定領域に合成するオブジェクト挿入タスク。 - 従来のdiffusionベース手法は2D inpaintingとして扱い、3Dポーズ制御ができない。 - 本研究はDIRECT (Decomposed Injection for Reference Composition and Target-integration) を提案。 - 対話的なポーズ操作と高忠実度2D画像合成を統合し、ポーズ制御可能な挿入を実現。

2. 先行研究と比べてどこがすごい？

- 従来のdiffusionベース手法は2D inpaintingとして定式化し、オブジェクトの3Dポーズを明示的に制御できない。 - DIRECTはユーザー調整可能な3Dプロキシを導入し、ポーズ制御を可能にした。 - 外観・幾何・コンテキストの条件を分離注入することで、特徴の絡み合いを回避。 - 参照外観を保持しつつ、指定ポーズに従い、ターゲットシーンに適応。 - 自動データ構築パイプラインにより、訓練データの多様性と品質を向上。

3. 技術・手法の肝は？

- 挿入条件を3つの相補的成分に分解： - 外観ガイダンス：参照オブジェクトの視覚的詳細を捉える。 - 幾何ガイダンス：ユーザー調整された3Dプロキシから導出。 - コンテキストガイダンス：ターゲット背景から取得。 - これらを別々の経路で注入し、特徴の絡み合いを回避。 - 自動データ構築パイプラインを導入し、訓練データの多様性と品質を改善。

4. どうやって有効だと検証した？

- 実験により、DIRECTが幾何学的制御性と視覚品質の両方で従来手法を上回ることを示した。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、diffusionベースの2D inpaintingを用いたオブジェクト挿入（例：Paint-by-Example, Stable Diffusion inpainting）や、3D-awareな画像合成手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingbo Gong, Yikai Wang, Yushi Lan, Yuhao Wan, Ziheng Ouyang, Rui Zhao, Ming-Ming Cheng, Qibin Hou, Chen Change Loy

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Object insertion aims to seamlessly composite a reference object into a specified region of a background image. Recent diffusion-based methods achieve high visual quality but formulate insertion as a simple 2D inpainting task, providing no explicit control over the object's 3D pose and limiting their practical applicability. We propose DIRECT (Decomposed Injection for Reference Composition and Target-integration), a novel framework that integrates interactive pose manipulation with high-fidelity 2D image synthesis to enable pose-controllable object insertion. Our method decomposes the insertion conditions into three complementary components: appearance guidance capturing visual details from the reference object, geometry guidance derived from the user-adjusted 3D proxy, and context guidance from the target background. By injecting them through separate pathways, DIRECT avoids feature entanglement and simultaneously preserves reference appearance, follows the user-specified pose, and adapts the object to the target scene. We also introduce an automated data construction pipeline to improve the diversity and quality of training data. Experiments show that DIRECT outperforms previous methods in both geometric controllability and visual quality.

arXivで原文を読む →arXiv概要ページ

← 論文一覧