日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像編集arXiv:2606.16767

テキストとビジョンの共同指示による画像編集

Text-Vision Co-Instructed Image Editing

シェア:XThreadsFacebookLINEはてブBluesky

テキスト指示の意味表現力とビジュアル指示の空間精度を統合した画像編集フレームワークTV-Editを提案し、動画から構築したデータセットとベンチマークで性能を評価した。

詳しい要約

1. どんなもの?

- テキスト指示と視覚プロンプトを統合した画像編集手法 - テキスト指示の意味表現力と視覚プロンプトの空間精度を組み合わせ - スパースな視覚指示を空間ガイダンスとして、テキスト指示を意味意図として同時にモデル化 - 23K以上のテキスト・視覚指示ペアデータセットを動画から構築 - TV-Editという統合編集フレームワークを提案 - TV-Edit-Benchという評価ベンチマークも設計

2. 先行研究と比べてどこがすごい?

- 従来のテキスト指示ベース編集は意味表現力が高いが空間制御が粗い - 視覚プロンプト(dragやpoint)ベース編集は空間精度が高いが意味意図が曖昧 - TV-Editは両者を統合し、より正確な空間制御、指示の曖昧さ低減、構造的一貫性向上を実現 - 複数の編集バックボーンでSOTAの指示ベースおよびdragベース手法を大幅に上回る

3. 技術・手法の肝は?

- テキスト・視覚指示ペアデータセットを動的動画から構築(23K以上) - TV-Editフレームワーク:dragやpointベースの視覚指示を画像テキスト意味と文脈化 - 意味認識制御表現に変換し、事前学習済み編集バックボーンに注入 - 意味意図と空間制約を統合することで、精密な空間制御と指示忠実性を実現

4. どうやって有効だと検証した?

- TV-Edit-Benchを新たに設計:意味忠実性、空間アライメント、視覚的一貫性を評価 - 正解参照と制御されたテキスト・視覚変動を含む - 複数の編集バックボーンで実験し、SOTAの指示ベースおよびdragベースベースラインと比較 - TV-Editが一貫してより正確で意図に忠実な編集を実現することを示した

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、ユーザビリティなどに関する議論は記載なし)

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:指示ベース画像編集、dragベース画像編集 - 関連手法:Textual instruction-based editing, Visual prompt-based editing (drag, point) - 同分野の定番:InstructPix2Pix, DragGANなど(一般名として)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenxi Xie, Yuhui Wu, Qiaosi Yi, Lei Zhang

分類: cs.CV

原文アブストラクト

Existing image editing methods can be generally categorized into textual instruction-based and visual prompt-based ones. Textual instructions are semantically expressive, but are limited by the coarse granularity of spatial control of the editing results. In contrast, visual prompts such as drag and point can provide precise spatial guidance, but are limited by the inherent ambiguity in semantic intent. To unify the strength of textual and visual prompts, we present Text-Vision Co-Instructed Image Editing, which jointly models textual instructions as semantic intent and sparse visual instructions as spatial guidance, aiming to achieve precise and intent-faithful image manipulation. To this end, we first construct a textual-visual instruction paired dataset with more than 23K samples derived from dynamic videos, enabling aligned supervision for cross-modal instruction. We then propose TV-Edit, a Textual-Visual instruction unified Editing framework to contextualize drag or point-based visual instructions with image-text semantics and lift them into semantic-aware control representations for pretrained editing backbones. By integrating semantic intent and spatial constraints, TV-Edit leads to more precise spatial control, less instruction ambiguity, and stronger structural consistency than text-only or drag-based alternatives. Finally, we establish TV-Edit-Bench, a deliberately designed benchmark to evaluate semantic faithfulness, spatial alignment, and visual consistency with ground-truth references and controlled textual-visual variations for reliable assessment. Our experiments across multiple editing backbones demonstrate that TV-Edit consistently yields more precise and intent-faithful edits, significantly outperforming state-of-the-art instruction-based and drag-based baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI