日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像・動画編集arXiv:2610.17829

QK-Edit: MM-DiTにおける画像・動画編集のための注意機構注入の再検討

QK-Edit: Revisiting Attention-based Injection in MM-DiT for Image and Video Editing

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル拡散トランスフォーマー(MM-DiT)の注意機構を訓練なしで操作し、テキスト指示による画像・動画編集を高精度に行う手法を提案。

詳しい要約

1. どんなもの?

- MM-DiT(Multimodal Diffusion Transformer)向けの学習不要な画像・動画編集フレームワーク - テキスト誘導による精密な編集を実現 - オブジェクト追加・削除・置換、背景・素材・色変更、スタイル変換などに対応 - FLUXやHunyuanVideoなどの最先端モデルに適用可能

2. 先行研究と比べてどこがすごい?

- 従来のU-Netベースのattention操作手法はMM-DiTでは効果が薄い - MM-DiTのMultimodal Self-Attention(MM-SA)の特性を活かした初の試み - 学習不要で、推論時のfeature replacementで容易に実装可能 - プロンプト忠実性と構造一貫性のバランスを最適化

3. 技術・手法の肝は?

- MM-DiTのattention dynamicsを分析し、query-key操作戦略を導入 - 重要なattentionコンポーネントを分離・調整 - 推論時にfeature replacementを適用するだけで編集を実現 - 学習を必要としないtraining-freeフレームワーク

4. どうやって有効だと検証した?

- FLUXやHunyuanVideoなどの最先端モデル上で評価 - オブジェクト追加・削除・置換、背景・素材・色変更、スタイル変換などのタスクで優れた編集性能を確認 - 具体的な評価指標やデータセットは要旨からは不明

5. 議論はある?

- MM-DiTのattentionメカニズムの理解と編集への応用可能性を示唆 - 生成能力と編集柔軟性のギャップを橋渡し - スケーラブルなマルチモーダルコンテンツ作成への道を開く - 限界や課題については要旨からは不明

6. 次に読むべき論文は?

- FLUX (Black Forest Labs) - HunyuanVideo (Tencent) - U-Netベースのattention操作手法(例: Prompt-to-Prompt, Null-text Inversion) - Multimodal Diffusion Transformer (MM-DiT) の原論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tiancheng Shen, Zilong Huang, Xiangtai Li, Zhijie Lin, Jiyang Liu, Yitong Wang, Jiashi Feng, Ming-Hsuan Yang, Jun Hao Liew

分類: cs.CV, cs.AI

原文アブストラクト

Multimodal Diffusion Transformers (MM-DiTs) have recently emerged as a powerful framework for unified text-vision synthesis, surpassing traditional U-Net architectures in generative tasks. One key innovation lies in its Multimodal Self-Attention (MM-SA) interaction, where image and text tokens are concatenated and processed via self-attention. However, this mechanism poses significant challenges for editing, rendering conventional U-Net-based attention manipulation methods ineffective. To address this limitation, we propose QK-Edit, a training-free framework that exploits the unique attention dynamics of MM-DiTs for precise text-guided image and video editing. By introducing a novel query-key manipulation strategy, our method isolates and adjusts critical attention components to achieve an optimal balance between prompt fidelity and structural consistency. This enables seamless edits across various tasks, including object addition, object removal, object replacement, changing background, changing material, changing color, and style transformation. Notably, it can be easily implemented with feature replacement in inference. QK-Edit demonstrates superior editing performance on state-of-the-art models, such as FLUX and HunyuanVideo, effectively bridging the gap between generative power and editable flexibility in MM-DiTs, and paving the way for scalable multimodal content creation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI