日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ生成/モーション制御arXiv:2607.01869

QWERTY: クエリ変形によるビデオ拡散トランスフォーマーの学習不要モーション制御

QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ拡散トランスフォーマー(DiT)において、学習なしでユーザー指定のオブジェクト変形やオプティカルフローに基づくモーション制御を実現するフレームワークを提案。クエリのセマンティック部分空間を変形することで、生成軌道を所望のモーションへ導く。

詳しい要約

1. どんなもの?

QWERTYは、事前学習済みのimage-to-video video diffusion transformer (DiT)に対して、追加学習なしでユーザー定義のオブジェクト変形やオプティカルフローに基づく柔軟なモーション制御を実現するフレームワークである。テキストプロンプトに依存せず、空間的プロンプト(バウンディングボックスや点軌跡など)を用いて明示的なモーション制御を行う。DiTの3D full attentionにおいて、クエリのフレーム不変な意味的部分空間をワープすることで、ノイズ予測を所望のモーションへ導く。さらに、そのノイズを自己ガイダンスとして潜在変数の最適化に利用することで、制御の安定性と画質を向上させる。

2. 先行研究と比べてどこがすごい?

従来のモーション制御は、テキストプロンプトに依存するため、所望の動きを得るにはプロンプトエンジニアリングや再サンプリングが必要だった。また、空間的プロンプトで明示的に制御するには、モデルのファインチューニングが必要で、データ収集と計算コストがかかり、事前学習モデルの生成能力を損なう可能性があった。U-Netベースのビデオ拡散モデルではトレーニング不要のモーション制御が探求されてきたが、DiTでは未開拓だった。QWERTYは、DiTに対してトレーニング不要で空間的プロンプトによるモーション制御を可能にし、ファインチューニング法に匹敵する性能を達成する点が新しい。

3. 技術・手法の肝は?

手法の核心は、DiTの3D full attentionにおけるクエリの操作にある。具体的には、フレーム不変な意味的部分空間(semantic subspace)をユーザー定義のワーピング(オブジェクトの変形やオプティカルフローに基づく)によって変形する。これにより、クエリがワープされたDiTが予測するノイズが、所望のモーションへ拡散軌道を自然に導くことを利用する。さらに、このノイズを自己ガイダンスとして用いて、潜在変数を最適化することで、制御の安定性と視覚品質を向上させる。

4. どうやって有効だと検証した?

実験では、最近のimage-to-video DiTモデルを用いて、既存のトレーニング不要アプローチと比較し、QWERTYが最も効果的なモーション制御を達成することを示した。また、ファインチューニングベースの手法と同等の性能を持つことも確認した。具体的な評価指標やデータセットは要旨からは不明だが、定量的・定性的な比較が行われたと推測される。

5. 議論はある?

要旨からは、QWERTYの制御がオブジェクトの変形やオプティカルフローに依存するため、複雑なモーションや複数オブジェクトの相互作用などへの適用範囲に制限がある可能性が考えられる。また、トレーニング不要であるがゆえに、ファインチューニング法に比べて制御の精度や柔軟性に限界があるかもしれない。しかし、要旨ではこれらの限界について明示的に議論されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、U-Netベースのビデオ拡散モデルにおけるトレーニング不要のモーション制御手法が挙げられる。また、DiTのアーキテクチャやvideo diffusion transformerの基礎論文、および空間的プロンプトによるファインチューニング手法(例えば、bounding boxやpoint trajectoriesを用いた制御)が関連する。具体的な論文名は要旨にないため、同分野の定番として「Video Diffusion Models」や「Diffusion Transformers」に関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kyobin Choo, Youngmin Kim, Hyunkyung Han, Geunrip Park, Chanyoung Kim, Sunyoung Jung, Seong Jae Hwang

分類: cs.CV

原文アブストラクト

Video diffusion transformers (DiTs) generate high-fidelity and temporally coherent videos, yet motion control remains implicit, primarily relying on text prompts. As a result, achieving desired motion often requires extensive prompt engineering and repeated resampling. While fine-tuning models with additional spatial prompts (e.g., bounding boxes or point trajectories) enables explicit control, it demands substantial data curation and computation, and may compromise the generative capabilities of pretrained models. Consequently, training-free motion control using such spatial prompts has been explored in U-Net-based video diffusion models, but remains largely unexplored for DiTs. We introduce QWERTY, a training-free framework that enables flexible motion control in pretrained image-to-video DiTs via user-defined object warping and optical flow. We carefully manipulate the 3D full attention of DiTs by warping the frame-invariant semantic subspace of queries. We find that the noise predicted by the query-warped DiT naturally guides the diffusion trajectory toward the desired motion, and further show that leveraging this noise as self-guidance for latent optimization improves control stability and visual quality. Experiments show that QWERTY achieves the most effective motion control among existing training-free approaches on a recent image-to-video DiT, with performance comparable to fine-tuning-based methods.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI