日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2601.08828

動画生成のための動き帰属分析

Motion Attribution for Video Generation

シェア:XThreadsFacebookLINEはてブBluesky

動画生成モデルにおいて、どの微調整クリップが時間的動きを改善・悪化させるかを特定する、動き中心の勾配ベースデータ帰属フレームワークを提案し、データ選別による動きの品質向上を実現した。

詳しい要約

1. どんなもの?

- ビデオ生成モデルにおけるデータの運動への影響を理解するための、運動中心の勾配ベースデータ帰属フレームワーク「Motive」を提案。 - 大規模で高品質なビデオデータセットとモデルにスケール可能。 - ファインチューニングクリップが時間的ダイナミクスを改善または劣化させるかを研究。 - 運動重み付き損失マスクにより、静的見た目から時間的ダイナミクスを分離し、効率的でスケーラブルな運動特異的な影響計算を実現。 - テキスト-to-ビデオモデルにおいて、運動に強く影響するクリップを特定し、データキュレーションを導く。 - 運動の滑らかさと動的度合いをVBenchで改善し、人間の選好勝率74.1%を達成。 - ビデオ生成モデルにおいて視覚的外観ではなく運動を帰属させる初のフレームワーク。

2. 先行研究と比べてどこがすごい?

- 従来のデータ帰属手法は視覚的外観に焦点を当てており、運動の影響を理解するのは不十分だった。 - Motiveは運動中心の帰属を可能にし、時間的ダイナミクスに特化した影響計算を実現。 - 大規模なビデオデータセットとモデルにスケールする点が新しい。 - ファインチューニングデータのキュレーションに運動帰属を利用する初の試み。

3. 技術・手法の肝は?

- 運動重み付き損失マスクを用いて、時間的ダイナミクスを静的見た目から分離。 - 勾配ベースのデータ帰属フレームワークで、運動特異的な影響を効率的に計算。 - テキスト-to-ビデオモデルに適用し、運動に強く影響するクリップを特定。 - 特定された高影響データを用いてファインチューニングデータをキュレーション。

4. どうやって有効だと検証した?

- VBench上で運動の滑らかさと動的度合いを評価。 - 事前学習済みベースモデルと比較して、人間の選好勝率74.1%を達成。 - 運動の時間的一貫性と物理的妥当性が改善されることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、データ帰属手法(例:TracIn, Influence Functions)やビデオ生成モデル(例:VBench評価を用いたモデル)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xindi Wu, Despoina Paschalidou, Jun Gao, Antonio Torralba, Laura Leal-Taixé, Olga Russakovsky, Sanja Fidler, Jonathan Lorraine

分類: cs.CV, cs.AI, cs.LG, cs.MM, cs.RO

原文アブストラクト

Despite the rapid progress of video generation models, the role of data in influencing motion is poorly understood. We present Motive (MOTIon attribution for Video gEneration), a motion-centric, gradient-based data attribution framework that scales to modern, large, high-quality video datasets and models. We use this to study which fine-tuning clips improve or degrade temporal dynamics. Motive isolates temporal dynamics from static appearance via motion-weighted loss masks, yielding efficient and scalable motion-specific influence computation. On text-to-video models, Motive identifies clips that strongly affect motion and guides data curation that improves temporal consistency and physical plausibility. With Motive-selected high-influence data, our method improves both motion smoothness and dynamic degree on VBench, achieving a 74.1% human preference win rate compared with the pretrained base model. To our knowledge, this is the first framework to attribute motion rather than visual appearance in video generative models and to use it to curate fine-tuning data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI