BAgger: 自己回帰ビデオ拡散モデルのドリフトを後方集約で軽減

- 自己回帰型ビデオ拡散モデルにおける exposure bias を軽減する手法 BAgger を提案。 - モデル自身のロールアウトから修正軌道を構築し、誤りから回復するよう学習。 - 標準的な score/flow matching 目的で訓練し、品質と多様性を維持。 - causal diffusion transformers に実装し、text-to-video、video extension、multi-prompt generation で評価。 - 長期的な動きの安定性と視覚的一貫性が向上し、drift が減少。

- 従来の few-step distillation や distribution-matching losses に依存する手法と異なり、品質や多様性を損なう可能性が低い。 - 大規模な teacher モデルや長い backpropagation through time を必要としない。 - 標準的な score/flow matching 目的で訓練できる点が優れている。 - 自己回帰モデルの exposure bias に対処しつつ、品質と多様性を維持する点が新しい。

- 自己教師あり学習スキーム Backwards Aggregation (BAgger) を導入。 - モデル自身のロールアウトから修正軌道を構築し、誤りからの回復を学習。 - 標準的な score または flow matching 目的で訓練。 - causal diffusion transformers に実装。 - 大規模 teacher や長鎖 BPTT を回避。

- text-to-video、video extension、multi-prompt generation のタスクで評価。 - 長期的な動きの安定性と視覚的一貫性が向上し、drift が減少することを観察。 - 具体的な定量評価指標やベースラインとの比較数値は要旨からは不明。

- 従来手法の few-step distillation や distribution-matching losses は品質と多様性を損なう可能性があると指摘。 - BAgger は標準的な目的関数で訓練でき、大規模 teacher や長鎖 BPTT を不要にする。 - 限界や今後の課題については要旨からは不明。

- 要旨で参照/比較されている研究: few-step distillation、distribution-matching losses を用いた先行手法。 - 関連手法: causal diffusion transformers、score matching、flow matching。 - 同分野の定番: 自己回帰ビデオ生成、拡散モデル、world modeling。