日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2511.20462

STARFlow-V: 正規化フローによるエンドツーエンド動画生成モデリング

STARFlow-V: End-to-End Video Generative Modeling with Normalizing Flows

シェア:XThreadsFacebookLINEはてブBluesky

正規化フローを用いた動画生成モデルSTARFlow-Vを提案し、時空間潜在空間でのグローバル・ローカル構造とフロースコアマッチングにより、拡散モデルに匹敵する高品質な動画生成を実現した。

詳しい要約

1. どんなもの?

- STARFlow-Vは、Normalizing Flows (NF) を用いたエンドツーエンドの動画生成モデルである。 - 連続データに対する尤度ベースの生成モデルであるNFを、時空間的複雑さと計算コストが高い動画生成領域に適用する試み。 - 時空間潜在空間で動作し、global-localアーキテクチャを採用する。 - 因果的依存をglobal潜在空間に限定しつつ、フレーム内の豊かなlocal相互作用を保持する。 - 同一モデルでtext-to-video、image-to-video、video-to-video生成をネイティブにサポートする。

2. 先行研究と比べてどこがすごい?

- 動画生成の最先端はほぼdiffusion-basedモデルに依存しているが、本研究はNFベースの動画生成器を提示する点で設計空間を再訪する。 - NFの利点として、エンドツーエンド学習、頑健な因果予測、ネイティブな尤度推定を挙げる。 - 標準的なautoregressive diffusion model生成で問題となる時間方向の誤差蓄積を緩和する。 - 著者らの知る限り、NFが高品質なautoregressive動画生成を実現できる最初の証拠を示す。

3. 技術・手法の肝は?

- 最近提案されたSTARFlowを基盤とし、時空間潜在空間でglobal-localアーキテクチャを採用する。 - 因果依存をglobal潜在空間に制限し、フレーム内のlocal相互作用は保持する。 - flow-score matchingを提案し、軽量なcausal denoiserを備えてautoregressiveな動画生成の一貫性を改善する。 - サンプリング効率向上のため、video-aware Jacobi iteration schemeを採用する。 - これは因果性を破らずに内部更新を並列化可能な反復として再構成する。 - 可逆構造により、同一モデルで複数タスクをネイティブに扱える。

4. どうやって有効だと検証した?

- 実験的に、diffusion-basedベースラインと比較して、実用的なサンプリングスループットのもとで強い視覚的忠実度と時間的一貫性を達成したと報告する。 - 具体的なデータセット名や評価指標の詳細は要旨からは不明。 - コードと生成サンプルはhttps://github.com/apple/ml-starflowで公開されている。

5. 議論はある?

- NFベースの動画生成が高品質なautoregressive生成を実現できることを示し、world models構築に向けた有望な研究方向として位置づける。 - 時間方向の誤差蓄積の緩和、因果予測、尤度推定、サンプリング効率が主な論点。 - 具体的な限界や失敗事例、計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- STARFlow(本研究の基盤となった最近提案のNFベース手法)。 - diffusion-basedな動画生成モデル(要旨で比較対象として言及されるベースライン群)。 - autoregressive diffusion model(誤差蓄積の比較対象として言及)。 - Normalizing Flowsを用いた画像生成の最近の進展(要旨で言及される画像生成での進歩)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiatao Gu, Ying Shen, Tianrong Chen, Laurent Dinh, Yuyang Wang, Miguel Angel Bautista, David Berthelot, Josh Susskind, Shuangfei Zhai

分類: cs.CV, cs.LG

原文アブストラクト

Normalizing flows (NFs) are end-to-end likelihood-based generative models for continuous data, and have recently regained attention with encouraging progress on image generation. Yet in the video generation domain, where spatiotemporal complexity and computational cost are substantially higher, state-of-the-art systems almost exclusively rely on diffusion-based models. In this work, we revisit this design space by presenting STARFlow-V, a normalizing flow-based video generator with substantial benefits such as end-to-end learning, robust causal prediction, and native likelihood estimation. Building upon the recently proposed STARFlow, STARFlow-V operates in the spatiotemporal latent space with a global-local architecture which restricts causal dependencies to a global latent space while preserving rich local within-frame interactions. This eases error accumulation over time, a common pitfall of standard autoregressive diffusion model generation. Additionally, we propose flow-score matching, which equips the model with a light-weight causal denoiser to improve the video generation consistency in an autoregressive fashion. To improve the sampling efficiency, STARFlow-V employs a video-aware Jacobi iteration scheme that recasts inner updates as parallelizable iterations without breaking causality. Thanks to the invertible structure, the same model can natively support text-to-video, image-to-video as well as video-to-video generation tasks. Empirically, STARFlow-V achieves strong visual fidelity and temporal consistency with practical sampling throughput relative to diffusion-based baselines. These results present the first evidence, to our knowledge, that NFs are capable of high-quality autoregressive video generation, establishing them as a promising research direction for building world models. Code and generated samples are available at https://github.com/apple/ml-starflow.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI