日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2610.00686

SemanTok: 効率的な自己回帰動画生成のための予測可能なセマンティックトークン

SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation

シェア:XThreadsFacebookLINEはてブBluesky

凍結DINO特徴を再構成する軽量ヘッドを備えた可変長動画トークナイザを提案し、自己回帰動画生成の忠実度と意味整合性を向上させた。

詳しい要約

1. どんなもの?

- ビデオベースのworld model向けに、autoregressive (AR) 予測とdiffusion modelの視覚品質を組み合わせたSemanTokを提案。 - 柔軟長のcoarse-to-fine tokenizerで、最初の粗いトークンがクリップのグローバルなsemanticsを担い、後のトークンが詳細を指定。 - 各ARモデルサイズで高いsemantic alignmentとビデオfidelityを実現。

2. 先行研究と比べてどこがすごい?

- 既存のflexible tokenizerは、早期decoder hidden statesにrepresentation-alignment (REPA) lossを適用するのみで、decoderがnoised inputから部分的に満たせる目標だった。 - SemanTokは、frozen DINO featuresをencoderに入力し、各保持トークンprefixからそれらを再構成する軽量headを追加。 - 201MのSemanTok ARモデルが、3.4倍のサイズのVideoFlexTok ARモデルに匹敵または上回る。 - より大きなSemanTok ARモデルはさらにfidelityを改善。 - out-of-distributionクラスでもsemantic alignmentを維持し、あらゆるnoise level(純粋なnoiseを含む)でdecoderのsemantic alignmentを高める。

3. 技術・手法の肝は?

- 柔軟なビデオtokenizerであるSemanTokを導入。 - frozen DINO featuresをencoderに供給。 - 各保持トークンprefixのみからDINO featuresを再構成する軽量headを追加。 - これにより、各トークンprefixが高いsemantic alignmentを達成。 - 短いトークンprefixは予測が安価で、生成fidelityが向上し、ピクセル詳細は後のトークンに先送り。

4. どうやって有効だと検証した?

- 再構成と生成の両方で良好に動作。 - 201MのSemanTok ARモデルが3.4倍のVideoFlexTok ARモデルに匹敵または上回ることを確認。 - より大きなSemanTok ARモデルがfidelityをさらに改善。 - out-of-distributionクラスでsemantic alignmentを維持。 - あらゆるnoise level(純粋なnoiseを含む)でdecoderのsemantic alignmentが高い。 - 短いトークンprefixが予測コストが低く、生成fidelityが良いことを示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- VideoFlexTok(比較対象として言及) - DINO(frozen featuresとして使用) - REPA loss(既存手法として言及) - autoregressive video generation(関連分野) - diffusion models(関連分野)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mikhail Dereviannykh, Vikram Voleti, Simon Donne, Mallikarjun Byrasandra Ramalinga Reddy, Shimon Vainer, Mark Boss

分類: cs.CV, cs.LG

原文アブストラクト

Recent video-based world models pair the scalability of autoregressive (AR) prediction with the visual quality of diffusion models. The choice of scene tokenizer is paramount for the optimal performance of each of these, both in terms of fidelity and semantics. Flexible-length, coarse-to-fine tokenizers yield exactly that: the first coarse tokens carry the clip's global semantics while later tokens further specify details. Existing flexible tokenizers only apply a representation-alignment (REPA) loss on early decoder hidden states, a target the decoder can partly meet from its noised input instead. We introduce SemanTok, a flexible video tokenizer that feeds frozen DINO features into its encoder and adds lightweight heads that reconstruct them from each retained token prefix alone. SemanTok achieves high semantic alignment and video fidelity at every AR model size: a 201M SemanTok AR model matches or beats a VideoFlexTok AR model $3.4\times$ its size, and larger SemanTok AR models further improve fidelity. It keeps semantic alignment on out-of-distribution classes and gives the decoder higher semantic alignment at every noise level, including pure noise. It performs well in both reconstruction and generation, and its short token prefixes are cheaper to predict and give better generation fidelity, with pixel detail deferred to later tokens.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI