日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ生成/スパースアテンションarXiv:2608.18484

サポートを分割し、残差を再構成する:ビデオ生成とワールドモデルのための学習不要スパースアテンション

Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成やワールドモデルのトランスフォーマーを高速化するため、学習不要のブロックスパースアテンション手法SparsePRを提案。応答結合分割とプローブフィット残差再構成を組み合わせ、アテンション再構成誤差を低減しつつ、実行ペア密度22-26%で1.48-2.61倍の高速化を達成。

詳しい要約

1. どんなもの?

Training-free block-sparse attention を高速化する手法 SparsePR を提案。ビデオ生成・世界モデルの transformer において、クエリのブロック分割と残差再構成を組み合わせ、実行ペア密度を下げつつ注意再構成誤差を低減する。

2. 先行研究と比べてどこがすごい?

従来の training-free block-sparse attention は行方向の注意集中に基づくが、実行可能なスパース演算子を特定せず、クエリ間のサポート重複や softmax 後の誤差を考慮しない。SparsePR は分割形状がプールされたサポートと残差の予測可能性に影響することを示し、応答結合分割とプローブ適合残差再構成を導入。

3. 技術・手法の肝は?

SparsePR は Response-Coupled Partitioning と Probe-Fitted Residual Reconstruction を組み合わせる。サンプリングされたクエリのキー応答からペアの K/V グループを作り、その重心がクエリ応答座標を誘導してルーティングを共有。少数の正確なクエリ行で、プローブ残差で観測された出力部分空間内のスパース出力からのアフィン補正を較正する。

4. どうやって有効だと検証した?

4つの異なるビデオ生成・世界モデルで評価。SparsePR は注意再構成誤差を一貫して低減。アブレーションでプローブ適合が誤差低減の大部分を占め、応答結合分割はハードドロップ誤差を下げ、有限プローブ予算下での再構成を改善。生成品質を維持しつつ、実行ペア密度 22.0-26.0% で 1.48x-2.61x のエンドツーエンド高速化を達成。

5. 議論はある?

要旨からは不明。ただし、プローブ適合が主要な効果を持つ一方、応答結合分割の役割や、異なるモデルでの汎用性、プローブ予算の影響などが議論の余地がある。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、training-free block-sparse attention の基礎となる手法や、ビデオ transformer の高速化に関する研究が考えられる。具体的には、Sparse Attention や Block-Sparse Attention の既存研究、およびビデオ生成モデルや World Models のアーキテクチャに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pardis Taghavi, Reza Langari, Gaurav Pandey

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Training-free block-sparse attention can accelerate video transformers, but row-wise attention concentration does not by itself specify an executable sparse operator. Queries sharing a block route may have poorly overlapping supports, while retained attention mass alone does not determine the post-softmax error from skipped interactions. We show that partition geometry affects both pooled support and the predictability of the remaining residual from the sparse output. We introduce SparsePR, which combines Response-Coupled Partitioning with Probe-Fitted Residual Reconstruction. Sampled-query key responses form paired K/V groups, whose centroids induce query-response coordinates for shared routing. A small set of exact query rows then calibrates a call-specific affine correction from the sparse output within the output subspace observed in the probe residuals. Across four heterogeneous video generation and world models, SparsePR consistently reduces attention-reconstruction error. Ablations show that probe fitting accounts for most of this reduction, while response-coupled partitioning lowers hard-drop error and improves reconstruction under a finite probe budget. SparsePR preserves generation quality at 22.0-26.0% realized executed-pair density while achieving 1.48x-2.61x end-to-end speedups. Project page: https://pardistaghavi.github.io/SparsePR-website/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI