日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

学習最適化arXiv:2605.17923

AdaptiveLoad: 効率的なビデオ拡散トランスフォーマー学習に向けて

AdaptiveLoad: Towards Efficient Video Diffusion Transformer Training

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成モデルの学習におけるGPU負荷不均衡を解消するため、メモリと計算量の二重制約による適応的負荷分散と、融合LayerNorm-Modulate CUDAカーネルを提案し、スループットを27.2%向上させた。

詳しい要約

1. どんなもの?

- ビデオ生成モデル、特にworld modelsにおける大規模video diffusion Transformer(DiTやMMDiT)の訓練を効率化するための統合最適化フレームワーク「AdaptiveLoad」を提案。 - 混合モードデータセット内のシーケンス長の極端な分散に起因する計算負荷の不均衡を解消することを目的とする。 - 既存のbucket-based data loading戦略の限界を指摘し、self-attentionの二次複雑性を考慮した新しい負荷分散手法を導入。

2. 先行研究と比べてどこがすごい?

- 既存のbucket-based data loading戦略は「等トークン長」制約に依存し、self-attentionの二次複雑性を考慮していないため、負荷不均衡とGPUリソースの未活用が生じていた。 - 提案手法はメモリ消費と計算負荷を同時に制限するdual-constraint adaptive load balancingを導入し、長シーケンスのボトルネックを排除。 - さらにfused LayerNorm-Modulate CUDA kernelによりスループットを向上させ、メモリ圧力を緩和。 - 実験では計算不均衡率を39%から18.9%に低減し、ピークVRAM利用効率を22.7%改善、訓練スループットを27.2%向上させた。

3. 技術・手法の肝は?

- 二つの核心コンポーネントからなる統合最適化フレームワーク。 - dual-constraint adaptive load balancing system:メモリ消費と計算負荷を同時に制限(B × S^p ≤ M_comp)し、長シーケンスのボトルネックを解消。 - fused LayerNorm-Modulate CUDA kernel:D-tile coalesced reduction戦略を利用してスループットを増加させ、メモリ圧力を緩和。 - これらにより、混合モードデータセットにおける負荷不均衡を動的に適応的に処理。

4. どうやって有効だと検証した?

- Wan 2.1 world model上での実験により有効性を検証。 - 計算不均衡率が39%から18.9%に減少。 - ピークVRAM利用効率が22.7%向上。 - 全体的な訓練スループットが27.2%増加。

5. 議論はある?

- 要旨からは不明。 - 提案手法の限界や適用範囲、他のモデルへの一般化可能性についての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:bucket-based data loading strategies、DiT、MMDiT、Wan 2.1 world model。 - 関連手法として、video diffusion Transformerの訓練効率化に関する研究や、load balancing in distributed training、CUDA kernel fusionの論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yucheng Guo, Yongjian Guo, Zhong Guan, Haoran Sun, Wen Huang, Wanting Xu, Jing Long, Shuai Di, Junwu Xiong

分類: cs.DC, cs.AI, cs.LG

原文アブストラクト

In video generation models, particularly world models, training large-scale video diffusion Transformers (such as DiT and MMDiT) poses significant computational challenges due to the extreme variance in sequence lengths within mixed-mode datasets. Existing bucket-based data loading strategies typically rely on "equal token length" constraints. This approach fails to account for the quadratic complexity of self-attention mechanisms, leading to severe load imbalance and underutilization of GPU resources. This paper proposes \textit{AdaptiveLoad}, an integrated optimization framework consisting of two core components: (1) A dual-constraint adaptive load balancing system, which eliminates long-sequence bottlenecks by simultaneously limiting memory consumption and computational load ($B \times S^p \le M_{\text{comp}}$); (2) A fused LayerNorm-Modulate CUDA kernel, which utilizes a D-tile coalesced reduction strategy to increase throughput and alleviate memory pressure. Experimental results on the Wan 2.1 world model demonstrate that our method reduces the computational imbalance rate from 39\% to 18.9\%, improves peak VRAM utilization efficiency by 22.7\%, and achieves an overall training throughput increase of 27.2\%.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI