日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

生成モデルarXiv:2605.18324

表現オートエンコーダによる改良ベースライン

Improved Baselines with Representation Autoencoders

シェア:XThreadsFacebookLINEはてブBluesky

表現オートエンコーダ(RAE)の設計を改良し、再構成性能と収束速度を大幅に向上させた。特に、層の和を用いた表現、REPAとの相補性、CFGのための無料ガイダンスを実現した。

詳しい要約

1. どんなもの?

- Representation Autoencoders (RAE) は従来の VAE を pretrained vision encoder で置き換える手法。 - 本論文は RAE の設計選択を体系的に調査し、簡素化と改善を行う RAEv2 を提案。 - 3つの知見: (1) 表現を最後の k 層の和として定義、(2) RAE と REPA の相補的メカニズム、(3) REPA を x-prediction と見なし guidance を無償化。 - ImageNet-256 で gFID 1.06 を 80 epochs で達成、FDr6 で 2.17 を 80 epochs で達成。 - 訓練効率指標 EPFID@k を提案し、EPFID@2 が 35 epochs (元 RAE は 177)。 - text-to-image 生成や navigation world models でも一貫した改善を確認。

2. 先行研究と比べてどこがすごい?

- 元の RAE は最終層のみを表現に使い、再構成が不十分で encoder finetuning や特殊データが必要だった。 - 本手法は最後の k 層の和を使うだけで再構成を大幅改善し、finetuning 不要。 - 従来 RAE は REPA を置き換えると想定されていたが、両者は相補的で同一表現を encoder と target の両方に使えることを発見。 - 元 RAE は classifier-free guidance (CFG) が苦手で AutoGuidance (AG) 用に弱い第2の diffusion model の訓練が必要だったが、REPA を x-prediction と見なし再パラメータ化で guidance を無償提供。 - 収束が 10 倍以上高速化し、ImageNet-256 で gFID 1.06 (80 epochs)、FDr6 で 2.17 (80 epochs、post-training なし) を達成。 - 従来最高 FDr6 3.26 (800 epochs) を大幅に上回る。

3. 技術・手法の肝は?

- 表現を最終層ではなく最後の k encoder 層の和として定義する一般化定式化を導入。 - RAE と REPA の大規模実証分析により、同一表現を encoder と中間 diffusion 層の target の両方に使う設計。 - REPA を RAE latent space における x-prediction と解釈し、DiT model の出力を再パラメータ化することで guidance を無償化。 - これにより CFG や追加の AutoGuidance モデルなしで guidance を実現。 - 訓練効率の指標として EPFID@k (unguided gFID < k に到達する epochs) を提案。

4. どうやって有効だと検証した?

- ImageNet-256 で gFID 1.06 を 80 epochs で達成し state-of-the-art。 - FDr6 で 2.17 を 80 epochs で達成 (post-training なし)、従来最高 3.26 (800 epochs) を上回る。 - EPFID@2 が 35 epochs で、元 RAE の 177 epochs と比較し訓練効率を実証。 - text-to-image 生成および navigation world models の多様な設定で一貫した改善を検証。 - コードは https://raev2.github.io で公開。

5. 議論はある?

- 要旨からは不明。 - ただし RAE と REPA の相補的メカニズムの発見や、REPA の x-prediction 解釈など、設計選択の理論的含意が示唆される。 - 限界や失敗事例、計算コスト、k の選択基準などは要旨では言及されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Representation Autoencoders (RAE)、REPA (representation alignment)、AutoGuidance (AG)、classifier-free guidance (CFG)、DiT model。 - 関連手法として VAE、diffusion model、ImageNet-256、FDr6 が挙げられる。 - 同分野の定番として latent diffusion models (LDM) や DiT も次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jaskirat Singh, Boyang Zheng, Zongze Wu, Richard Zhang, Eli Shechtman, Saining Xie

分類: cs.CV, cs.AI, cs.GR, cs.LG, stat.ML

原文アブストラクト

Representation Autoencoders (RAE) replace traditional VAE with pretrained vision encoders. In this paper, we systematically investigate several design choices and find three insights which simplify and improve RAE. First, we study a generalized formulation where the representation is defined as sum of the last k encoder layers rather than solely the final layer. This simple change greatly improves reconstruction without encoder finetuning or specialized data (e.g., text, faces). Second, we study the prevalent assumption that RAE (using pretrained representation as encoder) replaces representation alignment (REPA), which distills the same representation to intermediate layers instead. Through large-scale empirical analysis, we uncover a surprising finding: RAE and REPA exhibit complementary working mechanisms, allowing the same representation to be used as both encoder and target for intermediate diffusion layers. Finally, the original RAE struggles with classifier-free guidance (CFG) and requires training a second, weaker diffusion model for AutoGuidance (AG). We show that REPA itself can be viewed as x-prediction in RAE latent space. By simply re-parameterizing the output of the DiT model, it can provide guidance for "free". Overall, RAEv2 leads to more than 10x faster convergence over the original RAE, achieving a state-of-the-art gFID of 1.06 in just 80 epochs on ImageNet-256. On FDr6, RAEv2 achieves a state-of-the-art 2.17 at just 80 epochs compared to the previous best 3.26 (800 epochs) without any post-training. This motivates EPFID@k (epochs to reach unguided gFID < k) as a measure of training efficiency. RAEv2 attains an EPFID@2 of 35 epochs, versus 177 for the original RAE. We also validate our approach across diverse settings for text-to-image generation and navigation world models, showing consistent improvements. The code is available at https://raev2.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI