日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

深層学習/正則化arXiv:2605.29525

隠れ表現の摂動学習による汎化可能な深層学習

Learning to Perturb Hidden Representations for Generalizable Deep Learning

シェア:XThreadsFacebookLINEはてブBluesky

深層ネットワークの中間活性化に対する摂動を統一的に解析し、クラスごとの摂動を学習する手法LPAを提案。バランス分類やロングテール分類、ドメイン汎化で既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- 深層ニューラルネットワークの隠れ層活性化に対する統一的な摂動フレームワークを提案。 - Dropout, Manifold Mixup, adversarial feature perturbation などを含む。 - 活性化のノルムを増加させる expansive perturbation を positive augmentation、減少させる contractive perturbation を negative augmentation と仮定。 - 摂動層の深さにより input-level augmentation か logit-level manipulation に似た効果になると推測。 - Learning to Perturb Activations (LPA) を提案。選択した隠れ層でクラスレベルの摂動を PGD で学習し適応的に摂動。 - 理論解析で活性化摂動と flat minima、層を通じた摂動増幅の関連を示す。 - balanced classification, long-tail classification, domain general…

2. 先行研究と比べてどこがすごい?

- 入力、logit、ラベルレベルの摂動は系統的に研究されているが、中間の隠れ活性化は統一的な摂動解析がなかった。 - 既存手法(Dropout, Manifold Mixup, adversarial feature perturbation など)は特定の活性化摂動を課すが、クラス非依存またはランダム戦略である。 - LPA はクラスレベルの摂動を PGD で学習し適応的に行う点で異なる。 - 実験で既存手法を一貫して上回り、LPL などの logit 摂動手法に補完的な利益を提供。

3. 技術・手法の肝は?

- 隠れ活性化摂動の統一フレームワークを構築。 - expansive perturbation(活性化ノルム増加)を positive augmentation、contractive perturbation(活性化ノルム減少)を negative augmentation と仮定。 - 摂動層の深さが input-level augmentation(浅い層)か logit-level manipulation(深い層)に似た効果を決めると推測。 - LPA: 選択した隠れ層でクラスレベルの摂動を PGD で学習し適応的に摂動。 - 理論解析: 活性化摂動と flat minima の関連、層を通じた摂動増幅を接続。

4. どうやって有効だと検証した?

- balanced classification, long-tail classification, domain generalization の実験で検証。 - LPA が既存手法を一貫して上回ることを示す。 - logit 摂動手法(LPL など)に補完的な利益を提供することを示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Dropout, Manifold Mixup, adversarial feature perturbation, LPL が参照/比較されている。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hua Li

分類: cs.LG

原文アブストラクト

Deep neural networks process data through a cascade of representations: input features, hidden activations, logits, and loss. While perturbations at the input, logit, and label levels have been systematically studied, the intermediate hidden activations, which constitute the bulk of the network's computation, have received no unified perturbation analysis. In this paper, we establish a unified framework for hidden activation perturbation, revealing that Dropout, Manifold Mixup, adversarial feature perturbation, and related methods all impose specific forms of activation perturbation but with class-agnostic or random strategies. We conjecture that expansive perturbation (increasing activation norm) acts as positive augmentation, while contractive perturbation (decreasing activation norm) acts as negative augmentation, and that the perturbation layer determines whether the effect resembles input-level augmentation (shallow layers) or logit-level manipulation (deep layers). We propose Learning to Perturb Activations (LPA), which adaptively perturbs activations at a selected hidden layer with class-level perturbations learned via PGD. We further provide theoretical analysis connecting activation perturbation to flat minima and perturbation amplification through layers. Experiments on balanced classification, long-tail classification, and domain generalization demonstrate that LPA consistently outperforms existing methods and provides complementary benefits to logit perturbation methods such as LPL.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI