日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2507.11975

深層強化学習ネットワークのオンライン訓練とプルーニング

Online Training and Pruning of Deep Reinforcement Learning Networks

シェア:XThreadsFacebookLINEはてブBluesky

強化学習の特徴抽出ネットワーク(OFENet)を対象に、訓練とプルーニングを同時に行う手法を提案し、計算・メモリコストを削減する。

詳しい要約

1. どんなもの?

- 深層強化学習(DL/RL)のネットワークを学習と同時に枝刈り(pruning)する手法 XiNet の提案 - 特に Online Feature Extractor Network (OFENet) で強化された RL アルゴリズムを対象 - 連続制御ベンチマーク MuJoCo と Soft Actor-Critic で評価 - 学習中の pruning が、小さいネットワークを最初から学習するより効率的で高性能な RL エージェントを生むことを示す

2. 先行研究と比べてどこがすごい?

- NN pruning は主に supervised learning で成功しているが、RL への適用は underexplored と指摘 - 本研究は simultaneous training and pruning を OFENet を用いる高度な RL 手法に統合 - DenseNet アーキテクチャの OFENet に合わせた cost-aware で sparsity を促す regularization を提案 - 多数の hyperparameter を自動選択し、RL 目的と network compression を実質的に統合する点が特徴

3. 技術・手法の肝は?

- RL ネットワークの weights と、各 unit をスケールする 0/1 Random Variables ξ の variational Bernoulli 分布のパラメータに関する stochastic optimization として定式化 - この定式化が regularization 項を誘導し、unit の寄与が小さいと variational パラメータが 0 に収束 - 収束した構造は恒久的に inactive とされ、ネットワークから pruned される - DenseNet ベース OFENet に合わせ、関与ネットワークのパラメータ複雑度を RV のパラメータで表現する cost-aware, sparsity-promoting regularization scheme を提案 - この cost と regularization 項を一致させると、関連する多数の hyperparameter が自動選択される

4. どうやって有効だと検証した?

- 連続制御ベンチマーク MuJoCo と Soft Actor-Critic RL agent で評価 - OFENet を性能の最小限の損失でかなり pruning できることを示す - 学習中の大規模ネットワークの pruning が、小さいネットワークを最初から学習するより効率的で高性能な RL エージェントを生むことを結果が確認

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、計算コストの詳細な議論は記述されていない) - 示されている範囲では、性能損失を最小限に抑えつつ OFENet を大幅に pruning 可能 - 学習中 pruning が from-scratch の小規模ネットワーク学習より効率的・高性能という主張

6. 次に読むべき論文は?

- Online Feature Extractor Network (OFENet) - Soft Actor-Critic - DenseNet - variational Bernoulli distribution を用いた pruning 関連手法 - supervised learning における neural network pruning 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Valentin Frank Ingmar Guenter, Athanasios Sideris

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Scaling deep neural networks (NN) of reinforcement learning (RL) algorithms has been shown to enhance performance when feature extraction networks are used but the gained performance comes at the significant expense of increased computational and memory complexity. Neural network pruning methods have successfully addressed this challenge in supervised learning. However, their application to RL is underexplored. We propose an approach to integrate simultaneous training and pruning within advanced RL methods, in particular to RL algorithms enhanced by the Online Feature Extractor Network (OFENet). Our networks (XiNet) are trained to solve stochastic optimization problems over the RL networks' weights and the parameters of variational Bernoulli distributions for 0/1 Random Variables $\xi$ scaling each unit in the networks. The stochastic problem formulation induces regularization terms that promote convergence of the variational parameters to 0 when a unit contributes little to the performance. In this case, the corresponding structure is rendered permanently inactive and pruned from its network. We propose a cost-aware, sparsity-promoting regularization scheme, tailored to the DenseNet architecture of OFENets expressing the parameter complexity of involved networks in terms of the parameters of the RVs in these networks. Then, when matching this cost with the regularization terms, the many hyperparameters associated with them are automatically selected, effectively combining the RL objectives and network compression. We evaluate our method on continuous control benchmarks (MuJoCo) and the Soft Actor-Critic RL agent, demonstrating that OFENets can be pruned considerably with minimal loss in performance. Furthermore, our results confirm that pruning large networks during training produces more efficient and higher performing RL agents rather than training smaller networks from scratch.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI