日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2601.23075

RN-D: オンポリシー強化学習のための離散化カテゴリカルアクター

RN-D: Discretized Categorical Actors for On-Policy Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

連続制御のオンポリシー強化学習において、ガウス分布アクターの代わりに各行動次元を離散ビン上の分布として表現するカテゴリカルアクターと正則化ネットワークを組み合わせ、ベンチマークで最先端性能を達成した。

詳しい要約

1. どんなもの?

On-policy Reinforcement Learning (RL) における actor 表現を再検討し、各 action 次元を離散 bin 上の分布として表す discretized categorical actor を提案する。さらに supervised learning の architectural advances である regularized networks と組み合わせた RN-D を導入する。連続制御ベンチマークで評価し、on-policy RL 内で state-of-the-art を達成したと主張する。コードも公開されている。

2. 先行研究と比べてどこがすごい?

標準的な on-policy RL は Gaussian actor と比較的浅い MLP policy に依存し、noisy gradients 下で brittle optimization や保守的な policy updates を招きやすい。本研究は actor policy representation を first-class design choice として扱い、Gaussian actor を discretized categorical actor に置き換えるだけで性能を大幅に改善し、on-policy RL 内で state-of-the-art に到達した点が先行研究と異なる。

3. 技術・手法の肝は?

- discretized categorical actor - 各 action 次元を離散 bin 上の分布として表現 - classification cross-entropy loss に類似した policy objective を誘導 - regularized networks - supervised learning の architectural advances を活用 - discretized categorical actor と組み合わせて RN-D を構成 - 標準 Gaussian actor からの単純置換で適用可能

4. どうやって有効だと検証した?

多様な continuous-control benchmarks を用いて検証。標準 Gaussian actor を提案 actor に置き換えることで性能が大幅に向上し、on-policy RL 内で state-of-the-art 結果を達成したと報告。具体的なベンチマーク名や比較手法の詳細は要旨からは不明。

5. 議論はある?

要旨からは不明。ただし、noisy gradients 下での brittle optimization や保守的な policy updates といった標準 Gaussian actor の問題点が動機として述べられている。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法として on-policy RL の代表的手法である PPO (Proximal Policy Optimization) や TRPO (Trust Region Policy Optimization)、および Gaussian actor を用いる標準的実装が挙げられる。また、regularized networks の元となった supervised learning の architectural advances も読むべき候補である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuexin Bian, Jie Feng, Tao Wang, Yijiang Li, Sicun Gao, Yuanyuan Shi

分類: cs.LG, cs.RO

原文アブストラクト

On-policy Reinforcement Learning (RL) remains a dominant paradigm for continuous control, yet standard implementations rely on Gaussian actors and relatively shallow MLP policies, often leading to brittle optimization when gradients are noisy, and policy updates must be conservative. In this paper, we revisit actor policy representation as a first-class design choice for on-policy RL. We study discretized categorical actors, which represent each action dimension as a distribution over discrete bins and induce a policy objective analogous to classification cross-entropy loss. Building on architectural advances from supervised learning, we further pair discretized categorical actors with regularized networks, yielding RN-D. Across diverse continuous-control benchmarks, we show that simply replacing the standard Gaussian actor with our proposed actor substantially improves performance, achieving state-of-the-art results within on-policy RL. We release our code at https://github.com/alwaysbyx/RND-RL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI