強化学習/ヒューマノイド制御2026/3/13arXiv:2603.12612

FastDSAC: 高次元ヒューマノイド制御における最大エントロピー強化学習の可能性を引き出す

FastDSAC: Unlocking the Potential of Maximum Entropy RL in High-Dimensional Humanoid Control

高次元のヒューマノイド制御で、次元ごとのエントロピー調整と連続分布型クリティックを導入し、最大エントロピー強化学習の性能を大幅に向上させた。

詳しい要約

1. どんなもの？

- 高次元ヒューマノイド制御におけるMaximum Entropy RLのスケーリングを目的としたFastDSACを提案。 - 次元ごとのエントロピー調整と連続分布Criticを導入。 - HumanoidBenchと連続制御タスクで評価し、高次元確率的ポリシーでSOTAを達成。 - 決定論的ベースラインと競合し、BasketballとBalance Hardで180%と350%の改善。

2. 先行研究と比べてどこがすごい？

- 従来は決定論的ポリシー勾配が高スループット領域を支配。 - 最大エントロピーRLは次元の呪いで探索非効率と訓練不安定が課題。 - FastDSACは確率的ポリシーの可能性を解き放ち、高次元で決定論的を上回る。 - 評価ベンチマークで高次元確率的ポリシーのSOTAを確立。

3. 技術・手法の肝は？

- Dimension-wise Entropy Modulation (DEM)で探索予算を動的に再分配。 - 連続分布Criticを導入し、高次元過大評価と離散量子化アーティファクトを軽減。 - これにより正確な価値推定を実現。 - 最大エントロピーRLフレームワークFastDSACとして統合。

4. どうやって有効だと検証した？

- HumanoidBenchと多様な連続制御タスクで評価。 - 高次元確率的ポリシーでSOTA性能を達成。 - 決定論的ベースラインと競合し、しばしば上回る。 - BasketballとBalance Hardでそれぞれ180%と350%のゲインを確認。

5. 議論はある？

- 要旨からは不明。 - 高次元制御における次元の呪いと探索非効率の課題に対処。 - 決定論的ポリシーが支配的な領域で確率的ポリシーの有効性を示す。 - 具体的な限界や議論は要旨に記載なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてMaximum Entropy RL、Deterministic Policy Gradients、Distributional Criticが挙げられる。 - 同分野の定番としてSoft Actor-Critic (SAC)、Twin Delayed DDPG (TD3)、Distributional RL (C51, QR-DQN)が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jun Xue, Junze Wang, Shanze Wang, Xinming Zhang, Yanjun Chen, Wei Zhang

分類: cs.LG, cs.AI

原文アブストラクト

Scaling Maximum Entropy Reinforcement Learning (RL) to high-dimensional humanoid control remains a fundamental challenge, as the ''curse of dimensionality'' induces severe exploration inefficiency and training instability. Consequently, highly optimized deterministic policy gradients currently dominate high-throughput regimes. We address this limitation with FastDSAC, a framework that effectively unlocks the potential of maximum entropy stochastic policies for complex continuous control. We introduce Dimension-wise Entropy Modulation (DEM) to dynamically redistribute the exploration budget, alongside a continuous distributional critic tailored to ensure accurate value estimation by mitigating both high-dimensional overestimation and discrete quantization artifacts. Extensive evaluations on HumanoidBench and a diverse set of continuous control tasks demonstrate that FastDSAC establishes state-of-the-art performance for high-dimensional stochastic policies on the evaluated benchmarks. Our method is competitive with and often outperforms strong deterministic baselines, with gains of 180% and 350% on the challenging Basketball and Balance Hard tasks, respectively.

arXivで原文を読む →arXiv概要ページ

← 論文一覧