日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2609.12749

SCQ: シグモイド有界エントロピーによる保守的Q学習の安定化

SCQ: Stabilizing Conservative Q-Learning with Sigmoid-Bounded Entropy

シェア:XThreadsFacebookLINEはてブBluesky

オフラインからオンラインへの強化学習において、負になりうる対数エントロピー項をシグモイドで有界化し常に正に保つことで、方策更新を安定化させる手法SCQを提案。D4RLや実機4種で性能と安定性を検証した。

詳しい要約

1. どんなもの?

- オフラインからオンラインへの強化学習(offline-to-online RL)における価値推定の不安定性を、エントロピー項の再定式化で解決する手法 SCQ(Sigmoid-Bounded Conservative Q-Learning)を提案。 - 標準的な log-entropy 項が負になり得る点を不安定化の見落とされた原因と指摘し、sigmoid で有界かつ常に正となるエントロピー項に置換。 - conservative Q regularization と return-based lower-bound calibration は維持し、探索を犠牲にせず方策最適化を安定化。 - D4RL(Minari)ベンチマーク、単一デモンストレーション設定、視覚タスク、実機4種(manipulation, wheeled, quadruped, humanoid)で評価。

2. 先行研究と比べてどこがすごい?

- 既存手法は pessimistic regularization、lower-bound calibration、architectural normalization で不安定性に対処してきた。 - 本研究はエントロピー定式化という別の原因に着目し、log-entropy の負値化を防ぐ sigmoid-bounded な正値エントロピーを導入。 - これにより baseline と同等以上の性能を保ちつつ、state-based および visual ベンチマークでより安定した学習ダイナミクスを示す。 - 負の log-probability 寄与を除去する clipping 介入と gradient-matched positive-score 対照実験から、特定のスコア形状よりも『正値性』が改善の主要因であることを示唆。

3. 技術・手法の肝は?

- 標準的な log-entropy 項を sigmoid-bounded な定式化に置換し、エントロピー項が常に厳密に正となるようにする。 - conservative Q regularization と return-based lower-bound calibration はそのまま保持。 - これにより方策更新の安定性を高め、探索を損なわない。 - 負の log-probability 寄与を除去する clipping 介入と、gradient-matched positive-score 対照を設計し、正値性の効果を切り分け。

4. どうやって有効だと検証した?

- D4RL(Minari)ベンチマークを単一デモンストレーション設定と標準データセット設定の両方で評価。 - シミュレーションおよび実世界の視覚タスクで評価。 - state-based と visual の両ベンチマークで baseline と同等以上の性能と、より安定した学習ダイナミクスを確認。 - manipulation、wheeled、quadruped、humanoid を含む4つの実ロボットプラットフォームへ転移。 - clipping 介入と gradient-matched positive-score 対照により、正値性が改善の多くを駆動することを示唆。

5. 議論はある?

- エントロピー項の負値化が方策更新を不安定化するという、これまで見過ごされてきた原因を指摘。 - 改善の主要因は特定のスコア形状ではなく『正値性』である可能性を、clipping 介入と gradient-matched positive-score 対照から示唆。 - ただし要旨からは、sigmoid-bounded 定式化の理論的性質や限界、他のエントロピー形状との比較の詳細は不明。 - 実機4種への転移は示されているが、各タスクの定量的詳細や失敗事例は要旨からは不明。

6. 次に読むべき論文は?

- Conservative Q-Learning(CQL) - Offline-to-online reinforcement learning の既存手法(pessimistic regularization、lower-bound calibration、architectural normalization を用いるもの) - D4RL(Minari)ベンチマーク - Soft Actor-Critic(SAC)など log-entropy を用いる標準的な最大エントロピー RL 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiefeng Wu, Shu Zhang, Zhaojie Chu, Mingyu Hu

分類: cs.AI

原文アブストラクト

Offline-to-online reinforcement learning reduces interaction cost for real-world robot learning but suffers from persistent value estimation instability. Existing methods address this through pessimistic regularization, lower-bound calibration, and architectural normalization, but an overlooked source of instability lies in the entropy formulation: the standard log-entropy term can become negative, destabilizing policy updates. We introduce SCQ (Sigmoid-Bounded Conservative Q-Learning), which replaces this term with a sigmoid-bounded formulation that stays strictly positive. SCQ retains conservative Q regularization and return-based lower-bound calibration, stabilizing policy optimization without sacrificing exploration. We evaluate SCQ on D4RL (Minari) benchmarks under both single-demonstration and standard dataset settings, as well as on simulation and real-world visual tasks. SCQ matches or exceeds baseline performance while exhibiting more stable training dynamics across state-based and visual benchmarks, and transfers to four real-robot platforms including manipulation, wheeled, quadruped, and humanoid systems. A direct clipping intervention that removes negative log-probability contributions, together with gradient-matched positive-score controls, indicates that positivity rather than a particular score shape alone drives much of the improvement. Project website: https://scq-rl.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI