重み正規化によるCrossQのスケーリング

- CrossQ のスケーリング挙動を高 UTD (update-to-data) ratio で調べる研究。 - CrossQ は UTD=1 で SOTA の sample efficiency を示した model-free RL 手法。 - 高 UTD 時に顕在化する training dynamics の課題を特定。 - Q-bias explosion。 - critic network の weight magnitude の増大。 - 対策として weight normalization を CrossQ に統合した手法を提案。

- 先行の CrossQ は UTD=1 に限定した高い sample efficiency を示していた。 - 本研究は高 UTD へのスケーリングを対象とする点が新しい。 - 高 UTD で問題となる Q-bias explosion と critic weight 増大を特定し、weight normalization で対処。 - network resets のような drastic な介入を不要にした点が先行手法との違い。 - DeepMind control benchmark で competitive または superior な性能を報告。

- CrossQ フレームワークに weight normalization を統合。 - 目的は training の安定化、plasticity 損失の防止、effective learning rate の一定化。 - 高 UTD ratio でも安定してスケールする設計。 - 詳細なアルゴリズムや実装は要旨からは不明。

- DeepMind control benchmark 上で評価。 - 特に複雑な dog および humanoid 環境を含む難タスクで検証。 - 高 UTD ratio を増やしても competitive または superior な性能を達成したと報告。 - 具体的なベースラインや指標は要旨からは不明。

- 高 UTD 時の Q-bias explosion と critic weight 増大が主要な課題と議論。 - weight normalization が training 安定化と plasticity 維持に寄与すると主張。 - network resets 不要で robust な sample efficiency 改善の道筋を示す。 - 限界や失敗ケース、計算コストの詳細は要旨からは不明。

- CrossQ (元論文)。 - weight normalization の原論文 (Salimans & Kingma ら)。 - 高 UTD を扱う model-free RL 手法 (REDQ, DroQ など)。 - plasticity 損失に関する研究 (Lyle ら)。 - DeepMind control benchmark 関連の定番ベンチマーク論文。