日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.28152

正則化された報酬・罰則強化学習

Regularized Reward-Punishment Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

報酬追求と罰則回避のポリシーを相互に事前分布として連携させるフレームワークKCPRを提案し、その深層実装klDMPがグリッドワールドとロボットナビゲーションで安全性と学習安定性を向上させることを示した。

詳しい要約

1. どんなもの?

- Reward-Punishment Reinforcement Learning (RPRL) のための政策調整フレームワーク KL-Coupled Policy Regularization (KCPR) を提案。 - KCPR に基づき KL-Coupled Soft Optimality (KCSO) を導出し、その深層実装 klDMP を開発。 - 報酬追求と罰回避の政策を相互に事前分布として扱い、直接相互作用させる。 - grid-world と Gazebo ロボットナビゲーションで評価。

2. 先行研究と比べてどこがすごい?

- 既存の RPRL 手法は報酬追求と罰関連の政策をほぼ独立に最適化。 - KCPR は各政策を他方の動的に学習される事前分布とみなし、直接相互作用を可能にする。 - KCSO は結合 soft-optimal 政策と KL 正則化 Bellman 作用素を与え、報酬と罰の情報が価値伝播に共同で影響。 - 安全性と学習安定性を向上させつつ、競争力のあるタスク性能を維持。

3. 技術・手法の肝は?

- KCPR: 相棒政策間の直接相互作用を実現する政策調整フレームワーク。 - KCSO: 結合 soft-optimal 政策と KL 正則化 Bellman 作用素を導出。 - 学習安定性向上のため companion-prior softening mechanism を導入。 - 報酬と罰の経験バランスを取るため、別々の replay-buffer 設計を評価。 - 深層実装 klDMP を開発。

4. どうやって有効だと検証した?

- grid-world と Gazebo ロボットナビゲーションタスクで実験。 - DQN, SQL, softDMP と比較。 - klDMP が安全性と学習安定性を改善し、競争力のあるタスク性能を維持することを示した。

5. 議論はある?

- 政策レベルの調整が複数の行動目的を統合する有効なメカニズムを提供。 - 相互作用する動機プロセスを持つ強化学習システムの設計原理として有用な可能性。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- DQN - SQL - softDMP - 関連手法: Reward-Punishment Reinforcement Learning (RPRL) の既存研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiexin Wang, Eiji Uchibe

分類: cs.LG, cs.RO

原文アブストラクト

We propose KL-Coupled Policy Regularization (KCPR), a policy coordination framework for Reward-Punishment Reinforcement Learning (RPRL). Based on KCPR, we derive KL-Coupled Soft Optimality (KCSO) and develop its deep realization, klDMP. Unlike existing RPRL approaches that optimize reward-seeking and punishment-related policies largely independently, KCPR enables direct interactions between companion policies by treating each as a dynamically learned prior for the other. KCSO yields coupled soft-optimal policies and KL-regularized Bellman operators, allowing reward and punishment information to jointly influence value propagation. To improve learning stability, we introduce a companion-prior softening mechanism and evaluate separate replay-buffer designs for balancing reward- and punishment-related experience. Experiments in grid-world and Gazebo robotic navigation tasks demonstrate that klDMP improves safety and learning stability while maintaining competitive task performance compared with DQN, SQL and softDMP. These results suggest that policy-level coordination provides an effective mechanism for integrating multiple behavioral objectives and may serve as a useful design principle for reinforcement learning systems with interacting motivational processes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI