日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2507.00611

残差報酬モデルによる選好ベース強化学習

Residual Reward Models for Preference-based Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

選好ベース強化学習において、事前知識の報酬と学習した報酬を足し合わせる残差報酬モデルを提案し、収束速度と性能を改善した。

詳しい要約

1. どんなもの?

- Preference-based Reinforcement Learning (PbRL) において、事前知識を活用する Residual Reward Model (RRM) を提案する研究。 - 真の報酬を「prior reward」と「learned reward」の和に分解して表現する枠組み。 - prior reward は学習前に得られる報酬(ユーザの best guess や IRL で得た報酬など)。 - learned reward は preference を用いて学習する。 - state-based 版と image-based 版の RRM を導入し、Meta-World と実機 Franka Panda で評価。

2. 先行研究と比べてどこがすごい?

- 従来 PbRL は reward model の学習が必要で収束が遅い問題があった。 - 先行研究は demonstrations から reward model を学習し preference で fine-tuning する手法を提案。 - しかし neural network の場合、pre-training と fine-tuning で異なる loss function を使うと信頼性のある最適化が難しい。 - RRM は prior reward と learned reward の和として表現することで、事前知識を効果的に活用しつつ preference で学習する。 - 一般的な PbRL 手法の性能を大幅に改善。

3. 技術・手法の肝は?

- 真の報酬を prior reward と learned reward の和に分解する Residual Reward Model (RRM) を仮定。 - prior reward は学習前に利用可能な項(ユーザの best guess 報酬関数や IRL で学習した報酬)。 - learned reward は preference を用いて訓練。 - state-based 版と image-based 版の RRM を導入。 - 具体的なネットワーク構成や loss の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- Meta-World 環境スイートの複数タスクで評価。 - 一般的な PbRL 手法の性能を大幅に改善することを示した。 - proxy reward、IRL から得た報酬、proxy reward の negated 版など多様な prior reward で性能改善を達成。 - Franka Panda 実機実験も実施し、baseline より少ないステップで成功し、policy learning を大幅に加速。 - 動画は https://sunlighted.github.io/RRM-web/ で公開。

5. 議論はある?

- 多様な prior reward(proxy、IRL、negated proxy)で改善が見られた点を報告。 - 実機 Franka Panda でも baseline より少ないステップで成功。 - ただし prior reward の質や種類による影響の詳細な分析、限界、失敗ケースについては要旨からは不明。 - 理論的な保証や収束性の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている先行研究: demonstrations から reward model を学習し preference で fine-tuning する手法。 - Inverse Reinforcement Learning (IRL)。 - Preference-based Reinforcement Learning (PbRL) の一般的な手法(baseline)。 - Meta-World 環境スイート。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenyang Cao, Miguel Rogel-García, Mohamed Nabail, Xueqian Wang, Nicholas Rhinehart

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Preference-based Reinforcement Learning (PbRL) provides a way to learn high-performance policies in environments where the reward signal is hard to specify, avoiding heuristic and time-consuming reward design. However, PbRL can suffer from slow convergence speed since it requires training in a reward model. Prior work has proposed learning a reward model from demonstrations and fine-tuning it using preferences. However, when the model is a neural network, using different loss functions for pre-training and fine-tuning can pose challenges to reliable optimization. In this paper, we propose a method to effectively leverage prior knowledge with a Residual Reward Model (RRM). An RRM assumes that the true reward of the environment can be split into a sum of two parts: a prior reward and a learned reward. The prior reward is a term available before training, for example, a user's ``best guess'' reward function, or a reward function learned from inverse reinforcement learning (IRL), and the learned reward is trained with preferences. We introduce state-based and image-based versions of RRM and evaluate them on several tasks in the Meta-World environment suite. Experimental results show that our method substantially improves the performance of a common PbRL method. Our method achieves performance improvements for a variety of different types of prior rewards, including proxy rewards, a reward obtained from IRL, and even a negated version of the proxy reward. We also conduct experiments with a Franka Panda to show that our method leads to superior performance on a real robot. It significantly accelerates policy learning for different tasks, achieving success in fewer steps than the baseline. The videos are presented at https://sunlighted.github.io/RRM-web/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI