日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2506.17564

不確かさ推定で残差強化学習を加速する

Accelerating Residual Reinforcement Learning with Uncertainty Estimation

シェア:XThreadsFacebookLINEはてブBluesky

ベース方策の不確かさを利用して探索を効率化し、確率的なベース方策にも対応できる残差強化学習手法を提案。シミュレーションと実機で既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- Residual Reinforcement Learning (Residual RL) の改良手法 - pretrained policy を適応させるため、軽量な residual policy を学習 - 既存手法の課題: sparse rewards に弱く、deterministic base policy 前提 - 提案は2つの改良 - base policy の uncertainty 推定を exploration に活用 - off-policy residual learning の単純な変更で base action を観測可能に - Gaussian-based と Diffusion-based の stochastic base policy に対応 - 対象タスク: Robosuite と D4RL

2. 先行研究と比べてどこがすごい?

- 従来の Residual RL は base policy 全体の finetuning より sample-efficient だが sparse rewards に弱い - 既存 Residual RL は deterministic base policy 前提で stochastic base policy に非対応 - 提案は uncertainty を exploration に使い、stochastic base policy にも対応 - 比較対象: state-of-the-art finetuning 手法、demo-augmented RL 手法、他の residual RL 手法 - 多様な simulation benchmark で既存 baseline を大きく上回ると報告

3. 技術・手法の肝は?

- base policy の uncertainty estimate を利用 - base policy が自信のない領域に exploration を集中 - off-policy residual learning への単純な変更 - residual policy が base action を観測できるようにする - stochastic base policy の扱いを改善 - Gaussian-based / Diffusion-based の stochastic base policy に適用可能 - 詳細なアルゴリズム構成は要旨からは不明

4. どうやって有効だと検証した?

- Robosuite と D4RL のタスクで評価 - Gaussian-based と Diffusion-based の stochastic base policy の両方で検証 - 比較: state-of-the-art finetuning 手法、demo-augmented RL 手法、他の residual RL 手法 - 多様な simulation benchmark で有意に上回る結果 - 実世界に学習済み policy を deploy し、zero-shot sim-to-real transfer の robustness を実証

5. 議論はある?

- 提案手法の限界や失敗ケースは要旨からは不明 - uncertainty estimate の品質依存性は要旨からは不明 - real world 実験の詳細(タスク・評価指標)は要旨からは不明 - sparse rewards への効果の定量分析は要旨からは不明

6. 次に読むべき論文は?

- Residual Reinforcement Learning の原論文(Residual RL) - demo-augmented RL 手法(要旨で比較対象として言及) - Diffusion-based policy 関連研究(Diffusion Policy など) - uncertainty estimation を用いた exploration 研究(例: 不確実性に基づく探索) - Robosuite / D4RL の benchmark 論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lakshita Dodeja, Karl Schmeckpeper, Shivam Vats, Thomas Weng, Mingxi Jia, George Konidaris, Stefanie Tellex

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Residual Reinforcement Learning (RL) is a popular approach for adapting pretrained policies by learning a lightweight residual policy that provides corrective actions. While Residual RL is more sample-efficient than finetuning the entire base policy, existing methods struggle with sparse rewards and are designed for deterministic base policies. We propose two improvements to Residual RL that further enhance its sample efficiency and make it suitable for stochastic base policies. First, we leverage uncertainty estimates of the base policy to focus exploration on regions in which the base policy is not confident. Second, we propose a simple modification to off-policy residual learning that allows it to observe base actions and better handle stochastic base policies. We evaluate our method with both Gaussian-based and Diffusion-based stochastic base policies on tasks from Robosuite and D4RL, and compare against state-of-the-art finetuning methods, demo-augmented RL methods, and other residual RL methods. Our algorithm significantly outperforms existing baselines in a variety of simulation benchmark environments. We also deploy our learned polices in the real world to demonstrate their robustness with zero-shot sim-to-real transfer. Paper homepage : lakshitadodeja.github.io/uncertainty-aware-residual-rl/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI