日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2509.15981

不確実性に基づく平滑方策正則化:少数のデモンストレーションを用いた強化学習

Uncertainty-Based Smooth Policy Regularisation for Reinforcement Learning with Few Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

デモンストレーションと自身の方策のどちらを模倣すべきかをQ値の不確実性で判断し、連続的な正則化重みで学習を加速する手法SPReDを提案。8つのロボティクスタスクで最大14倍の性能向上を達成。

詳しい要約

1. どんなもの?

- 強化学習における demonstration 活用の枠組み SPReD を提案する論文 - 疎な報酬設定で demonstration をいつ模倣すべきかを問う - ensemble で Q-value 分布を明示的にモデル化し不確実性を定量化 - demonstration 行動と policy 行動の不確実性を比較して模倣判断 - 二つの不確実性考慮手法を開発 - 確率的アプローチ: demonstration 優越の尤度を推定 - advantage ベース: 統計的有意性で模倣をスケーリング - 8つの robotics タスクで評価

2. 先行研究と比べてどこがすごい?

- 従来法 (例: Q-filter) は二値的な模倣判断を行う - SPReD は連続的で不確実性に比例した正則化重みを適用 - これにより学習中の gradient variance を低減 - 計算的に単純でありながら大幅な性能向上 - 複雑なタスクで既存手法を最大14倍上回る - demonstration の品質・量に対する頑健性を維持

3. 技術・手法の肝は?

- ensemble 手法で Q-value 分布をモデル化 - demonstration 行動と policy 行動の双方について不確実性を定量化 - 不確実性に基づき両者を比較 - 二つの相補的な不確実性考慮手法 - 確率的アプローチ: demonstration が優越する尤度を推定 - advantage ベースアプローチ: 統計的有意性に応じて模倣をスケーリング - 二値判断ではなく連続的で不確実性比例の正則化重みを適用 - gradient variance の低減につながる

4. どうやって有効だと検証した?

- 8つの robotics タスクで実験 - 複雑なタスクで既存手法を最大14倍上回る性能 - demonstration の品質・量に対する頑健性を確認 - 具体的なタスク名・ベースライン・指標の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コストの詳細な議論は記述なし - ensemble のサイズや不確実性推定の感度などは不明

6. 次に読むべき論文は?

- Q-filter (要旨で比較対象として明示) - ensemble を用いた不確実性推定に基づく強化学習手法 (一般名) - demonstration を用いた強化学習 (imitation 併用) の関連研究 (一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yujie Zhu, Charles A. Hepburn, Matthew Thorpe, Giovanni Montana

分類: cs.LG, cs.AI, cs.RO, stat.ML

原文アブストラクト

In reinforcement learning with sparse rewards, demonstrations can accelerate learning, but determining when to imitate them remains challenging. We propose Smooth Policy Regularisation from Demonstrations (SPReD), a framework that addresses the fundamental question: when should an agent imitate a demonstration versus follow its own policy? SPReD uses ensemble methods to explicitly model Q-value distributions for both demonstration and policy actions, quantifying uncertainty for comparisons. We develop two complementary uncertainty-aware methods: a probabilistic approach estimating the likelihood of demonstration superiority, and an advantage-based approach scaling imitation by statistical significance. Unlike prevailing methods (e.g. Q-filter) that make binary imitation decisions, SPReD applies continuous, uncertainty-proportional regularisation weights, reducing gradient variance during training. Despite its computational simplicity, SPReD achieves remarkable gains in experiments across eight robotics tasks, outperforming existing approaches by up to a factor of 14 in complex tasks while maintaining robustness to demonstration quality and quantity. Our code is available at https://github.com/YujieZhu7/SPReD.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI