日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.19328

UBP2: 不確実性バランス型選好計画による効率的な選好ベース強化学習

UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

報酬・ダイナミクス・価値関数の不確実性を統合したスコアで軌道を計画し、能動的探索を行うモデルベースの選好強化学習手法を提案した。

詳しい要約

1. どんなもの?

- Preference-based RLの新手法UBP2を提案。 - 報酬・ダイナミクス・価値関数の不確かさを統合的に考慮し、能動的探索を行うmodel-based手法。 - ペア比較から報酬モデルを学習し、明示的な報酬設計を不要にする。 - 候補trajectoryを期待報酬・終端価値・epistemic uncertaintyの統合スコアで評価し、planningに利用。

2. 先行研究と比べてどこがすごい?

- 既存手法は受動的データ収集に依存し、特に学習初期のsample efficiencyが低い。 - UBP2は能動的探索を不確かさの統合推論で実現し、ad hocな探索heuristicsを不要にする。 - model-free preference-based手法や非楽観的model-based baselineより高いsample efficiencyを達成。 - 有限・無限horizonでsublinear regret保証を与える点が理論的に優れる。

3. 技術・手法の肝は?

- reward, dynamics, value functionの各モデルをensembleで構築。 - 候補trajectoryを期待報酬、終端価値、epistemic uncertaintyを組み合わせた統一スコアで評価。 - この目的関数下でのplanningにより、exploitationとinformation acquisitionの明示的トレードオフを実現。 - 標準的な正則性仮定の下でsublinear regretを理論的に保証。

4. どうやって有効だと検証した?

- Meta-World benchmark上で実験。 - model-free preference-based手法および非楽観的model-based baselineと比較。 - 結果としてUBP2が大幅に高いsample efficiencyを示すことを確認。 - 理論面では有限・無限horizon設定でのsublinear regret保証を導出。

5. 議論はある?

- 要旨からは不明。 - 理論保証の仮定や実験設定の詳細、限界については記述がない。 - 今後の課題や議論点は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてmodel-free preference-based RL、model-based RL、uncertainty-based exploration、preference-based RLの定番手法(例: PEBBLE, B-Pref, SAC+preference等)が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mohamed Nabail, Leo Kaixuan Cheng, Jingmin Wang, Nicholas Rhinehart

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Preference-based RL provides an approach to learning reward models from pairwise comparisons of behaviors, bypassing the need for explicit reward design. However, existing methods typically rely on passive data collection and suffer from poor sample efficiency, especially during the early stages of learning. We introduce a model-based approach that actively directs exploration by jointly reasoning over uncertainties in the reward, dynamics, and value functions. Our method, Uncertainty-Balanced Preference Planning (UBP2), uses ensembles of reward, dynamics, and value function models to evaluate candidate trajectories according to a unified score that combines expected reward, terminal value, and epistemic uncertainty. Planning under this objective yields an explicit tradeoff between exploitation and information acquisition without requiring ad hoc exploration heuristics. Under standard regularity assumptions, we establish sublinear regret guarantees for both finite-horizon and infinite-horizon settings. Empirically, experiments on the Meta-World benchmark show UBP2 achieves substantially higher sample efficiency than model-free preference-based methods and non-optimistic model-based baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI