日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2302.08738

未ラベルデータを活用したフィードバック効率の良い人間選好ベース強化学習

Exploiting Unlabeled Data for Feedback Efficient Human Preference based Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

人間の選好フィードバックを用いた強化学習において、エージェントが収集した未ラベル軌道を報酬学習に活用する2つの損失関数を提案し、歩行とマニピュレーションタスクでベースラインPEBBLEより高いサンプル効率と報酬復元性能を示した。

著者: Mudit Verma, Siddhant Bhambri, Subbarao Kambhampati

分類: cs.RO, cs.AI

原文アブストラクト

Preference Based Reinforcement Learning has shown much promise for utilizing human binary feedback on queried trajectory pairs to recover the underlying reward model of the Human in the Loop (HiL). While works have attempted to better utilize the queries made to the human, in this work we make two observations about the unlabeled trajectories collected by the agent and propose two corresponding loss functions that ensure participation of unlabeled trajectories in the reward learning process, and structure the embedding space of the reward model such that it reflects the structure of state space with respect to action distances. We validate the proposed method on one locomotion domain and one robotic manipulation task and compare with the state-of-the-art baseline PEBBLE. We further present an ablation of the proposed loss components across both the domains and find that not only each of the loss components perform better than the baseline, but the synergic combination of the two has much better reward recovery and human feedback sample efficiency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI