日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.03949

嗜好較正型ヒューマン・イン・ザ・ループ強化学習によるロボット操作

Preference-Calibrated Human-in-the-Loop Reinforcement Learning for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間介入を利用した強化学習で、介入が誘発する嗜好信号から劣った軌道区間を特定し、Q値の過大評価を防ぎつつ方策を人間の修正行動に合わせて較正するPACTフレームワークを提案した。

詳しい要約

1. どんなもの?

- 実ロボットの manipulation における Human-in-the-loop reinforcement learning (HIL-RL) の新手法 PACT を提案。 - 人間の介入から得られる暗黙の preference 信号を活用し、suboptimal segment の credit を再割り当てする Preference-calibrated Actor-Critic Training framework。 - 5つの実ロボット manipulation タスクで平均成功率 24.5% 向上、収束 1.3 倍高速化。

2. 先行研究と比べてどこがすごい?

- 既存 HIL-RL は consistent credit assignment を全 transition に適用し、suboptimal segment にも割引終端報酬を一様伝播。 - 各 transition の実際の貢献を無視し、critic の Q 値を過大評価、actor を suboptimal 行動へ誤誘導。 - PACT は介入由来の preference 信号で credit 再割り当てを行い、unbiased な critic-actor 学習を実現。

3. 技術・手法の肝は?

- progress model を human demonstration から学習し、suboptimal segment を特定して credit 補正。 - 介入状態での human action と resampled policy action から preference pair を構築し、counterfactual advantage を定義。 - 特定した suboptimal segment の Bellman target を罰し、方向性のある credit calibration を実施。 - bounded mean space で policy を human corrective action に直接整合させ、critic 誘導以外の追加信号を提供。

4. どうやって有効だと検証した?

- 5つの実ロボット manipulation タスクで評価。 - 平均成功率 24.5% 向上、収束 1.3 倍高速化を達成。 - RL の sample efficiency と性能の両方を改善。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている HIL-RL の既存手法、consistent credit assignment を用いる手法、preference-based RL、counterfactual advantage 関連研究。 - 具体的な論文名は要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeyi Liu, Guangyao Liu, Yinuo Qu, Yuquan Xue, Bofang Jia, Chunhua Yang, Weihua Gui, Keke Huang, Ziwei Wang

分類: cs.RO

原文アブストラクト

Human-in-the-loop reinforcement learning (HIL-RL) improves sample efficiency in real-robot manipulation through online human intervention. However, successful trajectories may include suboptimal actions that deviate from the desired task-execution path and force human intervention. Existing HIL-RL methods typically apply the consistent credit assignment principle to all transitions, uniformly propagating discounted terminal rewards through suboptimal segments, ignoring the actual contribution of each transition to task success. This overestimates Q-values for critic learning and indirectly misguides actor updates toward suboptimal behavior patterns. To this end, we propose PACT, a Preference-calibrated Actor-Critic Training framework that leverages the implicit preference signals induced by intervention to perform credit reassignment on identified suboptimal segments while directly guiding policy training for unbiased critic-actor learning. Specifically, we first design a progress model that learns from human demonstration and identifies suboptimal segments for credit correction. Then, from the human action and resampled policy action at the intervention state, we build preference pairs to define a counterfactual advantage that penalizes Bellman targets of the identified suboptimal segment, enabling directional credit calibration. Moreover, we directly align the policy with human corrective actions in the bounded mean space, providing an additional signal beyond critic-guided updates. Across five real-robot manipulation tasks, PACT improves the average success rate by 24.5% and achieves 1.3 times faster convergence, thereby improving both RL sample efficiency and performance. Code is available at https://anonymous.4open.science/r/HILRL-A1X-BC05.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI