日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.37131

ReF-HIL: 人間の行動近傍を中心に批評器を形成する効率的なHuman-in-the-Loop強化学習

ReF-HIL: Shaping the Critic around Human Action Neighborhoods for Efficient Human-in-the-Loop Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

人間の成功体験から価値参照を学習し、人間行動の近傍領域を定義することで、模倣ペナルティを避けつつ実世界のマニピュレーションを効率的に強化学習する手法を提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための Human-in-the-loop reinforcement learning (HIL-RL) フレームワーク ReF-HIL を提案。 - 人間のデモンストレーションとオンライン修正を活用し、実世界での効率的な訓練を目指す。 - 5つの多様で難易度の高い実世界マニピュレーションタスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来の HIL-RL では、成功した人間経験が value learning に十分活用されず実世界訓練が長期化する問題があった。 - また、持続的な imitation penalty が value-driven な policy improvement を制限する問題があった。 - ReF-HIL はこれらを解決し、学習効率と成功率を向上させた。

3. 技術・手法の肝は?

- Human-Reference-Guided Value Shaping: 成功した人間経験から独立した value reference を学習し、オンライン value learning を導く。局所的な corrective feedback も取り入れる。 - Human Action Fence: 学習された human-action neighborhood を定義。内側では imitation penalty なしで value-driven 最適化を可能にし、外側では policy と value の更新を制約する。

4. どうやって有効だと検証した?

- 5つの多様で挑戦的な実世界マニピュレーションタスクで実験。 - 評価したベースラインと比較して、全体的な学習効率と成功率が向上。 - 具体的には、ReF-HIL は 18-63 分の active training で 90% の自律成功率に到達し、最終成功率 91.7-100% を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究は明記されていない。 - 同分野の関連手法として、HIL-RL の一般的な手法(例: HG-DAgger, EnsembleDAgger, SAC, DDPG など)や imitation learning と reinforcement learning の融合手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shaoyin Luo, Song Wang, Shibo Xia, Tianle Zhang, Zhaowei Liang, Guanghui Shen, Bin Wang, Dan Wu

分類: cs.RO

原文アブストラクト

Human-in-the-loop reinforcement learning (HIL-RL) offers a promising route to efficient training of robotic manipulation policies by combining autonomous learning with human demonstrations and online corrections. However, insufficient use of successful human experience in value learning prolongs costly real-world training, while persistent imitation penalties can limit value-driven policy improvement. To address these limitations, we propose ReF-HIL, an efficient HIL-RL framework that uses human guidance to accelerate the learning process. Human-Reference-Guided Value Shaping learns an independent value reference from successful human experience to guide online value learning, while incorporating local corrective feedback. A Human Action Fence defines a learned human-action neighborhood, allowing value-driven optimization for better performance without imitation penalties inside while constraining policy and value updates outside. Experiments on five diverse and challenging real-world manipulation tasks demonstrate improved overall learning efficiency and higher success rates compared with the evaluated baselines. Specifically, ReF-HIL reaches 90% autonomous success in only 18-63 minutes of active training and achieves final success rates of 91.7-100%. These results highlight the potential of human-guided reinforcement learning to acquire reliable manipulation skills efficiently in the real world. Project website: https://anonymous.4open.science/w/ReF-HIL-7762/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI