日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.30023

Res-HIL: 人間誘導型残差強化学習によるサンプル効率の良い器用なマニピュレーション

Res-HIL: Human-Guided Residual Reinforcement Learning for Sample-Efficient Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習で得た方策を凍結し、その上に人間の介入から学ぶ残差方策を重ねることで、短時間のオンライン学習で接触の多い器用な操作タスクを高精度に実現する手法を提案。

詳しい要約

1. どんなもの?

- どんなもの? - Res-HILは、模倣学習で事前学習した方策を凍結し、その上に残差方策を学習するHuman-in-the-loop強化学習フレームワーク。 - 人間の介入から、残差方策への直接監督と、先行する自律行動への報酬整形の2つの学習信号を得る。 - 残差方策のゼロ初期化により、オンライン学習を安定化・加速。 - 接触の多い5つの操作タスクで評価。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 従来のHuman-in-the-loop強化学習は完全なタスク方策を学習するのに対し、Res-HILは事前学習した模倣方策を洗練させる。 - 20回の初期デモのみで、10分間のオンライン学習後、最先端の完全方策Human-in-the-loop強化学習および人間ガイダンスなしの残差ファインチューニングを全タスクで上回る。 - 事前学習ベース方策を改善し、5倍のデモで訓練した模倣方策をも上回る。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 凍結した模倣方策の上に残差方策を学習。 - 人間の介入が、残差方策への直接監督と、先行する自律行動への報酬整形の2つの信号を提供。 - 残差方策のゼロ初期化により、オンライン学習を安定化・加速。 - これらの信号を組み合わせて学習。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 接触の多い5つの操作タスク(高精度および長期間の行動を含む)で評価。 - 20回の初期デモのみで、10分間のオンライン学習後、最先端の完全方策Human-in-the-loop強化学習および人間ガイダンスなしの残差ファインチューニングを全タスクで上回った。 - 事前学習ベース方策を改善し、5倍のデモで訓練した模倣方策を上回った。 - アブレーション研究により、直接残差監督が性能に重要であり、介入を考慮した報酬整形が訓練効率を大幅に改善することを示した。

5. 議論はある?

- 議論はある? - アブレーション研究から、直接残差監督が性能に不可欠であり、介入を考慮した報酬整形が訓練効率を大幅に改善することが示された。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究:Human-in-the-loop reinforcement learning、residual fine-tuning without human guidance、imitation learning。 - 関連手法:Residual Reinforcement Learning、Human-in-the-loop Reinforcement Learning、Imitation Learning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mariia Iavorskaia, Christian Dietz, Sebastian Albrecht, Majid Khadiv

分類: cs.RO

原文アブストラクト

Imitation learning enables robots to acquire manipulation skills from demonstrations, but the resulting policies can fail outside the training data, while collecting more demonstrations requires substantial human effort. Human-in-the-loop reinforcement learning uses corrective feedback during online training, but typically learns the complete task policy rather than refining a pretrained imitation policy. We introduce Res-HIL, a human-in-the-loop residual reinforcement learning framework that learns corrective actions on top of a frozen imitation policy. Each human intervention provides two complementary learning signals: direct supervision of the residual policy and reward shaping of preceding autonomous behavior. Res-HIL combines these signals with zero initialization of the residual policy to stabilize and accelerate online learning. We evaluate Res-HIL on five contact-rich manipulation tasks spanning high-precision and long-horizon behaviors. With only 20 initial demonstrations, Res-HIL outperforms state-of-the-art full-policy human-in-the-loop reinforcement learning and residual fine-tuning without human guidance on every task after ten minutes of online training. Res-HIL improves its pretrained base policies and outperforms imitation policies trained with five times more demonstrations. An ablation study shows that direct residual supervision is critical to performance, while intervention-aware reward shaping substantially improves training efficiency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI