日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
ヒューマン・イン・ザ・ループ強化学習arXiv:2601.19969

E2HiL: エントロピー誘導サンプル選択による効率的な実世界ヒューマン・イン・ザ・ループ強化学習

E2HiL: Entropy-Guided Sample Selection for Efficient Real-World Human-in-the-Loop Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

方策エントロピーへの影響度を推定し、有益なサンプルを能動的に選ぶことで、人手介入を減らしつつ実世界マニピュレーションタスクの学習を効率化するヒューマン・イン・ザ・ループ強化学習フレームワークを提案した。

詳しい要約

1. どんなもの？

- 実世界の複雑なmanipulationタスクにおけるonline reinforcement learning (RL)の収束を早めるためのhuman-in-the-loop (HiL) ガイダンス手法。 - 既存のHiL-RLフレームワークはsample efficiencyが低く、多くのhuman interventionを必要とする問題に対処。 - 提案手法E2HiLは、情報量の多いサンプルを能動的に選択することで、human interventionを削減するsample-efficientなreal-world HiL-RLフレームワーク。

2. 先行研究と比べてどこがすごい？

- 既存のHiL-RL手法と比較して、human interventionを10.1%削減しつつ、success rateを42.1%向上。 - 従来は多くのhuman interventionを要していたが、E2HiLはサンプル選択により効率を改善。 - 具体的な先行研究名は要旨からは不明だが、state-of-the-art HiL-RL methodとの比較で優位性を示す。

3. 技術・手法の肝は？

- policy entropyの安定した減少が探索と活用のトレードオフを改善し、sample efficiencyを高める。 - 各サンプルのpolicy entropyへの影響関数を構築し、action probabilitiesとsoft advantagesのcovarianceで効率的に推定。 - 影響関数の値が中程度のサンプルを選択し、急激なentropy低下を引き起こすshortcut samplesや影響が無視できるnoisy samplesを除去。

4. どうやって有効だと検証した？

- 4つのreal-world manipulationタスクで広範な実験を実施。 - state-of-the-art HiL-RL methodと比較して、success rateが42.1%高く、human interventionが10.1%少ないことを示した。 - 有効性を検証し、project pageでcode, videos, mathematical formulationsを公開。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていないが、state-of-the-art HiL-RL methodが比較対象。 - 同分野の定番として、human-in-the-loop reinforcement learning (HiL-RL) やsample-efficient RL、entropy-based explorationに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyuan Deng, Yuanjiang Xue, Haoyang Du, Boyang Zhou, Zhenyu Wu, Ziwei Wang

分類: cs.RO, cs.LG

原文アブストラクト

Human-in-the-loop guidance has emerged as an effective approach for enabling faster convergence in online reinforcement learning (RL) of complex real-world manipulation tasks. However, existing human-in-the-loop RL (HiL-RL) frameworks often suffer from low sample efficiency, requiring substantial human interventions to achieve convergence and thereby leading to high labor costs. To address this, we propose a sample-efficient real-world human-in-the-loop RL framework named \method, which requires fewer human intervention by actively selecting informative samples. Specifically, stable reduction of policy entropy enables improved trade-off between exploration and exploitation with higher sample efficiency. We first build influence functions of different samples on the policy entropy, which is efficiently estimated by the covariance of action probabilities and soft advantages of policies. Then we select samples with moderate values of influence functions, where shortcut samples that induce sharp entropy drops and noisy samples with negligible effect are pruned. Extensive experiments on four real-world manipulation tasks demonstrate that \method achieves a 42.1\% higher success rate while requiring 10.1\% fewer human interventions compared to the state-of-the-art HiL-RL method, validating its effectiveness. The project page providing code, videos, and mathematical formulations can be found at https://e2hil.github.io/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →