日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

Human-in-the-Loop強化学習arXiv:2509.20541

進捗に応じた選択的クエリで人間参加型強化学習を効率化

Selective Progress-Aware Querying for Human-in-the-Loop Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

学習の停滞や悪化を検知したときだけ人間にフィードバックを求めるクエリ方策SPARQを提案し、常時フィードバックと同等の成功率を約半分のフィードバック量で達成した。

詳しい要約

1. どんなもの?

- 人間のフィードバックを活用する human-in-the-loop reinforcement learning (HiL-RL) のための query 戦略を提案した研究。 - 提案手法名は SPARQ (progress-aware query policy)。 - 学習が停滞または悪化した時のみフィードバックを要求する。 - 目的は実ロボット展開で制約となる高コストな人間フィードバックの削減。 - 評価は PyBullet 上の simulated UR5 cube-picking task。

2. 先行研究と比べてどこがすごい?

- 既存の HiL-RL はフィードバックが豊富にあると仮定しており、実ロボット展開での実用性を制限していた。 - SPARQ は「常に問い合わせる」方式と同等の成功率を約半分のフィードバック予算で達成。 - random querying より安定かつ効率的な学習を示す。 - フィードバックなしの学習より大幅に改善。

3. 技術・手法の肝は?

- 学習の進捗 (progress) を監視する query policy。 - 学習が停滞 (stagnates) または悪化 (worsens) した場合にのみ oracle へフィードバックを要求。 - 不要な oracle calls を削減する選択的クエリが肝。 - 具体的な進捗指標や閾値の設計は要旨からは不明。

4. どうやって有効だと検証した?

- PyBullet 上の simulated UR5 cube-picking task で評価。 - 比較対象は3つのベースライン: no feedback、random querying、always querying。 - 結果: SPARQ は near-perfect task success を達成し、always querying と同等性能を約半分のフィードバック予算で実現。 - random querying より安定・効率的、no feedback より大幅改善。

5. 議論はある?

- 選択的で進捗ベースの query 戦略が、現実的な人的コスト制約下の HiL-RL を効率化・スケール化し得ると示唆。 - 限界として、評価はシミュレーション (PyBullet) の単一タスク (UR5 cube-picking) のみ。 - 実ロボットでの検証や他タスクへの一般化、進捗指標の設計妥当性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられたベースライン手法: always querying、random querying、no feedback の各 HiL-RL 設定。 - 関連する定番として human-in-the-loop reinforcement learning (HiL-RL) および human feedback を用いた robot learning の研究。 - 個別の論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anujith Muraleedharan, Anamika J H

分類: cs.RO

原文アブストラクト

Human feedback can greatly accelerate robot learning, but in real-world settings, such feedback is costly and limited. Existing human-in-the-loop reinforcement learning (HiL-RL) methods often assume abundant feedback, limiting their practicality for physical robot deployment. In this work, we introduce SPARQ, a progress-aware query policy that requests feedback only when learning stagnates or worsens, thereby reducing unnecessary oracle calls. We evaluate SPARQ on a simulated UR5 cube-picking task in PyBullet, comparing against three baselines: no feedback, random querying, and always querying. Our experiments show that SPARQ achieves near-perfect task success, matching the performance of always querying while consuming about half the feedback budget. It also provides more stable and efficient learning than random querying, and significantly improves over training without feedback. These findings suggest that selective, progress-based query strategies can make HiL-RL more efficient and scalable for robots operating under realistic human effort constraints.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI