日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2605.15971

OHP-RL: ロボット操作の強化学習におけるオンライン人間選好をガイドとして活用

OHP-RL: Online Human Preference as Guidance in Reinforcement Learning for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間の介入を選好情報として捉え、状態依存のゲートで適応的に学習を導く強化学習フレームワークを提案し、実機ロボットの接触を伴う操作タスクで有効性を示した。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションのための強化学習（RL）フレームワーク。 - 人間の介入をオンラインの選好情報として活用し、方策学習をガイドする。 - 状態依存の選好ゲートを導入し、人間の介入が方策学習に影響を与えるタイミングと程度を適応的に調整する。 - 実世界の接触を伴う3つのタスクで評価。

2. 先行研究と比べてどこがすごい？

- 既存のHuman-in-the-loop手法は介入を補助的な訓練信号として利用するのみで、いつ・どのように自律性を導くべきかという豊富な情報を十分に活用していなかった。 - OHP-RLは人間の介入を選好情報として捉え、方策学習を直接ガイドする点が新しい。 - 従来手法と比較して、成功率、収束速度、人間の介入労力の削減で優れる。

3. 技術・手法の肝は？

- 人間の介入を、安全・タスク制約下での振る舞いに対する相対的な選好として解釈。 - 状態依存の選好ゲートを導入し、人間の介入が方策学習に与える影響を適応的に調整。 - 断続的で不完全な人間フィードバックから利益を得つつ、自律的探索と安定した方策最適化を維持。

4. どうやって有効だと検証した？

- Frankaロボットを用いた実世界の接触を伴う3つの挑戦的マニピュレーションタスクで評価。 - すべてのタスクで高い成功率、より速い収束、大幅に少ない人間介入労力を達成。 - 学習された方策は訓練中を通じてより安定し、人間の意図に沿った振る舞いを示した。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。関連手法としてHuman-in-the-loop RL、Learning from Human Preferences、Interactive Imitation Learningなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunyang Mo, Jian Li, Qiwei Wu, Yihang Kang, Renjing Xu

分類: cs.RO

原文アブストラクト

While reinforcement learning (RL) enables robots to acquire skills autonomously, its real-world deployment is severely limited by inefficient and unsafe exploration. Human-in-the-loop interventions offer a practical solution, yet existing methods typically exploit these interventions as auxiliary training signals, without fully capturing the richer information they provide about when and how autonomy should be guided. Human interventions often encode relative preferences over behavior under safety and task constraints, rather than prescribing exact actions to imitate. Motivated by this perspective, we propose Online Human Preference as Guidance in Reinforcement Learning (OHP-RL), a framework that leverages human interventions as preference information to guide policy learning. OHP-RL introduces a state-dependent preference gate that adaptively regulates when and to what extent human interventions should shape policy learning. This design enables the agent to benefit from intermittent and imperfect human feedback while preserving autonomous exploration and stable policy optimization. We evaluate OHP-RL on three challenging real-world contact-rich manipulation tasks on a Franka robot. Across all tasks, OHP-RL consistently achieves strong success rates, faster convergence, and substantially lower human intervention effort than prior approaches. Moreover, the learned policies exhibit more stable and human-aligned behavior throughout training.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →