日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.12372

UniIntervene: 実世界強化学習の効率化のためのエージェント介入

UniIntervene: Agentic Intervention for Efficient Real-World Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

人間参加型強化学習における介入コストを削減するため、非生産的な探索を検知し自律的に回復行動を生成するエージェント介入モデルUniInterveneを提案した。

詳しい要約

1. どんなもの?

- 実世界ロボット操作のための HiL-RL における介入を自動化する agentic intervention model「UniIntervene」を提案。 - 人間の代わりに非生産的な探索を検出し、高価値状態へ自律的に回復させる。 - 介入を人間の受動的修正から value-aware recovery process へ転換する。

2. 先行研究と比べてどこがすごい?

- 従来の HiL-RL は頻繁な人間の修正に依存し、労力コストが高くスケーラビリティが限られる。 - UniIntervene は介入の大部分を人間から引き受け、人間介入を 57% 削減。 - 平均成功率を 8.6% 向上させ、state-of-the-art HiL-RL ベースラインを上回る。

3. 技術・手法の肝は?

- future-conditioned action-value estimation により、現在行動の潜在的帰結を予測し価値を評価、安定した進捗信号を得る。 - temporal value-risk critic が最近の価値動態を集約し、価値の持続的停滞や劣化で介入をトリガー。 - 介入時には過去の介入エピソードの memory から高価値回復目標を検索し、goal-conditioned recovery policy で実行可能な修正行動を生成。

4. どうやって有効だと検証した?

- 多様な実世界マニピュレーションタスクで広範な実験を実施。 - state-of-the-art HiL-RL ベースラインと比較し、平均成功率 8.6% 向上、人間介入 57% 削減を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- HiL-RL ベースライン(具体的名称は要旨からは不明)。 - goal-conditioned recovery policy、action-value estimation、temporal value-risk critic に関連する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyuan Deng, Yitong Gao, Yudong Lin, Haichao Liu, Zhenyu Wu, Ziwei Wang

分類: cs.RO, cs.LG

原文アブストラクト

Human-in-the-loop reinforcement learning (HiL-RL) has emerged as an effective paradigm for real-world robotic manipulation, enabling online policy improvement with human guidance. However, current HiL-RL frameworks remain intervention-intensive, relying on frequent human corrections to redirect the policy out of unproductive exploration, which incurs high labor cost and limits real-world scalability. To address this, we propose UniIntervene, an agentic intervention model that detects unproductive exploration and autonomously recovers the policy toward high-value states, taking over the bulk of interventions from human operators. Specifically, UniIntervene first performs future-conditioned action-value estimation, predicting the latent consequence of the current action and evaluating its induced value, which provides a more stable progress signal. Building on this, a temporal value-risk critic aggregates recent value dynamics and triggers intervention when the estimated value exhibits sustained stagnation or degradation. When intervention is required, UniIntervene retrieves a high-value recovery target from a memory of past intervention episodes and produces executable corrective actions through a goal-conditioned recovery policy. In this way, UniIntervene turns intervention from passive human correction into a value-aware recovery process for efficient real-world RL. Extensive experiments on diverse real-world manipulation tasks demonstrate that UniIntervene improves the average success rate by 8.6% while reducing human interventions by 57% relative to state-of-the-art HiL-RL baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI