日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2602.11978

マルチモーダルエージェントによるロボット強化学習の加速

Accelerating Robotic Reinforcement Learning with Agent Guidance

シェア:XThreadsFacebookLINEはてブBluesky

人間の代わりにマルチモーダルエージェントが修正ウェイポイントや空間制約を与え、ロボットの強化学習を効率化するAGPSを提案。

詳しい要約

1. どんなもの?

ロボットの強化学習(RL)におけるサンプル効率の低さを解決するため、人間の監督者をマルチモーダルエージェントに置き換えるフレームワーク「Agent-guided Policy Search (AGPS)」を提案。エージェントを意味的世界モデルと見なし、内在的価値事前分布を注入して物理的探索を構造化する。ツールを用いて修正ウェイポイントや空間制約を与え、探索を枝刈りする。精密挿入から変形物体操作まで3タスクで検証。

2. 先行研究と比べてどこがすごい?

従来のHuman-in-the-Loop (HIL) 手法は人間の修正により訓練を加速するが、1:1の監督比率、長時間セッションでのオペレータ疲労、人間の熟練度による高分散というスケーラビリティの壁があった。AGPSは人間監督者をマルチモーダルエージェントに置き換えることで、監督パイプラインを自動化し、労働不要でスケーラブルなロボット学習を可能にする。サンプル効率でHIL手法を上回る。

3. 技術・手法の肝は?

エージェントを意味的世界モデルとして捉え、内在的価値事前分布を注入して物理的探索を構造化する。エージェントはツールを利用して、修正ウェイポイントと空間制約を提供し、探索を枝刈りする。これにより、人間の介入なしに正確なガイダンスを実現する。

4. どうやって有効だと検証した?

精密挿入から変形物体操作に至る3つのタスクで検証。結果、AGPSはHIL手法よりもサンプル効率で優れることを示した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

Human-in-the-Loop (HIL) 手法、およびマルチモーダルエージェントや意味的世界モデルに関する研究。具体的な論文名は要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haojun Chen, Zili Zou, Chengdong Ma, Yaoxiang Pu, Haotong Zhang, Yuanpei Chen, Yaodong Yang

分類: cs.RO, cs.AI

原文アブストラクト

Reinforcement Learning (RL) offers a powerful paradigm for autonomous robots to master generalist manipulation skills through trial-and-error. However, its real-world application is stifled by low sample efficiency. Recent Human-in-the-Loop (HIL) methods accelerate training by using human corrections, yet this approach faces a scalability barrier. Reliance on human supervisors imposes a 1:1 supervision ratio that limits scalability, suffers from operator fatigue over extended sessions, and introduces high variance due to inconsistent human proficiency. We present Agent-guided Policy Search (AGPS), a framework that automates the training pipeline by replacing human supervisors with a multimodal agent. Our key insight is that the agent can be viewed as a semantic world model, injecting intrinsic value priors to structure physical exploration. By using tools, the agent provides precise guidance via corrective waypoints and spatial constraints for exploration pruning. We validate our approach on three tasks, ranging from precision insertion to deformable object manipulation. Results demonstrate that AGPS outperforms HIL methods in sample efficiency. This automates the supervision pipeline, unlocking the path to labor-free and scalable robot learning. Project website: https://agps-rl.github.io/agps/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI