日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/自動化arXiv:2606.08610

HARBOR: エージェント型ロボット強化学習のためのハーネスフレームワーク

HARBOR: A Harness Framework for Agentic Robot Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

ロボット強化学習のパイプラインを自動化するエージェントフレームワークを提案し、環境構築からポリシー訓練までを自動化して、複数のベンチマークで有効性を示した。

詳しい要約

1. どんなもの?

- ロボット強化学習(RL)の自動化フレームワーク - シミュレータのコードベースとタスク仕様を与えると、環境構築から方策学習までを自動化 - エージェント指向の「ハーネスエンジニアリング」問題として定式化 - 6ベンチマーク、16タスク(manipulation, locomotion, bimanual dexterous control)で評価 - 実ロボットへの転移も可能

2. 先行研究と比べてどこがすごい?

- 従来のRLはアルゴリズム周辺のエンジニアリング(タスク構築、報酬設計、ハイパーパラメータ調整)に専門家の多大な労力が必要 - HARBORはこれらを自動化し、ワークフロー全体をエンドツーエンドで実行 - 報酬設計やアルゴリズム調整を自動で行い、デフォルト設定と同等以上に - エンジニアリング労力を削減し、実用的なトークンと実時間コストで実現

3. 技術・手法の肝は?

- 高レベル目標を境界付きステージに分解し、専門エージェントが標準コマンドで実行 - 永続的アーティファクト、実行可能ゲート、再利用可能知識を活用 - 分散並列試行と実行間の経験学習により反復をスケール - シミュレータコードベースとタスク仕様を入力とする

4. どうやって有効だと検証した?

- 6ベンチマーク、16タスクで評価 - manipulation, locomotion, bimanual dexterous controlを含む - シミュレーションRLワークフローのエンドツーエンド自動化を実証 - 報酬設計、アルゴリズム調整がデフォルト設定と同等以上 - 実ロボットへの転移も確認

5. 議論はある?

- 要旨からは不明 - 限界や課題についての言及はない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として、sim-to-real RL, domain randomization, 自動機械学習(AutoML)関連の論文が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zechu Li, Yufeng Jin, Xiaoyang Liu, Puze Liu, Vignesh Prasad, Carlo D'Eramo, Georgia Chalvatzaki

分類: cs.RO, cs.AI

原文アブストラクト

Reinforcement learning (RL) has become a powerful paradigm for robot learning, particularly in sim-to-real settings, but its broader adoption remains limited by the engineering pipeline surrounding the algorithms. Building tasks, shaping rewards, and tuning hyperparameters require substantial expert effort, making RL workflows costly and difficult to scale. We introduce HARBOR, an agentic framework that frames robot RL automation as a harness-engineering problem: given a simulator codebase and a task specification, it automates the workflow from environment setup to policy training in simulation. HARBOR decomposes such high-level objectives into bounded stages executed by specialized agents through standardized commands, persistent artifacts, executable gates, and reusable knowledge, and scales iteration via decentralized parallel trials and experience learning across runs. We evaluate HARBOR across 6 benchmarks and 16 tasks in total, spanning manipulation, locomotion, and bimanual dexterous control. We demonstrate that HARBOR automates the simulation RL workflow end-to-end, designs rewards, tunes algorithms to match or improve over default configurations, and reduces engineering effort at practical token and wall-clock cost; the resulting policies can also be transferred to real robots.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI