日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマークarXiv:2609.34210

RLE-Bench:ロボット学習エンジニアとしてのコーディングエージェントの適性試験

RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers

シェア:XThreadsFacebookLINEはてブBluesky

コーディングエージェントのロボット開発能力を評価するため、制御・方策学習・知覚・機械設計の4ワークフローにまたがるベンチマークRLE-Benchを提案し、RLE指数で能力を比較した。

詳しい要約

1. どんなもの?

- コーディングエージェントがロボティクス開発で示す広範なエンジニアリング能力を評価するベンチマーク。 - 4つのワークフロー(interactive control, policy learning, perception and estimation, mechanical design)を対象。 - 提出物をタスク固有の指標で評価し、RLE Indexと能力プロファイルを報告。 - ケーススタディでエージェントの振る舞いを分析。

2. 先行研究と比べてどこがすごい?

- 既存のロボティクスベンチマークはpolicyやcontrollerなど個別成果物の性能に焦点。 - 本研究はコーディングエージェントのより広いエンジニアリング能力(構築、統合、診断、改善)をカバー。 - リソース制約下でマルチモーダルフィードバックから推論する能力を評価。 - 複数の能力次元で体系的比較を可能にする。

3. 技術・手法の肝は?

- 4つの代表的なロボティクス開発ワークフローを定義。 - 各タスクに多様なタスク固有指標を設定。 - エージェントが提出した成果物(成功度、訓練したpolicy、構築したharness、設計した機械構造)を評価。 - 指標をRLE Indexに集約し、ワークフロー別能力プロファイルを報告。 - 代表タスクでのケーススタディを実施。

4. どうやって有効だと検証した?

- タスク固有の指標でエージェントの提出物を評価。 - RLE Indexと能力プロファイルで性能ランクを算出。 - ケーススタディでエージェントの能力と限界を分析。 - 具体的な検証結果の数値は要旨からは不明。

5. 議論はある?

- 現在の能力と限界をケーススタディで指摘。 - ロボティクスタスクが将来のエージェント訓練に提供する機会を示唆。 - 具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、ロボティクスベンチマーク(例:RLBench, Meta-World)やコーディングエージェント評価(例:SWE-bench)が関連。 - 具体的な次に読むべき論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haitong Ma, Chenxiao Gao, Rushi Qiang, Na Li, Bo Dai

分類: cs.RO

原文アブストラクト

Coding agents are beginning to move beyond purely digital tasks to tackle physical-world challenges, particularly in robotics. Existing robotics benchmarks, however, primarily focus on the performance of individual artifacts, such as policies or controllers, offering limited coverage of coding agents' broader engineering capabilities. Real-world robotics extends beyond control: agents must build, integrate, diagnose, and improve heterogeneous artifacts under resource constraints and reason from multimodal feedback. To evaluate these broader capabilities, we introduce RLE-Bench, a benchmark of robot-learning tasks spanning four representative robotics development workflows: interactive control, policy learning, perception and estimation, and mechanical design. We use diverse task-specific metrics to evaluate the artifacts submitted by the coding agents, from the success rate the agents achieved to the policy agents trained, the harness agent built, and the mechanical structures the agent designed. We aggregate these metrics into an overall RLE Index and report workflow-specific capability profiles, enabling systematic comparison of coding agents' capabilities across multiple capability dimensions. Beyond performance ranks, we also conduct in-depth case studies examining agent behavior on representative tasks, highlighting both current capabilities and limitations, and pointing to the opportunities robotics tasks have to offer for future agent training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI