日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

評価基盤arXiv:2611.03850

RoboScope Kit: embodied-AI評価を高速化・スケール化する統合インターフェース

RoboScope Kit: Unified Interfaces for Fast and Scalable Embodied-AI Evaluation

シェア:XThreadsFacebookLINEはてブBluesky

各ベンチマークの評価器をアダプタで包み、モデルをPolicyクラスで統一して、シミュレータとモデルを別プールで並列スケジューリングすることで、ロボットポリシー評価を最大6倍以上高速化した。

詳しい要約

1. どんなもの?

- ロボット方策(policy)を比較する simulation benchmark 評価を高速化・統一する枠組み「RoboScope Kit」 - 各モデルを Python クラス「Policy」で一度ラップする - 各 benchmark を、その benchmark 自身の evaluator を包む adapter でラップする - 目的は、benchmark ごとに異なる evaluator・observation layout・action convention を吸収しつつ、benchmark のルールとスコアリングは変えずに評価を速く・スケールさせること - 6 つの benchmark family を adapter でカバーする - 評価の遅さを問題視: 例として RoboTwin Easy の 500 episodes を 1 simulator・1 model・1 GPU で実行すると 359.7 分

2. 先行研究と比べてどこがすごい?

- 既存の simulation benchmark はそれぞれ独自の evaluator・observation layout・action convention を持ち、比較が煩雑で評価も遅い - 公式 StarVLA evaluator の profiling では、simulation が CPU cores を占有する一方、GPU 平均利用率は 14.3% にとどまることを示した - 提案手法は benchmark のルールとスコアリングを変えずに評価を高速化する点が特徴 - LIBERO-Long・StarVLA checkpoint・1 枚の 48 GiB RTX 4090 で、公式 StarVLA 評価より 4.45× 高速(同等の success rates)、RLinf より 2.78×、tuned 構成の vla-eval より 1.52× 高速 - CUDA MPS 使用時は StarVLA より 6.16×、RLinf より 3.85×、vla-eval より 2.10× 高速 - RoboTwin Easy では 4 GPUs で 500 episodes…

3. 技術・手法の肝は?

- モデルごとに一度だけ Policy クラスでラップする - benchmark ごとに、その benchmark 自身の evaluator を包む adapter を用意し、benchmark のルールとスコアリングを維持する - simulator workers と Policy replicas を別々の pool としてスケジューリングする - 両 pool のサイズを measured probes から決定する - 複数の GPU instance に決定的に work を shard する - runtime optimization として、action-chunk Policy が読む observation だけを render する - CUDA MPS により replicas の kernel を並行実行できる - chunk-boundary observation を用いる構成も示される

4. どうやって有効だと検証した?

- LIBERO-Long と StarVLA checkpoint を 1 枚の 48 GiB RTX 4090 で評価 - concurrency search が 12 simulator workers と 3 Policy replicas を選択 - 500 episodes を公式 StarVLA 評価より 4.45× 高速に評価し、success rates は同等 - RLinf より 2.78×、tuned 構成の vla-eval より 1.52× 高速 - CUDA MPS 使用時は 16 workers と 4 replicas を選択し、StarVLA より 6.16×、RLinf より 3.85×、vla-eval より 2.10× 高速 - RoboTwin Easy では 4 GPUs と chunk-boundary observation で 500 episodes を 14.4 分で完了 - single-GPU baseline より 25.04× 高速 - 成功結果と terminal steps は同一

5. 議論はある?

- 要旨からは不明 - ただし、評価高速化の根拠として公式 StarVLA evaluator の GPU 平均利用率 14.3% という profiling 結果が示されている - benchmark のルールとスコアリングを変えない設計であることが述べられている - 成功結果や terminal steps の同一性が確認されているが、限定的な設定での検証と読める

6. 次に読むべき論文は?

- StarVLA(比較対象の公式 evaluator) - RLinf(比較対象) - vla-eval(比較対象) - LIBERO-Long(benchmark) - RoboTwin Easy(benchmark) - CUDA MPS(関連技術)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Deng-Ke Wu, Yifan Jin, Yida Yang, Lei Qian, Zhaoye Zhou, Hongru Zhang, Kai Ye, Shuyuan Hu, Yiran Mao, Zewei Ye, Bo Zhao

分類: cs.RO, cs.AI

原文アブストラクト

Simulation benchmarks are the standard way to compare robot policies, but each benchmark brings its own evaluator, observation layout, and action convention, and evaluation is slow: 500 RoboTwin Easy episodes with one simulator and one model on one GPU take 359.7 minutes. Profiling the official StarVLA evaluator shows that simulation occupies CPU cores while the GPU averages 14.3% utilization. RoboScope Kit wraps each model once in a Python class called a Policy, and each benchmark once in an adapter around the benchmark's own evaluator, so the benchmark's rules and scoring stay unchanged. Scheduling runs simulator workers and Policy replicas as separate pools, sizes both from measured probes, and shards work deterministically across GPU instances; runtime optimization renders only the observations an action-chunk Policy reads. Adapters cover six benchmark families. On LIBERO-Long with a StarVLA checkpoint on one 48 GiB RTX 4090, the concurrency search selects twelve simulator workers sharing three Policy replicas, which evaluate 500 episodes 4.45$\times$ faster than the official StarVLA evaluation with equivalent success rates, 2.78$\times$ faster than RLinf, and 1.52$\times$ faster than vla-eval at its tuned configuration. With CUDA MPS, which lets the replicas run their kernels concurrently, the search selects sixteen workers sharing four replicas, 6.16$\times$ faster than StarVLA, 3.85$\times$ faster than RLinf, and 2.10$\times$ faster than vla-eval. On RoboTwin Easy, four GPUs with chunk-boundary observation complete the 500 episodes in 14.4 minutes, 25.04$\times$ faster than the single-GPU baseline, with identical success outcomes and terminal steps.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI