マニピュレーション2025/7/1arXiv:2507.00435

RoboEval：ロボットマニピュレーションのための構造化・スケーラブルな評価フレームワーク

RoboEval: Where Robotic Manipulation Meets Structured and Scalable Evaluation

ロボットマニピュレーションの評価を二値的成功から拡張し、効率・協調・安全性などの行動指標と段階的進捗・失敗局所化を含む構造化ベンチマークを提案。8つの両手タスクと3000以上の実演を提供。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションの構造化評価フレームワーク兼ベンチマーク「RoboEval」 - 二値の成功判定に、原則に基づく行動指標と結果指標を追加 - 8つのbimanualタスクを体系的に制御されたvariationsで提供 - 3,000以上のexpert demonstrationsを収録 - 再現可能な実験のためのモジュール式simulation platformを提供 - 全タスクに標準化metricsを実装 - efficiency、coordination、safety/stabilityを定量化 - stagewise progressを追跡しfailure modesを局所化するoutcome measures

2. 先行研究と比べてどこがすごい？

- 既存評価は性能をoutcome countsに集約し、実行品質の違いやfailure structureを覆い隠す問題があった - RoboEvalはbinary successを行動指標・結果指標で拡張し、実行品質と失敗構造を可視化 - 体系的に制御されたタスクバリエーションと標準化metricsで再現可能かつスケーラブルな評価を実現 - 同程度のsuccess rateを持つpolicy間の差別化を可能にする点が従来と異なる - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は？

- 8つのbimanualタスクに体系的に制御されたvariationsを設計 - 3,000以上のexpert demonstrationsを収集 - モジュール式simulation platform上で全タスクをinstrumentation - 標準化metricsの設計 - efficiency、coordination、safety/stabilityを定量化するbehavioral metrics - stagewise progressの追跡とfailure modesの局所化を行うoutcome measures - これらのmetricsをstate-of-the-art visuomotor policiesで検証する実験プロトコル

4. どうやって有効だと検証した？

- state-of-the-art visuomotor policiesを用いた広範な実験を実施 - metricsの妥当性を以下の観点で分析 - variation下でのstability - 同程度のsuccess ratesを持つpolicies間でのdiscriminative power - task successとのcorrelation - これらの分析によりmetricsの有効性を検証

5. 議論はある？

- 既存評価がoutcome countsに集約され実行品質やfailure structureを隠す問題意識を提示 - binary successでは捉えられない実行品質の差をmetricsで可視化できると主張 - metricsのstability、discriminative power、task successとのcorrelationを議論 - 具体的な限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法としてstate-of-the-art visuomotor policies（例: diffusion policy、ACT等の模倣学習手法） - bimanual manipulationのbenchmark（例: CALVIN、RLBench等の一般名） - robotic manipulation評価におけるbehavioral metricsやfailure mode分析に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi Ru Wang, Carter Ung, Christopher Tan, Grant Tannert, Jiafei Duan, Josephine Li, Anh Le, Rishabh Oswal, Markus Grotz, Wilbert Pumacay, Yuquan Deng, Ranjay Krishna, Dieter Fox, Siddhartha Srinivasa

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

We introduce RoboEval, a structured evaluation framework and benchmark for robotic manipulation that augments binary success with principled behavioral and outcome metrics. Existing evaluations often collapse performance into outcome counts, masking differences in execution quality and obscuring failure structure. RoboEval provides eight bimanual tasks with systematically controlled variations, more than three thousand expert demonstrations, and a modular simulation platform for reproducible experimentation. All tasks are instrumented with standardized metrics that quantify efficiency, coordination, and safety/stability, as well as outcome measures that trace stagewise progress and localize failure modes. Through extensive experiments with state-of-the-art visuomotor policies, we validate these metrics by analyzing their stability under variation, discriminative power across policies with similar success rates, and correlation with task success. Project Page: https://robo-eval.github.io

arXivで原文を読む →arXiv概要ページ

RoboEval：ロボットマニピュレーションのための構造化・スケーラブルな評価フレームワーク

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell