日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2601.18723

Eval-Actions: ロボットマニピュレーションのための細粒度実行品質評価

Eval-Actions: Fine-Grained Execution Quality Evaluation for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボットマニピュレーションの学習方策を、成功/失敗の二値ではなく実行プロセスの品質まで細かく評価するためのベンチマークと自動評価器を提案した論文。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションの学習方策を対象に、実行品質を細粒度で評価する診断的評価手法と実機ベンチマーク - 名称は Eval-Actions - 構成要素は criteria-based Expert Grading (EG)、Rank-Guided (RG) ラベル、Chain-of-Thought-style (CoT) 注釈 - 13K+ の teleoperated および policy-generated 実機エピソード、150+ タスク、約52時間の記録を含む - RGB-D 動画、robot-state trajectories、タスク記述、success/failure ラベルを収録 - 密注釈サブセットは EG/RG/CoT の supervision を提供 - 参照 multimodal evaluator の AutoEval も提供

2. 先行研究と比べてどこがすごい？

- 従来の評価は binary success rates が支配的で、同一タスクを完了した実行間の process-level 差異を覆い隠していた - Eval-Actions は成功/失敗だけでなく実行品質を診断する点で異なる - EG/RG/CoT を組み合わせ、測定可能な motion indicators と expert rankings を整合させる - 実機ベンチマークとして 13K+ エピソード、150+ タスク、約52時間を備える - success-rate evaluation を補完する standardized で interpretable な diagnostic signals を提供 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は？

- criteria-based Expert Grading (EG) による基準ベースの専門家評価 - Rank-Guided (RG) ラベルで measurable motion indicators と expert rankings を整合 - Chain-of-Thought-style (CoT) 注釈で観察可能な品質差を説明 - AutoEval は RGB temporal evidence と compact kinematic summaries から品質スコア、タスク結果、診断説明を予測する参照 multimodal evaluator - AutoEval-S と AutoEval-P の2種を提示 - 密注釈サブセットで EG/RG/CoT supervision を訓練・評価に利用

4. どうやって有効だと検証した？

- 注釈付き Eval-Actions test split で AutoEval-S が EG と RG で Spearman rank correlations (SRCCs) 0.81 と 0.84 を達成 - 同設定で success detection accuracies は 90.6% と 91.0% - AutoEval-P は CoT で 0.70 SRCC を達成 - expert consistency、physical-metric baselines、modality ablations、structured generalization、offline policy ranking の分析を実施 - これらの分析により success-rate evaluation を補完する standardized で interpretable な diagnostic signals を提供すると示す

5. 議論はある？

- Eval-Actions は success-rate evaluation を補完する standardized で interpretable な diagnostic signals を提供 - expert consistency、physical-metric baselines、modality ablations、structured generalization、offline policy ranking の分析を提示 - 具体的な限界や議論の詳細は要旨からは不明 - バイナリ成功指標が process-level 差異を覆い隠すという問題意識が背景

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として Vision--Action (VA) policies、Vision--Language--Action (VLA) policies、AutoEval が挙げられる - 同分野の定番として robotic manipulation の success-rate evaluation、multimodal evaluator、offline policy ranking に関する研究が次に読む候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mengyuan Liu, Juyi Sheng, Peiming Li, Ziyi Wang, Tianming Xu, Tiantian Xu, Hong Liu

分類: cs.RO

原文アブストラクト

Although Vision--Action (VA) and Vision--Language--Action (VLA) policies have advanced robotic manipulation, their evaluation remains dominated by binary success rates, which obscure process-level differences among executions that complete the same task. We introduce Eval-Actions, a diagnostic evaluation methodology and real-robot benchmark for fine-grained execution-quality assessment of learned manipulation policies. Eval-Actions combines criteria-based Expert Grading (EG), Rank-Guided (RG) labels that align measurable motion indicators with expert rankings, and Chain-of-Thought-style (CoT) annotations that explain observable quality differences. The benchmark contains 13K+ teleoperated and policy-generated real-robot episodes covering 150+ tasks and approximately 52 hours of recordings with RGB-D videos, robot-state trajectories, task descriptions, and success/failure labels. Its densely annotated subset provides EG/RG/CoT supervision for training and evaluation. We further provide AutoEval, a reference multimodal evaluator that predicts quality scores, task outcomes, and diagnostic explanations from RGB temporal evidence and compact kinematic summaries. On the annotated Eval-Actions test split, AutoEval-S achieves Spearman rank correlations (SRCCs) of 0.81 and 0.84 under EG and RG, with success detection accuracies of 90.6% and 91.0%; AutoEval-P reaches 0.70 SRCC under CoT. Analyses of expert consistency, physical-metric baselines, modality ablations, structured generalization, and offline policy ranking show that Eval-Actions provides standardized, interpretable diagnostic signals complementary to success-rate evaluation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →