日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ベンチマークarXiv:2605.29710

PhAIL: 実ロボットVLAベンチマークと分布評価手法

PhAIL: A Real-Robot VLA Benchmark and Distributional Methodology

シェア:XThreadsFacebookLINEはてブBluesky

実ロボットでのVLAポリシー評価を、成功率だけでなく成功までの時間分布に基づく手法で行う新しいベンチマークと評価方法を提案した論文。

詳しい要約

1. どんなもの?

- 実ロボット上で VLA (vision-language-action) ポリシーを評価するオープンなベンチマーク PhAIL を提案。 - プラットフォームは Franka FR3。dataset、per-rollout artifacts、end-to-end reference implementation を公開。 - 評価の基本単位を time-to-success の CDF (cumulative distribution function) に置く distributional evaluation methodology を導入。 - スコアリングは Human-Relative Throughput (HRT) と呼ぶ無次元スカラーで、bootstrap confidence intervals 付き。 - 有意差検定は Kolmogorov-Smirnov を object ごとに計算し macro-average する。

2. 先行研究と比べてどこがすごい?

- 従来の実世界評価は fixed timeout での binary success rate、条件あたり N ≤ 25 rollouts が主流で、confidence intervals や paired statistical comparison を欠くことが多い。 - この cohort size では近接した比較を信頼性高く解決しにくいという問題意識。 - PhAIL は distributional な評価プリミティブと統計検定を導入し、N ≤ 30 rollouts per (model, object) cell で binary-threshold metrics では解像できない近接比較 (GR00T vs. ACT、OpenPI vs. ACT) を macro-averaged KS test が解決。 - 最も近いペア (OpenPI vs. GR00T) は予算内では未解決のまま。

3. 技術・手法の肝は?

- 評価プリミティブとして time-to-success CDF を採用。 - スコアリングは HRT: same-fixture human teleoperation を基準にした無次元スカラーで、bootstrap confidence intervals を付与。 - 有意差検定は Kolmogorov-Smirnov を object ごとに実施し、macro-average する。 - ベンチマークは Franka FR3 上で実装され、dataset、per-rollout artifacts、end-to-end reference implementation を提供。

4. どうやって有効だと検証した?

- 公開されている 4 つの VLA を対象に評価。 - macro-averaged KS test が N ≤ 30 rollouts per (model, object) cell で 2 つの近接比較 (GR00T vs. ACT、OpenPI vs. ACT) を解決することを示した。 - 一方、binary-threshold metrics ではこれらの比較を解決できない。 - 最も近いペア (OpenPI vs. GR00T) は予算内で未解決。 - 評価された最良の VLA は human reference より操作あたり約 7 倍遅い (RMST ratio)。

5. 議論はある?

- 近接比較の一部は N ≤ 30 でも未解決であり、評価予算の限界が示唆される。 - binary success rate ベースの従来指標では検出できない差を distributional 手法が捉えられる一方、最も近いペアの識別にはさらなる rollouts が必要。 - 最良 VLA でも human より約 7 倍遅いという性能ギャップが議論の対象。 - その他の議論 (一般化可能性、他プラットフォームへの展開など) は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: GR00T、ACT、OpenPI。 - 関連手法: vision-language-action (VLA) policies、Kolmogorov-Smirnov test、bootstrap confidence intervals、Human-Relative Throughput (HRT)、time-to-success CDF、RMST ratio。 - 同分野の定番として、実ロボット評価における binary success rate ベースのベンチマーク (例: 一般的な robot manipulation benchmark) も参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sergey Arkhangelskiy

分類: cs.RO

原文アブストラクト

Real-world evaluation of vision-language-action (VLA) policies still rests on binary success rate at a fixed timeout with $N \le 25$ rollouts per condition, almost always without confidence intervals or paired statistical comparison; these cohort sizes struggle to resolve close comparisons reliably. We introduce PhAIL (Physical AI Leaderboard, https://phail.ai), an open real-robot benchmark on a Franka FR3 (dataset, per-rollout artifacts, and end-to-end reference implementation) of a distributional evaluation methodology: the time-to-success cumulative distribution function (CDF) as the evaluation primitive, with two separated jobs. The first is scoring via Human-Relative Throughput (HRT), a dimensionless scalar with bootstrap confidence intervals, anchored to same-fixture human teleoperation. The second is a significance test (Kolmogorov-Smirnov, computed per-object and macro-averaged across objects). On four publicly-available VLAs, the macro-averaged KS test resolves two close comparisons (GR00T vs. ACT, OpenPI vs. ACT) at $N \le 30$ rollouts per (model, object) cell where binary-threshold metrics do not; the closest pair (OpenPI vs. GR00T) remains unresolved within our budget. The best evaluated VLA is $\sim 7\times$ slower per operation (RMST ratio) than the human reference.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI