日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ベンチマークarXiv:2605.20774

VLA-REPLICA: 実世界での視覚言語行動モデル評価のための低コストで再現可能なベンチマーク

VLA-REPLICA: A Low-Cost, Reproducible Benchmark for Real-World Evaluation of Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

低コストで再現可能な実世界ベンチマークを提案し、VLAモデルの評価を標準化する。

詳しい要約

1. どんなもの?

- VLAモデル向けの実世界評価ベンチマーク - 低コストで再現可能 - 既製部品で構築し、世界中の研究室で複製可能 - 多様なmanipulationタスクと小規模デモデータセットを含む - in-distributionとout-of-distributionの評価プロトコルを提供

2. 先行研究と比べてどこがすごい?

- 既存のシミュレーションベンチマークは実世界の複雑さを捉えられない - 既存の実世界ベンチマークは高価なハードウェア、集中評価、タスク多様性の制限がある - VLA-REPLICAは低コストで容易に再現でき、世界中で一貫した評価環境を提供 - 独立に構築されたセットアップ間で一貫した結果を示し、再現性を実証

3. 技術・手法の肝は?

- 既製部品から構築されたシステム - 迅速に組み立て・複製可能 - 多様なmanipulationタスクスイート - ターゲットドメイン適応のための小規模デモデータセット - in-distributionとout-of-distributionの実世界評価プロトコル

4. どうやって有効だと検証した?

- imitation learningと最先端VLAモデルを用いた実験 - モデルの強みと限界を明らかに - 独立に構築されたセットアップ間で一貫した結果を確認し、ベンチマークの再現性を実証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- imitation learning - state-of-the-art VLA models - 同分野の定番: RT-1, RT-2, OpenVLA

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alex S. Huang, Jiahui Zhang, Shiqing Tang, Yu Xiang

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong promise for general-purpose robotic manipulation, but their real-world evaluation remains limited by a lack of accessible, reproducible, and consistent benchmarks. Simulation benchmarks fail to capture real-world complexity, while existing real-world benchmarks often require expensive hardware, centralized evaluation, or are limited in task diversity. We introduce VLA-REPLICA, a low-cost, easily reproducible real-world benchmark for evaluating VLA models. Built from off-the-shelf components, our system can be quickly assembled and replicated across laboratories, providing a consistent environment for policy evaluation anywhere in the world. VLA-REPLICA includes a diverse suite of manipulation tasks and a small-scale demonstration dataset for target-domain adaptation, with real-world evaluation protocols for both in-distribution and out-of-distribution settings. Experiments with imitation learning and state-of-the-art VLA models reveal model strengths and limitations, while consistent results across independently constructed setups demonstrate the reproducibility of our benchmark.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI