VLA-REPLICA: 実世界での視覚言語行動モデル評価のための低コストで再現可能なベンチマーク
VLA-REPLICA: A Low-Cost, Reproducible Benchmark for Real-World Evaluation of Vision-Language-Action Models
低コストで再現可能な実世界ベンチマークを提案し、VLAモデルの評価を標準化する。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Alex S. Huang, Jiahui Zhang, Shiqing Tang, Yu Xiang
分類: cs.RO
原文アブストラクト
Vision-Language-Action (VLA) models have shown strong promise for general-purpose robotic manipulation, but their real-world evaluation remains limited by a lack of accessible, reproducible, and consistent benchmarks. Simulation benchmarks fail to capture real-world complexity, while existing real-world benchmarks often require expensive hardware, centralized evaluation, or are limited in task diversity. We introduce VLA-REPLICA, a low-cost, easily reproducible real-world benchmark for evaluating VLA models. Built from off-the-shelf components, our system can be quickly assembled and replicated across laboratories, providing a consistent environment for policy evaluation anywhere in the world. VLA-REPLICA includes a diverse suite of manipulation tasks and a small-scale demonstration dataset for target-domain adaptation, with real-world evaluation protocols for both in-distribution and out-of-distribution settings. Experiments with imitation learning and state-of-the-art VLA models reveal model strengths and limitations, while consistent results across independently constructed setups demonstrate the reproducibility of our benchmark.
関連論文
- RoboSPA: VLAモデルは単純なシーンと短期的なタスクを超えられるか?VLA/ベンチマーク
- Behavior-Skill: 長期的タスクにおける視覚-言語-行動ポリシー評価のための細粒度ベンチマークVLA/ベンチマーク
- InstructMove: 指示追従操作のためのテキスト必須ベンチマークVLA/ベンチマーク
- NumerosityVLM: 視覚言語モデルにおける数量表現の解釈のための認知に着想を得たベンチマークVLA/ベンチマーク
- SO-101における視覚言語行動モデルのベンチマーク:失敗と回復の分析VLA/ベンチマーク
- RoboProcessBench: 視覚言語ロボット操作におけるプロセス認識理解のベンチマークVLA/ベンチマーク
