日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.22539

VLA-Arena: 視覚言語行動モデルを評価するためのオープンソースベンチマークフレームワーク

VLA-Arena: An Open-Source Framework for Benchmarking Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの能力限界と失敗モードを定量化するため、タスク構造・言語・視覚の3軸で難易度を設計した170タスクのベンチマークを提案し、最先端モデルの汎化不足や安全性軽視を明らかにした。

詳しい要約

1. どんなもの?

- Vision-Language-Action models (VLAs) の能力境界と失敗モードを定量的に評価するためのオープンソースベンチマーク VLA-Arena を提案。 - 構造化タスク設計フレームワークを導入し、難易度を3つの直交軸で定量化: - Task Structure - Language Command - Visual Observation - Task Structure は Safety, Distractor, Extrapolation, Long Horizon の4次元からなる11タスクスイート、計170タスク。 - 各スイートは3難易度レベル (L0-L2) を持ち、fine-tuning は L0 に限定して汎化を厳密に評価。 - 言語 (W0-W4) と視覚 (V0-V4) の摂動を任意タスクに適用可能な診断プローブとして用意。 - 完全なフレームワーク、自動評価ツールチェーン、VLA-Arena-S/M/L データセット、リーダーボードを公開。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べて、難易度を Task Structure, Language Command, Visual Observation の3直交軸で体系的に設計・定量化する点が新しい。 - 従来のベンチマークは難易度制御や汎化評価が不十分だったが、VLA-Arena は fine-grained な難易度レベルを提供。 - L0-L2 の各レベルが非冗長な知見を与えることを model rank reversals で検証。 - 言語・視覚摂動を診断プローブとして任意タスクに適用できる点が特徴。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- 構造化タスク設計フレームワークにより、3軸 (Task Structure, Language Command, Visual Observation) で難易度を制御。 - Task Structure は4次元 (Safety, Distractor, Extrapolation, Long Horizon) の11スイート、170タスク。 - 各スイートは L0-L2 の3難易度、fine-tuning は L0 のみに制限。 - 言語摂動 W0-W4、視覚摂動 V0-V4 を任意タスクに適用し、robust grounding と表面的 pattern matching を区別。 - タスク定義から自動評価までの end-to-end ツールチェーンを提供。 - VLA-Arena-S/M/L データセットを fine-tuning 用に提供。

4. どうやって有効だと検証した?

- state-of-the-art VLAs を広範囲に評価し、以下の限界を明らかにした: - memorization over generalization - superficial visual perception - neglect of safety constraints - L0-L2 間の model rank reversals を確認し、各レベルが非冗長な知見を提供することを検証。 - 言語・視覚摂動を診断プローブとして用い、robust grounding と表面的 pattern matching を区別できることを示した。 - 具体的な評価指標やベースラインの詳細は要旨からは不明。

5. 議論はある?

- 現在の VLAs が汎化よりも記憶に依存し、視覚知覚が表面的で、安全制約を無視する傾向があると議論。 - L0-L2 の各難易度レベルが非冗長な評価軸を提供することを model rank reversals で示唆。 - 再現性とこれらの限界への研究促進のため、完全なフレームワークとデータセットを公開。 - 具体的な議論の詳細や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action models (VLAs) 全般、および一般的なロボットベンチマークが挙げられる。 - 同分野の定番として、RLBench, CALVIN, LIBERO などのロボットマニピュレーションベンチマークが次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Borong Zhang, Jiahao Li, Jiachen Shen, Yuhao Zhang, Yishuai Cai, Lu Liu, Hailu Ji, Yuanpei Chen, Juntao Dai, Jiaming Ji, Yaodong Yang

分類: cs.RO, cs.CV

原文アブストラクト

While Vision-Language-Action models (VLAs) are rapidly advancing toward generalist robot policies, quantitatively characterizing their capability boundaries and failure modes remains challenging. To address this, we introduce VLA-Arena, a comprehensive benchmark. It features a novel structured task design framework to quantify difficulty across three orthogonal axes: (1) Task Structure, (2) Language Command, and (3) Visual Observation. This allows us to systematically design tasks with fine-grained difficulty levels, enabling a precise measurement of model capability frontiers. For task structure, VLA-Arena comprises 11 task suites organized into four dimensions: Safety, Distractor, Extrapolation, and Long Horizon, totaling 170 tasks. Each suite spans three difficulty levels (L0-L2), with fine-tuning restricted to L0 to rigorously assess generalization. Orthogonal to this, language (W0-W4) and visual (V0-V4) perturbations can be applied to any task as diagnostic probes to distinguish robust grounding from superficial pattern matching. Our extensive evaluation of state-of-the-art VLAs reveals critical limitations: memorization over generalization, superficial visual perception, and a neglect of safety constraints. Additionally, model rank reversals across L0-L2 validate that each level provides non-redundant insights. To foster research addressing these model limitations and ensure reproducibility, we provide the complete VLA-Arena framework, including an end-to-end toolchain from task definition to automated evaluation and the VLA-Arena-S/M/L datasets for fine-tuning. Our benchmark, datasets, models, and leaderboard are publicly available at https://vla-arena.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI