日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ベンチマークarXiv:2605.27759

Colosseum V2: 視覚言語行動モデルの汎化性能を評価するベンチマーク

Colosseum V2: Benchmarking Generalization for Vision Language Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの汎化性能を体系的に評価する大規模シミュレーションベンチマークColosseum V2を構築し、既存手法の限界を明らかにした。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの汎化性能を評価する大規模シミュレーションベンチマーク - 28タスク、13カテゴリ、2つのロボット形態を含む - ManiSkill シミュレータ上に構築され、GPU並列評価が可能 - in-domain と out-of-domain のテストを大規模にサポート - タスク、メトリクス、評価プロトコルを標準化し、再現可能で公平な比較を実現

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルはゼロショット知覚と言語能力を示すが、分布シフト下でのタスク性能低下が問題 - 既存ベンチマークは汎化性能を体系的に評価する点で不十分 - Colosseum V2 は多様な条件での汎化を大規模に評価する初の試み - シミュレーションと実世界のメトリクス間の強い相関を示し、生態学的妥当性を支持 - 評価オーバーヘッドを削減し、汎用ロボットポリシーへの進歩を加速

3. 技術・手法の肝は?

- ManiSkill シミュレータを基盤とし、GPU並列化による高速評価を実現 - 28タスクを13カテゴリに分類し、操作プリミティブと長期的行動をカバー - 2つのロボット形態を採用し、多様な条件を設定 - in-domain と out-of-domain のテストを大規模に実施可能 - 標準化されたタスク、メトリクス、評価プロトコルを提供

4. どうやって有効だと検証した?

- 最先端手法である Action Chunking Transformers (ACT) と Pi0.5 を評価 - ベース性能と汎化性能の両方に限界があることを明らかにした - シミュレーションと実世界のメトリクス間の強い相関を実証 - ベンチマークの生態学的妥当性を支持する結果を得た

5. 議論はある?

- VLAモデルのゼロショット知覚と言語能力にもかかわらず、分布シフト下での性能低下が課題 - 高レベル理解を堅牢な行動に変換するギャップが存在 - シミュレーションと実世界の相関は強いが、完全な一致ではない可能性 - ベンチマークの標準化により再現性と公平性が向上 - 評価オーバーヘッドの削減と進歩の加速が期待される

6. 次に読むべき論文は?

- Action Chunking Transformers (ACT) - Pi0.5 - ManiSkill シミュレータ - 関連するVLAモデルの汎化研究 - ロボット操作のベンチマーク研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeremy Morgan, Prajwal Vijay, Hyeonho Oh, Jincen Song, Ashvin Arora, Alina Du, Gaurav Sukhatme, Jesse Thomason, Ishika Singh

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models demonstrate promising generalization in robotic manipulation, driven by advances in large-scale vision and language pre-training. This progress can be misleading. Despite the zero-shot perception and language capabilities of VLAs, their overall task performance often degrades under distribution shifts, revealing gaps in how these systems translate high-level understanding into robust behavior. To systematically study this gap, we introduce Colosseum V2, a large-scale simulation benchmark for evaluating VLA generalization in robot learning across diverse conditions. The benchmark comprises 28 tasks spanning 13 task categories and two robot morphologies, covering a wide range of manipulation primitives and long-horizon behaviors. Built on the ManiSkill simulator, Colosseum V2 enables fast, GPU-parallelized evaluation and supports both in-domain and out-of-domain testing at scale. We evaluate state-of-the-art methods, including Action Chunking Transformers (ACT) and Pi0.5, and reveal limitations in both base performance and generalization. We demonstrate strong correlations between simulation and real-world metrics that support the ecological validity of the benchmark. By standardizing tasks, metrics, and evaluation protocols within a unified benchmark, Colosseum V2 enables reproducible and fair comparisons, reduced evaluation overhead, and accelerated progress toward general-purpose robot policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI