日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.05540

手続き生成されたオープンエンド行動環境における視覚・言語・行動モデルのベンチマーク

Benchmarking Vision, Language, & Action Models in Procedurally Generated, Open Ended Action Environments

シェア:XThreadsFacebookLINEはてブBluesky

Procgenの多様な手続き的タスクでVLM/VLAモデルのゼロショット汎化性能を評価するベンチマークMultiNet v0.2を提案し、OODタスクでの限界やアーキテクチャ設計の重要性を明らかにした。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action (VLA) モデルおよび Vision-Language Model (VLM) の zero-shot 汎化性能を評価するベンチマーク MultiNet v0.2 を提案する。 - Procgen benchmark の多様な procedural タスクを用い、GPT-4o、GPT-4.1、OpenVLA、Pi0 Base、Pi0 FAST を対象に評価する。 - 評価フレームワークと知見を公開し、今後の VLA モデル評価と改善領域の特定を目指す。

2. 先行研究と比べてどこがすごい?

- 従来、VLA モデルの系統的評価、特に procedurally out-of-distribution (OOD) 環境での zero-shot 汎化評価は限られていた。 - 本研究は Procgen benchmark を用いた包括的ベンチマーク MultiNet v0.2 を導入し、複数の最先端 VLM/VLA を同一条件で比較する点が新しい。 - 具体的な先行研究との比較記述は要旨からは不明。

3. 技術・手法の肝は?

- Procgen benchmark の多様な procedural タスクを評価環境として用いる。 - GPT-4o、GPT-4.1、OpenVLA、Pi0 Base、Pi0 FAST を対象に zero-shot 評価を実施する。 - action representation やタスク複雑度、prompt engineering の制約条件が性能に与える影響を分析する。 - 評価フレームワークを公開する。

4. どうやって有効だと検証した?

- MultiNet v0.2 上で複数の VLM/VLA モデルの zero-shot 汎化性能を評価した。 - その結果、(1) 全モデルが OOD タスクへの zero-shot 汎化に大きな限界を示し、action representation とタスク複雑度の影響を強く受けること、(2) VLA が堅牢なアーキテクチャ設計により他モデルを概して上回ること、(3) VLM 変種は適切に制約すると大幅に改善し、prompt engineering への感度が高いことを示した。

5. 議論はある?

- 全評価モデルが OOD タスクへの zero-shot 汎化で大きな限界を持つことが議論される。 - 性能は action representation やタスク複雑度に強く影響される。 - VLA は堅牢な設計により他モデルより優れる傾向がある。 - VLM は適切な制約と精密な prompt engineering により改善するが、性能の感度が高い点が課題として示唆される。 - その他の議論は要旨からは不明。

6. 次に読むべき論文は?

- Procgen benchmark に関する論文。 - OpenVLA に関する論文。 - Pi0 Base / Pi0 FAST に関する論文。 - GPT-4o / GPT-4.1 の評価に関連する研究。 - VLA の zero-shot 汎化や OOD 評価に関する関連研究(具体的な参照論文は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranav Guruprasad, Yangyue Wang, Sudipta Chowdhury, Harshvardhan Sikka, Paul Pu Liang

分類: cs.CV, cs.LG

原文アブストラクト

Vision-language-action (VLA) models represent an important step toward general-purpose robotic systems by integrating visual perception, language understanding, and action execution. However, systematic evaluation of these models, particularly their zero-shot generalization capabilities in procedurally out-of-distribution (OOD) environments, remains limited. In this paper, we introduce MultiNet v0.2, a comprehensive benchmark designed to evaluate and analyze the generalization performance of state-of-the-art VLMs and VLAs - including GPT-4o, GPT-4.1, OpenVLA, Pi0 Base, and Pi0 FAST - on diverse procedural tasks from the Procgen benchmark. Our analysis reveals several critical insights: (1) all evaluated models exhibit significant limitations in zero-shot generalization to OOD tasks, with performance heavily influenced by factors such as action representation and task complexity; (2) VLAs generally outperforms other models due to their robust architectural design; and (3) VLM variants demonstrate substantial improvements when constrained appropriately, highlighting the sensitivity of model performance to precise prompt engineering. We release our benchmark, evaluation framework, and findings to enable the assessment of future VLA models and identify critical areas for improvement in their application to out-of-distribution digital tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI