日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.11315

視覚言語行動モデルの汎用性を測る統一ベンチマーク

Benchmarking the Generality of Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLMとVLAの6つの能力領域にわたるクロスドメイン汎用性を評価する統一ベンチマークMultiNet v1.0を提案し、既存モデルが訓練分布外で大きく性能劣化することを示した。

詳しい要約

1. どんなもの?

- 視覚・言語・行動を統合する汎用マルチモーダルエージェントの評価を目的とした統合ベンチマーク MultiNet v1.0 を提案。 - 6つの基礎能力領域(Visual grounding, spatial reasoning, tool use, physical commonsense, multi agent coordination, continuous robot control)で VLM と VLA のクロスドメイン汎化性を測定。 - GPT 5, Pi0, Magma を評価し、訓練分布外での性能劣化を報告。

2. 先行研究と比べてどこがすごい?

- 従来の評価は孤立したベンチマークに分断され、訓練分布を超えた汎化性を評価しにくい。 - MultiNet v1.0 は6領域を統合し、クロスドメイン汎化を標準化された基盤で診断可能にする点が新しい。 - 単一分布内性能ではなく、未見ドメイン・未習熟モダリティ・クロスドメインタスクシフトでの劣化を明示的に測定。

3. 技術・手法の肝は?

- 6つの基礎能力領域をカバーする統一ベンチマーク MultiNet v1.0 を構築。 - VLM と VLA を対象に、クロスドメイン汎化性を評価する設計。 - 評価指標やタスク構成の詳細は要旨からは不明。 - コード・データ・リーダーボードを公開。

4. どうやって有効だと検証した?

- GPT 5, Pi0, Magma を MultiNet v1.0 で評価。 - どのモデルも一貫した汎化性を示さず、訓練分布内では高性能でも未見ドメイン・未習熟モダリティ・クロスドメインタスクシフトで大幅に劣化。 - 失敗は modality misalignment, output format instability, catastrophic knowledge degradation under domain transfer として現れる。

5. 議論はある?

- 汎用知能への期待と現在の基盤モデルの実能力との間に持続的なギャップがあると指摘。 - MultiNet v1.0 はこのギャップを診断し、将来の汎用エージェント開発を導く標準評価基盤を提供。 - 具体的な議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究:GPT 5, Pi0, Magma。 - 関連手法:VLM, VLA, MultiNet v1.0。 - 同分野の定番:Visual grounding, spatial reasoning, tool use, physical commonsense, multi agent coordination, continuous robot control に関する既存ベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranav Guruprasad, Sudipta Chowdhury, Harsh Sikka, Mridul Sharma, Helen Lu, Sean Rivera, Aryan Khurana, Hangliang Ren, Yangyue Wang

分類: cs.LG

原文アブストラクト

Generalist multimodal agents are expected to unify perception, language, and control - operating robustly across diverse real world domains. However, current evaluation practices remain fragmented across isolated benchmarks, making it difficult to assess whether today's foundation models truly generalize beyond their training distributions. We introduce MultiNet v1.0, a unified benchmark for measuring the cross domain generality of vision language models (VLMs) and vision language action models (VLAs) across six foundational capability regimes. Visual grounding, spatial reasoning, tool use, physical commonsense, multi agent coordination, and continuous robot control. Evaluating GPT 5, Pi0, and Magma, we find that no model demonstrates consistent generality. All exhibit substantial degradation on unseen domains, unfamiliar modalities, or cross domain task shifts despite strong performance within their training distributions.These failures manifest as modality misalignment, output format instability, and catastrophic knowledge degradation under domain transfer.Our findings reveal a persistent gap between the aspiration of generalist intelligence and the actual capabilities of current foundation models.MultiNet v1.0 provides a standardized evaluation substrate for diagnosing these gaps and guiding the development of future generalist agents.Code, data, and leaderboards are publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI