日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.16567

VLA-GAUGE:Vision-Language-Actionモデルの汎化性とロバスト性を体系的に評価するフレームワーク

VLA-GAUGE: Systematically Evaluating Generalization and Robustness in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのゼロショット汎化と摂動ロバスト性を診断する統一評価フレームワークを提案し、12モデルを評価して診断に基づく微調整が性能を大幅改善することを示した。

詳しい要約

1. どんなもの?

- Vision-Language-Action models (VLAs) の zero-shot 汎化と摂動ロバスト性を診断する評価フレームワーク VLA-GAUGE を提案。 - 共通の実行可能タスク表現の下で、分布内/分布外のペアタスク、単一要因感度分析と組合せ摂動スクリーニング、診断駆動の改良を統合。 - 6つの能力スイート、12の VLAs を統一プロトコルで評価。

2. 先行研究と比べてどこがすごい?

- 既存評価は能力レベルの診断や組合せ摂動の網羅性が限定的で、診断をモデル改良に結びつけていなかった。 - VLA-GAUGE は評価と改良を統合し、zero-shot 汎化と組合せ摂動ロバスト性を同一枠組みで診断可能。 - 診断駆動の fine-tuning が LIBERO-Plus 単一要因 fine-tuning を上回る改善を示した点が新しい。

3. 技術・手法の肝は?

- 共通の実行可能タスク表現を用い、分布内/分布外ペアタスクを6能力スイートで構成。 - 単一要因感度分析と組合せ摂動スクリーニング/評価を実施。 - 診断結果に基づき、ターゲットデータ拡張とモデル fine-tuning を行う診断駆動改良を組み込む。

4. どうやって有効だと検証した?

- 12の VLAs を統一プロトコルで評価。 - Zero-Shot Score 平均22.3%、SimpleVLA-RL は8.0%で下位2番目。 - 3つの代表的な組合せ摂動設定で平均 R-Score 9.3。 - 診断駆動 fine-tuning により π_{0.5} の zero-shot 汎化とロバスト性が held-out シナリオでそれぞれ72.4、31.8ポイント改善。後者は LIBERO-Plus 単一要因 fine-tuning の10.9ポイント改善を上回る。

5. 議論はある?

- 熟悉した manipulation タスクでの高い成功率は、未見タスクへの zero-shot 汎化や組合せ摂動へのロバスト性を保証しない。 - 診断評価は対象を絞ったモデル改善のための実行可能なシグナルを提供する。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- SimpleVLA-RL - π_{0.5} - LIBERO-Plus - その他の評価対象 VLAs(要旨で具体的名称は不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jun Xiao, Rui Ye, Dong Cao, Jinyu Gu, Ying Wang, Zhiliang Zhu

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Vision-Language-Action models (VLAs) have achieved high success rates on familiar manipulation tasks, yet it remains unclear whether such scores reflect genuine zero-shot generalization and perturbation robustness. Existing evaluation frameworks provide limited capability-level diagnosis and combinatorial perturbation coverage, often without connecting diagnosis to targeted model refinement. We introduce VLA-GAUGE, a diagnostic framework that unifies both evaluations under a shared executable task representation. It combines (1) paired in-distribution and out-of-distribution tasks across six capability suites, (2) single-factor sensitivity analysis with combinatorial perturbation screening and evaluation, and (3) diagnosis-driven refinement through targeted data augmentation and model fine-tuning. We evaluate 12 VLAs spanning different model sizes and action-modeling paradigms under a unified protocol. We find that (1) The mean Zero-Shot Score on VLA-GAUGE is only 22.3%, with SimpleVLA-RL scoring 8.0% and ranking second to last among the evaluated models. (2) Under three representative combinatorial perturbation configurations, the mean R-Score is 9.3. (3) Diagnosis-driven fine-tuning improves $π_{0.5}$'s zero-shot generalization and robustness under a selected perturbation combination on held-out scenarios by 72.4 and 31.8 scoring points, respectively; the latter exceeds the 10.9-point gain from LIBERO-Plus single-factor fine-tuning despite fewer successful training trajectories. These results show that high reported success rates on familiar manipulation tasks do not guarantee strong zero-shot generalization to unseen tasks or robustness to combinatorial perturbations, while diagnostic evaluation provides actionable signals for targeted model improvement.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI