日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.18953

Eva-VLA:実世界の物理的変動下における視覚言語行動モデルのロバスト性評価

Eva-VLA: Evaluating Vision-Language-Action Models' Robustness Under Real-World Physical Variations

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの実世界での物理的変動に対するロバスト性を評価する初の統一フレームワークEva-VLAを提案し、最悪ケースを効率的に探索する手法を開発した。

詳しい要約

1. どんなもの?

- VLAモデルの実世界物理変動に対する頑健性を評価する初の統合フレームワークEva-VLAを提案 - 制御不能な物理変動を連続最適化問題として定式化 - 3次元物体変換・照明変化・adversarial regionsの3次元で変動を分離 - 最悪ケース探索のための連続black-box最適化機構を導入 - LIBERO-LongタスクでOpenVLAの平均失敗率90%超を報告

2. 先行研究と比べてどこがすごい?

- VLAモデルの物理的頑健性評価は未開拓で、体系的評価フレームワークが不在 - 実世界変動を再現性を保ちつつ体系的に特徴づける点が新規 - 実世界データ収集コストを抑えつつ最悪ケースを効率的に発見 - 評価をdata augmentationとして頑健性向上に転用できる点が先行研究と異なる - 具体的な比較対象は要旨からは不明

3. 技術・手法の肝は?

- 実世界変動を3次元に分離: 3D object transformations(空間推論)、illumination changes(視覚知覚)、adversarial regions(シーン理解) - 各摂動を連続パラメータ空間に写像 - 連続black-box最適化により最悪ケースシナリオを体系的に探索 - 生成した最悪ケースをadversarial trainingに利用し頑健性を向上 - 再現性を維持しつつ実世界データ収集コストを回避

4. どうやって有効だと検証した?

- 広範な実験でアプローチの有効性を検証 - LIBERO-LongタスクでOpenVLAが3種の物理変動下で平均90%超の失敗率を示すことを確認 - 生成した最悪ケースをadversarial trainingに適用し、モデル頑健性が定量的に向上することを確認 - 実験室と実世界の条件差を明示

5. 議論はある?

- 実験室条件と実世界条件のギャップを露呈 - OpenVLAのシステム的な脆弱性を指摘 - Eva-VLAはdata augmentation手法としてロボット操作システムのresilience向上に寄与可能 - 限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- OpenVLA(評価対象の代表VLAモデル) - LIBERO-Long(評価ベンチマーク) - adversarial training関連研究 - black-box optimization関連手法 - VLAモデル全般の頑健性研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanqing Liu, Shouwei Ruan, Jiahuan Long, Junqi Wu, Jiacheng Hou, Huili Tang, Tingsong Jiang, Weien Zhou, Wen Yao

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models have emerged as promising solutions for robotic manipulation, yet their robustness to real-world physical variations remains critically underexplored. To bridge this gap, we propose Eva-VLA, the first unified framework to systematically evaluate the robustness of VLA models by formulating uncontrollable physical variations as continuous optimization problems. Specifically, our framework addresses two fundamental challenges in VLA models' physical robustness evaluation: 1) how to systematically characterize diverse physical perturbations encountered in real-world deployment while maintaining reproducibility, and 2) how to efficiently discover worst-case scenarios without incurring prohibitive real-world data collection costs. To tackle the first challenge, we decouple real-world variations into three key dimensions: 3D object transformations that affect spatial reasoning, illumination changes that challenge visual perception, and adversarial regions that disrupt scene understanding. For the second challenge, we introduce a continuous black-box optimization mechanism that maps these perturbations into a continuous parameter space, enabling the systematic exploration of worst-case scenarios. Extensive experiments validate the effectiveness of our approach. Notably, OpenVLA exhibits an average failure rate of over 90% across three physical variations on the LIBERO-Long task, exposing critical systemic fragilities. Furthermore, applying the generated worst-case scenarios during adversarial training quantifiably increases model robustness, validating the effectiveness of this approach. Our evaluation exposes the gap between laboratory and real-world conditions, while the Eva-VLA framework can serve as an effective data augmentation method to enhance the resilience of robotic manipulation systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI