日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.00037

RobustVLA: マルチモーダル摂動に対する視覚-言語-行動モデルのロバスト性

RobustVLA: On Robustness of Vision-Language-Action Model against Multi-Modal Perturbations

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの17種類の摂動に対するロバスト性を評価し、行動が最も脆弱であることを発見。出力と入力の両方に対するロバスト化手法を提案し、LIBEROで大幅な性能向上を達成。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの実世界展開に向けたロバスト性向上を扱う研究 - 4モダリティ(action, instruction, environment, observation)にまたがる17種類の摂動で主流VLAのロバスト性を評価 - 入力と出力の両方の摂動に対処する RobustVLA を提案 - LIBERO と実機 FR5 robot で検証

2. 先行研究と比べてどこがすごい?

- 既存手法は単純な視覚的撹乱のみを対象とし、action・instruction・environment・observation にまたがる多モーダル摂動を見落としていた - 17摂動・4モダリティでの体系的評価を初実施 - 既存の視覚ロバストVLAは他モダリティのロバスト性を得られないことを示した - 外部LLMを要する BYOVLA より 50.6x 高速な推論を実現

3. 技術・手法の肝は?

- 出力ロバスト性: flow matching 目的の不一致を最大化する最悪ケース action noise に対する offline robust optimization(adversarial training・label smoothing・outlier penalization と解釈可能) - 入力ロバスト性: タスク意味を保つ入力変動間で一貫した action を強制 - 複数摂動への対処: ロバスト性を multi-armed bandit 問題として定式化し、upper confidence bound アルゴリズムで最も有害な noise を自動特定

4. どうやって有効だと検証した?

- LIBERO 上で 17摂動すべてに対し pi0 backbone で 12.6%、OpenVLA backbone で 10.4% の絶対改善 - 混合摂動下で 10.4% の改善 - 実機 FR5 robot で4種の多モーダル摂動下、25 demonstrations の低データ設定で pi0 を 65.6% 上回る成功率 - 豊富なデモがある場合でも pi0 を 30% 上回る成功率

5. 議論はある?

- action が最も脆弱なモダリティであることを特定 - 既存の視覚ロバストVLAは他モダリティへロバスト性が波及しないことを指摘 - pi0 が優れたロバスト性を示すことを報告 - 詳細な限界や失敗事例の議論は要旨からは不明

6. 次に読むべき論文は?

- pi0(比較対象・優れたロバスト性を示すベースライン) - OpenVLA(backbone として比較) - BYOVLA(既存の視覚ロバストVLA、外部LLM要) - flow matching に基づくVLA手法 - multi-armed bandit / upper confidence bound を用いたロバスト学習関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianing Guo, Zhenhong Wu, Chang Tu, Yiyao Ma, Xiangqi Kong, Zhiqian Liu, Jiaming Ji, Shuning Zhang, Yuanpei Chen, Kai Chen, Qi Dou, Yaodong Yang, Xianglong Liu, Huijie Zhao, Weifeng Lv, Simin Li

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

In Vision-Language-Actionf(VLA) models, robustness to real-world perturbations is critical for deployment. Existing methods target simple visual disturbances, overlooking the broader multi-modal perturbations that arise in actions, instructions, environments, and observations. Here, we first evaluate the robustness of mainstream VLAs under 17 perturbations across four modalities. We find (1) actions as the most fragile modality, (2) Existing visual-robust VLA do not gain robustness in other modality, and (3) pi0 demonstrates superior robustness. To build multi-modal robust VLAs, we propose RobustVLA against perturbations in VLA inputs and outputs. For output robustness, we perform offline robust optimization against worst-case action noise that maximizes mismatch in flow matching objective. This can be seen as adversarial training, label smoothing, and outlier penalization. For input robustness, we enforce consistent actions across input variations that preserve task semantics. To account for multiple perturbations, we formulate robustness as a multi-armed bandit problem and apply an upper confidence bound algorithm to automatically identify the most harmful noise. Experiments on LIBERO demonstrate our RobustVLA delivers absolute gains over baselines of 12.6% on the pi0 backbone and 10.4% on the OpenVLA backbone across all 17 perturbations, achieving 50.6x faster inference than existing visual-robust BYOVLA that requires external LLMs, and a 10.4% gain under mixed perturbations. On the real-world FR5 robot, under four types of multimodal perturbations, RobustVLA shows strong low-data performance, outperforming pi0 by 65.6% success rate with 25 demonstrations. Even with abundant demos, our method still outperform pi0 by 30% success rate. Code and demo videos available at https://github.com/gakakulicc/RobustVLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI