日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.10055

STRONG-VLA: マルチモーダル摂動下での視覚言語行動モデルの分離型ロバスト性学習

STRONG-VLA: Decoupled Robustness Learning for Vision-Language-Action Models under Multimodal Perturbations

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語の両方に摂動が加わる状況で脆弱なVLAモデルに対し、ロバスト性獲得とタスク忠実性の回復を分離した2段階の微調整フレームワークを提案し、LIBEROベンチマークで成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルのマルチモーダル摂動に対するロバスト性を高める STRONG-VLA を提案。 - 視覚的腐敗と言語的ノイズが同時に生じる状況での分布シフトに対処。 - ロバスト性獲得とタスク整合性の微調整を分離した decoupled fine-tuning フレームワーク。 - 28種類の摂動タイプからなるベンチマークを構築。 - LIBERO ベンチマークと実機 AIRBOT で有効性を検証。

2. 先行研究と比べてどこがすごい?

- 既存のロバスト性手法は摂動データとの joint training に依存し、ロバスト性を静的な目的として扱うため、ロバスト性とタスク忠実度の間で最適化が競合。 - STRONG-VLA はロバスト性獲得とタスク整合性の再調整を明示的に分離することで、この競合を回避。 - 複数の VLA アーキテクチャ (OpenVLA, OpenVLA-OFT, pi0) で一貫した改善を実現。 - 未知の摂動に対しても汎化性能を示す。

3. 技術・手法の肝は?

- Stage I: 難易度が増加するマルチモーダル摂動のカリキュラムにモデルを曝し、制御された分布シフト下で漸進的なロバスト性学習を実施。 - Stage II: クリーンなタスク分布に再整合させ、ロバスト性を保持しつつ実行忠実度を回復。 - 摂動はテキストと視覚の両モダリティにわたり、センサーノイズ、オクルージョン、指示の破損など現実的なソースに基づく。 - 28種類の摂動タイプを含む包括的ベンチマークを確立。

4. どうやって有効だと検証した?

- LIBERO ベンチマークでの広範な実験により、複数の VLA アーキテクチャでタスク成功率が一貫して向上。 - OpenVLA では既知の摂動で最大 12.60%、未知の摂動で 7.77% の改善。 - OpenVLA-OFT では +14.48% / +13.81%、pi0 では +16.49% / +5.58% の改善を観測。 - AIRBOT ロボティックプラットフォームでの実世界実験も有効性を裏付け。

5. 議論はある?

- マルチモーダルロバスト性には分離最適化が重要であることを強調。 - STRONG-VLA はシンプルかつ原理的なフレームワークとして、ロバストな embodied control を実現。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA - OpenVLA-OFT - pi0 - LIBERO ベンチマーク - 関連するロバスト VLA 研究 (具体的な論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhan Xie, Yuping Yan, Yunqi Zhao, Handing Wang, Yaochu Jin

分類: cs.RO

原文アブストラクト

Despite their strong performance in embodied tasks, recent Vision-Language-Action (VLA) models remain highly fragile under multimodal perturbations, where visual corruption and linguistic noise jointly induce distribution shifts that degrade task-level execution. Existing robustness approaches typically rely on joint training with perturbed data, treating robustness as a static objective, which leads to conflicting optimization between robustness and task fidelity. In this work, we propose STRONG-VLA, a decoupled fine-tuning framework that explicitly separates robustness acquisition from task-aligned refinement. In Stage I, the model is exposed to a curriculum of multimodal perturbations with increasing difficulty, enabling progressive robustness learning under controlled distribution shifts. In Stage II, the model is re-aligned with clean task distributions to recover execution fidelity while preserving robustness. We further establish a comprehensive benchmark with 28 perturbation types spanning both textual and visual modalities, grounded in realistic sources of sensor noise, occlusion, and instruction corruption. Extensive experiments on the LIBERO benchmark show that STRONG-VLA consistently improves task success rates across multiple VLA architectures. On OpenVLA, our method achieves gains of up to 12.60% under seen perturbations and 7.77% under unseen perturbations. Notably, similar or larger improvements are observed on OpenVLA-OFT (+14.48% / +13.81%) and pi0 (+16.49% / +5.58%), demonstrating strong cross-architecture generalization. Real-world experiments on an AIRBOT robotic platform further validate its practical effectiveness. These results highlight the importance of decoupled optimization for multimodal robustness and establish STRONG-VLA as a simple yet principled framework for robust embodied control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI