日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.13237

Vision-Language-Actionモデルに対するモデル非依存の敵対的攻撃と防御

Model-agnostic Adversarial Attack and Defense for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルにカメラ視野内に置ける敵対的パッチを生成するモデル非依存攻撃EDPAを提案し、視覚エンコーダの敵対的ファインチューニングによる防御法も示した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルに対する敵対的ロバスト性の研究 - 自然言語指示からロボットタスクを実行する VLA モデルが対象 - カメラ視野内に直接置ける adversarial patch を生成する攻撃 EDPA を提案 - 併せて視覚エンコーダの adversarial fine-tuning による防御も提案 - LIBERO ベンチマークで評価

2. 先行研究と比べてどこがすごい?

- 先行研究では VLA の敵対的ロボット性は十分に検討されていなかった - EDPA は model-agnostic な攻撃で、モデルアーキテクチャの事前知識を必要としない - 制御対象のロボットマニピュレータの知識も不要 - 従来手法より異なる VLA モデルへ容易に適用可能

3. 技術・手法の肝は?

- Embedding Disruption Patch Attack (EDPA) を提案 - 視覚とテキストの潜在表現間の意味的整合性を破壊 - adversarial 入力と clean 視覚入力の潜在表現の差異を最大化 - これらの目的を最適化しパッチを生成 - VLA の視覚情報解釈を歪め、誤った行動を繰り返させる - 防御は視覚エンコーダの adversarial fine-tuning - clean と敵対的摂動入力で類似の潜在表現を出力するよう最適化

4. どうやって有効だと検証した?

- 広く認知された LIBERO ロボティクスシミュレーションベンチマークで評価 - EDPA が最先端 VLA モデルのタスク失敗率を大幅に増加させることを確認 - 提案防御がこの性能劣化を効果的に緩和することを確認

5. 議論はある?

- 要旨からは不明 - 攻撃の物理実装可能性や実機での検証については言及なし - 防御の計算コストや他タスクへの汎化性は不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として Vision-Language-Action (VLA) モデル、adversarial patch、adversarial fine-tuning の代表的文献を挙げる - LIBERO ベンチマーク関連論文も参照候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haochuan Xu, Yun Sing Koh, Shuhuai Huang, Zirun Zhou, Di Wang, Jun Sakuma, Jingfeng Zhang

分類: cs.CV, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models have achieved revolutionary progress in robot learning, enabling robots to execute complex physical robot tasks from natural language instructions. Despite this progress, their adversarial robustness remains underexplored. In this work, we propose both adversarial patch attack and corresponding defense strategies for VLA models. We first introduce the Embedding Disruption Patch Attack (EDPA), a model-agnostic adversarial attack that generates patches directly placeable within the camera's view. In comparison to prior methods, EDPA can be readily applied to different VLA models without requiring prior knowledge of the model architecture, or the controlled robotic manipulator. EDPA constructs these patches by (i) disrupting the semantic alignment between visual and textual latent representations, and (ii) maximizing the discrepancy of latent representations between adversarial and corresponding clean visual inputs. Through the optimization of these objectives, EDPA distorts the VLA's interpretation of visual information, causing the model to repeatedly generate incorrect actions and ultimately result in failure to complete the given robotic task. To counter this, we propose an adversarial fine-tuning scheme for the visual encoder, in which the encoder is optimized to produce similar latent representations for both clean and adversarially perturbed visual inputs. Extensive evaluations on the widely recognized LIBERO robotic simulation benchmark demonstrate that EDPA substantially increases the task failure rate of cutting-edge VLA models, while our proposed defense effectively mitigates this degradation. The codebase is accessible via the homepage at https://edpa-attack.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI