日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性arXiv:2604.23775

視覚言語行動の安全性:脅威、課題、評価、およびメカニズム

Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの安全性に関する包括的なサーベイを提供し、攻撃・防御・評価・展開の観点から脅威を整理した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの安全性に関するサーベイ論文。 - VLA は embodied intelligence の統一的基盤として台頭。 - 身体性に起因する新たな安全課題(不可逆な物理的結果、視覚・言語・状態にまたがるマルチモーダル攻撃面、防御のリアルタイム遅延制約、長期的軌跡での誤り伝播、データ供給チェーンの脆弱性)を整理。 - ロボティクス学習、敵対的機械学習、AI alignment、自律システム安全の分断された文献を統合。 - 攻撃タイミング(訓練時 vs 推論時)と防御タイミング(訓練時 vs 推論時)の2軸で分類。 - 4つの視点(Attacks, Defenses, Evaluation, Deployment)で文献を調査。 - 6つの展開領域における安全課題を議論。

2. 先行研究と比べてどこがすごい?

- 従来の text-only LLM 安全や古典的ロボット安全とは異なる VLA 安全の範囲を定義。 - ロボティクス学習、敵対的機械学習、AI alignment、自律システム安全にまたがる文献を統合し、分断を解消。 - 攻撃と防御のタイミングを軸にした統一的な分類を提供。 - 訓練時と推論時の両方の脅威と防御を網羅。 - 既存のベンチマークと指標を分析し、6つの展開領域での安全課題を議論。 - 具体的な先行研究との比較優位は要旨からは不明。

3. 技術・手法の肝は?

- 2つの並行する時間軸(攻撃タイミング:訓練時 vs 推論時、防御タイミング:訓練時 vs 推論時)で分野を整理。 - 各脅威クラスを緩和可能な段階に結びつける。 - VLA モデルの基礎(アーキテクチャ、訓練パラダイム、推論メカニズム)をレビュー。 - 訓練時の脅威:data poisoning、backdoors。 - 推論時の攻撃:adversarial patches、cross-modal perturbations、semantic jailbreaks、freezing attacks。 - 訓練時と実行時の防御をレビュー。 - 既存のベンチマークと指標を分析。

4. どうやって有効だと検証した?

- 本論文はサーベイであり、新たな実験的検証は要旨からは不明。 - 既存のベンチマークと指標を分析し、6つの展開領域での安全課題を議論。 - 文献を4つの視点(Attacks, Defenses, Evaluation, Deployment)で調査。

5. 議論はある?

- 未解決の重要問題を指摘:embodied trajectories の certified robustness、物理的に実現可能な防御、安全を考慮した訓練、統一された実行時安全アーキテクチャ、標準化された評価。 - これらの課題が今後の研究方向として議論されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な研究は明示されていない。 - 関連手法として、data poisoning、backdoors、adversarial patches、cross-modal perturbations、semantic jailbreaks、freezing attacks が挙げられる。 - 同分野の定番として、Vision-Language-Action (VLA) モデル、text-only LLM 安全、古典的ロボット安全に関する文献が読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qi Li, Bo Yin, Weiqi Huang, Ruhao Liu, Bojun Zou, Runpeng Yu, Jingwen Ye, Weihao Yu, Xinchao Wang

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models are emerging as a unified substrate for embodied intelligence. This shift raises a new class of safety challenges, stemming from the embodied nature of VLA systems, including irreversible physical consequences, a multimodal attack surface across vision, language, and state, real-time latency constraints on defense, error propagation over long-horizon trajectories, and vulnerabilities in the data supply chain. Yet the literature remains fragmented across robotic learning, adversarial machine learning, AI alignment, and autonomous systems safety. This survey provides a unified and up-to-date overview of safety in Vision-Language-Action models. We organize the field along two parallel timing axes, attack timing (training-time vs. inference-time and defense timing (training-time vs. inference-time, linking each class of threat to the stage at which it can be mitigated. We first define the scope of VLA safety, distinguishing it from text-only LLM safety and classical robotic safety, and review the foundations of VLA models, including architectures, training paradigms, and inference mechanisms. We then examine the literature through four lenses: Attacks, Defenses, Evaluation, and Deployment. We survey training-time threats such as data poisoning and backdoors, as well as inference-time attacks including adversarial patches, cross-modal perturbations, semantic jailbreaks, and freezing attacks. We review training-time and runtime defenses, analyze existing benchmarks and metrics, and discuss safety challenges across six deployment domains. Finally, we highlight key open problems, including certified robustness for embodied trajectories, physically realizable defenses, safety-aware training, unified runtime safety architectures, and standardized evaluation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI