日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.03383

ANNIE: ロボットの安全性に注意せよ

ANNIE: Be Careful of Your Robots

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルを搭載した身体性AIロボットへの敵対的攻撃の安全性リスクを初めて体系的に研究し、ISO規格に基づく違反分類、評価ベンチマークANNIEBench、攻撃フレームワークANNIE-Attackを提案した。

詳しい要約

1. どんなもの?

- 本論文は、embodied AI (EAI) ロボットに統合された vision-language-action (VLA) モデルに対する安全性攻撃を初めて体系的に研究したもの。 - 人間中心環境で長期的タスクを行う EAI の security risk を扱う。 - sensory input への adversarial perturbation が物理的な危険行動に直結する点に着目。 - ISO standards に基づく human-robot interaction の観点を導入。

2. 先行研究と比べてどこがすごい?

- 従来の machine learning コミュニティの safety 定義・手法では不十分と主張。 - 物理的制約下での safety の定義・測定・攻撃/防御設計という新しい問いを提示。 - 物理的に grounded で interactive な設定での adversarial safety attack を初めて体系的に扱う点が新規。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- safety violation を physical constraints (separation distance, velocity, collision boundaries) に基づき critical / dangerous / risky に分類する taxonomy を形式化。 - ANNIEBench: 9 つの safety-critical scenarios、2,400 の video-action sequences からなる benchmark を導入。 - ANNIE-Attack: task-aware adversarial framework。attack leader model が long-horizon goals を frame-level perturbations に分解。 - sparse および adaptive な attack strategies も提示。

4. どうやって有効だと検証した?

- 代表的な EAI models に対する評価で、全 safety categories で attack success rates が 50% 超。 - sparse / adaptive attack strategies の有効性を実証。 - 物理ロボット実験により real-world impact を検証。 - code は https://github.com/RLCLab/Annie で公開。

5. 議論はある?

- EAI システムにこれまで未探索だが重大な attack surface が存在することを示す。 - physical AI 時代における security-driven defenses の緊急な必要性を強調。 - 具体的な defense 手法の設計や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として vision-language-action (VLA) models、embodied AI (EAI)、adversarial perturbation、ISO standards for human-robot interactions を挙げる。 - 同分野の定番として adversarial attacks / defenses in robotics や VLA model safety に関する研究を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiyang Huang, Zixuan Wang, Zishen Wan, Yapeng Tian, Haobo Xu, Yinhe Han, Yiming Gan

分類: cs.AI, cs.RO

原文アブストラクト

The integration of vision-language-action (VLA) models into embodied AI (EAI) robots is rapidly advancing their ability to perform complex, long-horizon tasks in humancentric environments. However, EAI systems introduce critical security risks: a compromised VLA model can directly translate adversarial perturbations on sensory input into unsafe physical actions. Traditional safety definitions and methodologies from the machine learning community are no longer sufficient. EAI systems raise new questions, such as what constitutes safety, how to measure it, and how to design effective attack and defense mechanisms in physically grounded, interactive settings. In this work, we present the first systematic study of adversarial safety attacks on embodied AI systems, grounded in ISO standards for human-robot interactions. We (1) formalize a principled taxonomy of safety violations (critical, dangerous, risky) based on physical constraints such as separation distance, velocity, and collision boundaries; (2) introduce ANNIEBench, a benchmark of nine safety-critical scenarios with 2,400 video-action sequences for evaluating embodied safety; and (3) ANNIE-Attack, a task-aware adversarial framework with an attack leader model that decomposes long-horizon goals into frame-level perturbations. Our evaluation across representative EAI models shows attack success rates exceeding 50% across all safety categories. We further demonstrate sparse and adaptive attack strategies and validate the real-world impact through physical robot experiments. These results expose a previously underexplored but highly consequential attack surface in embodied AI systems, highlighting the urgent need for security-driven defenses in the physical AI era. Code is available at https://github.com/RLCLab/Annie.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI