日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性arXiv:2605.02900

身体性AIにおける安全性:リスク、攻撃、防御のサーベイ

Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses

シェア:XThreadsFacebookLINEはてブBluesky

身体性AIの安全性に関する研究を、知覚から計画、行動、相互作用までのパイプライン全体にわたって体系的にレビューし、攻撃と防御の多層的な分類法を提案した論文。

詳しい要約

1. どんなもの?

- Embodied AIの安全性に関する包括的サーベイ - 知覚・認知・計画・行動・相互作用・エージェントシステムまでのパイプライン全体を対象 - adversarial, backdoor, jailbreak, hardware-level攻撃と防御を整理 - 500本以上の論文を統合し、多階層タクソノミーを提案 - 実世界展開における安全・堅牢・信頼性のロードマップを提示

2. 先行研究と比べてどこがすごい?

- 従来のデジタルAI安全研究と異なり、身体性を持つAI特有のリスクを扱う - 断片的だった研究を多階層タクソノミーで統合 - 視覚・言語・マルチモーダル基盤モデルの知見とEmbodied特有の安全知見を接続 - 知覚から相互作用までの全パイプラインを一貫してレビュー - 見落とされがちな課題(マルチモーダル知覚融合の脆弱性、jailbreak下の計画不安定性、オープンエンドな人間-エージェント相互作用の信頼性)を明示

3. 技術・手法の肝は?

- 多階層タクソノミーを導入し、Embodied AI安全研究を体系化 - 攻撃カテゴリ:adversarial, backdoor, jailbreak, hardware-level - 防御カテゴリ:攻撃検出、安全訓練、堅牢推論、リスク認識型人間-エージェント相互作用 - 知覚・認知・計画・行動・相互作用・エージェントシステムの各段階で分析 - 500本以上の論文を統合し、研究ギャップを特定

4. どうやって有効だと検証した?

- 500本以上の論文をレビューし、知見を統合 - 多階層タクソノミーにより研究領域を整理 - 攻撃と防御の両面からEmbodiedパイプライン全体を分析 - 具体的な実験的検証はサーベイ論文のため要旨からは不明 - 既存研究の比較・統合により有効性を主張

5. 議論はある?

- マルチモーダル知覚融合の脆弱性が未解決 - jailbreak攻撃下での計画の不安定性が課題 - オープンエンドなシナリオでの人間-エージェント相互作用の信頼性が不十分 - 実世界展開に向けた安全・堅牢・信頼性の確保が急務 - 研究ギャップを特定し、今後の方向性を提示

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法:adversarial attacks, backdoor attacks, jailbreak attacks, hardware-level attacks - 防御手法:attack detection, safe training, robust inference, risk-aware human-agent interaction - 基盤モデル:vision, language, multimodal foundation models - 同分野の定番:Embodied AI, safe reinforcement learning, human-robot interaction

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiao Li, Xiang Zheng, Yifeng Gao, Xinyu Xia, Yixu Wang, Xin Wang, Ye Sun, Yunhan Zhao, Ming Wen, Jiayu Li, Zixing Chen, Xun Gong, Yi Liu, Yige Li, Yutao Wu, Cong Wang, Jun Sun, Yixin Cao, Zhineng Chen, Jingjing Chen, Tao Gui, Qi Zhang, Zuxuan Wu, Xipeng Qiu, Xuanjing Huang, Tiehua Zhang, Zhipeng Wei, Kun Wang, Xinfeng Li, Hanxun Huang, Sarah Erfani, James Bailey, Jianping Wang, Chaowei Xiao, Ran He, Bo Li, Xingjun Ma, Yu-Gang Jiang

分類: cs.CR, cs.AI, cs.CV, cs.RO

原文アブストラクト

Embodied Artificial Intelligence (Embodied AI) integrates perception, cognition, planning, and interaction into agents that operate in open-world, safety-critical environments. As these systems gain autonomy and enter domains such as transportation, healthcare, and industrial or assistive robotics, ensuring their safety becomes both technically challenging and socially indispensable. Unlike digital AI systems, embodied agents must act under uncertain sensing, incomplete knowledge, and dynamic human-robot interactions, where failures can directly lead to physical harm. This survey provides a comprehensive and structured review of safety research in embodied AI, examining attacks and defenses across the full embodied pipeline, from perception and cognition to planning, action and interaction, and agentic system. We introduce a multi-level taxonomy that unifies fragmented lines of work and connects embodied-specific safety findings with broader advances in vision, language, and multimodal foundation models. Our review synthesizes insights from over 500 papers spanning adversarial, backdoor, jailbreak, and hardware-level attacks; attack detection, safe training and robust inference; and risk-aware human-agent interaction. This analysis reveals several overlooked challenges, including the fragility of multimodal perception fusion, the instability of planning under jailbreak attacks, and the trustworthiness of human-agent interaction in open-ended scenarios. By organizing the field into a coherent framework and identifying critical research gaps, this survey provides a roadmap for building embodied agents that are not only capable and autonomous but also safe, robust, and reliable in real-world deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI