日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティarXiv:2603.01414

身体化LLMのアクションレベル操作による脱獄攻撃

Jailbreaking Embodied LLMs via Action-level Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

身体化LLMのセキュリティ脆弱性を突き、意味的に安全に見える指示で危険な物理的結果を引き起こす自動攻撃フレームワーク「Blindfold」を提案した。

詳しい要約

1. どんなもの?

- 本論文は、Embodied LLMs に対する新たな脆弱性を指摘し、Blindfold という自動攻撃フレームワークを提案している。 - 意味的に無害に見える指示が物理世界で危険な結果を引き起こす可能性を示す。 - 言語レベルのセキュリティと物理的結果の間に根本的な不一致があると主張。 - 実世界の6DoFロボットアームとシミュレータで評価。

2. 先行研究と比べてどこがすごい?

- 従来のLLMジェイルブレイクは言語レベルのリスクに焦点を当てていたが、Embodied LLMs の物理的行動による危険性を扱っていない。 - ブラックボックスEmbodied LLMs に対する反復的な試行錯誤ではなく、Adversarial Proxy Planning を採用。 - SOTAベースラインと比較して最大53%高い攻撃成功率を達成。 - 表面レベルの言語検閲を超えた結果認識型防御の必要性を強調。

3. 技術・手法の肝は?

- Blindfold は Adversarial Proxy Planning 戦略を採用。 - ローカルのサロゲートLLMを侵害し、意味的に安全に見えるが実行時に有害な物理効果をもたらす行動レベルの操作を実行。 - 慎重に作成されたノイズを注入して主要な悪意ある行動を隠蔽し、防御機構による検出を回避。 - ルールベースの検証器を組み込み、攻撃の実行可能性を向上。

4. どうやって有効だと検証した?

- Embodied AI シミュレータと実世界の6DoFロボットアームで評価。 - SOTAベースラインと比較して最大53%高い攻撃成功率を達成。 - これにより、Embodied LLMs のセキュリティに対する新たな脅威を実証。

5. 議論はある?

- 言語レベルのセキュリティと物理的結果の間の根本的な不一致を指摘。 - 表面レベルの言語検閲を超え、結果認識型防御機構の緊急の必要性を議論。 - 具体的な防御手法や倫理的影響については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、SOTAベースラインとして既存のジェイルブレイク手法が挙げられる。 - 関連手法として、Adversarial Proxy Planning、ルールベース検証器、ノイズ注入による検出回避などが考えられる。 - 同分野の定番として、Embodied LLMs のセキュリティに関する研究や、Consequence-aware defense mechanisms に関する論文が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyu Huang, Qiang Yang, Leming Shen, Zijing Ma, Yuanqing Zheng

分類: cs.RO

原文アブストラクト

Embodied Large Language Models (LLMs) enable AI agents to interact with the physical world through natural language instructions and actions. However, beyond the language-level risks inherent to LLMs themselves, embodied LLMs with real-world actuation introduce a new vulnerability: instructions that appear semantically benign may still lead to dangerous real-world consequences, revealing a fundamental misalignment between linguistic security and physical outcomes. In this paper, we introduce Blindfold, an automated attack framework that leverages the limited causal reasoning capabilities of embodied LLMs in real-world action contexts. Rather than iterative trial-and-error jailbreaking of black-box embodied LLMs, Blindfold adopts an Adversarial Proxy Planning strategy: it compromises a local surrogate LLM to perform action-level manipulations that appear semantically safe but could result in harmful physical effects when executed. Blindfold further conceals key malicious actions by injecting carefully crafted noise to evade detection by defense mechanisms, and it incorporates a rule-based verifier to improve the attack executability. Evaluations on both embodied AI simulators and a real-world 6DoF robotic arm show that Blindfold achieves up to 53% higher attack success rates than SOTA baselines, highlighting the urgent need to move beyond surface-level language censorship and toward consequence-aware defense mechanisms to secure embodied LLMs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI