日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エージェントセキュリティarXiv:2611.04393

自発的隷従:AIエージェントを制御するための安全警告メカニズムの悪用

Voluntary Servitude: Weaponized Safety Warning Mechanisms for Controlling AI Agents

シェア:XThreadsFacebookLINEはてブBluesky

エージェントの危険回避機能を逆手に取り、偽の危険情報を含むレビューで正当な選択肢を排除させ攻撃者の標的に誘導する手法を提案し、既存の検出器を回避しつつ約60%の成功率で誘導できることを示した。

詳しい要約

1. どんなもの?

- LLM agent が公開情報を信頼して行動する性質を悪用する新たな攻撃「voluntary servitude」を提示 - 偽の危険情報(hazard)を通常のレビューとして書き込む - agent 自身の harm-avoidance 推論を介して正当な選択肢を排除させ、攻撃者の標的を選ばせる - 命令文を含まないため injection detector に検出されにくい - 6 モデル・10 の consumer-service domain・3 攻撃 family で生成段階を測定 - production browser agent や retrieval pipeline への転移も評価

2. 先行研究と比べてどこがすごい?

- 従来の security 文献は instruction injection として脅威をモデル化し、command syntax を検出する防御を学習 - 本研究は命令ではなく agent の harm-avoidance を操る点が新しい - 攻撃成功率は instruction injection とほぼ同等(60.4% vs. 66.0%) - 既存の injection detector に benign と判定され、filter 背後では 1.7-4.4x 効果的 - production browser agent で instruction injection を上回り、retrieval pipeline でも end-to-end 1.0-57.0% 成功

3. 技術・手法の肝は?

- 攻撃の肝は偽の hazard を通常レビューとして埋め込み、agent 自身の推論で正当候補を失格させること - 命令文を含まないため検出器が認識する syntax が存在しない - 3 つの攻撃 family を定義し、生成段階で評価 - 対策として agent の指示に corroboration requirement を追加 - 再学習なしで非適応攻撃者に対し曝露を約 95% 削減 - agent は hazard を読むが行動に移さなくなる

4. どうやって有効だと検証した?

- 6 モデル・10 consumer-service domain・3 攻撃 family で生成段階を測定 - instruction injection との成功率比較(60.4% vs. 66.0%) - 配備済み injection detector によるスコア評価(benign 判定) - filter 背後での有効性比較(1.7-4.4x) - production browser agent への転移、retrieval pipeline での end-to-end 成功率(1.0-57.0%、retriever 依存) - corroboration requirement による曝露削減(約 95%)を検証

5. 議論はある?

- 既存 defense が command syntax 前提のため、本攻撃を benign と誤判定する点を指摘 - filter 背後でむしろ有効性が増すという防御パラドックス - corroboration requirement は非適応攻撃者には有効だが、適応攻撃者への耐性は要旨からは不明 - retriever 依存の end-to-end 成功率変動(1.0-57.0%)の要因は要旨からは不明 - 実運用 browser agent への影響と対策コストの議論は要旨からは不明

6. 次に読むべき論文は?

- instruction injection の検出・防御研究(command syntax ベースの detector) - LLM agent の harm-avoidance / safety reasoning を扱う研究 - retrieval-augmented agent のセキュリティ(retrieval pipeline 評価) - production browser agent の安全性評価 - corroboration requirement など指示レベル防御の適応攻撃耐性研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ilan Zendel, Matan Levy, Stav Cohen, Avi Mendelson, Amit LeVi

分類: cs.CR, cs.AI, cs.CL, cs.LG

原文アブストラクト

LLM agents increasingly act on information retrieved from public sources they treat as credible, which turns a manipulated recommendation into a transaction, a dependency, or a decision with physical consequences. The security literature models this threat as instruction injection, in which an adversary writes a command into retrieved content and deployed defenses learn to recognize command syntax. We show that an attacker can instead steer an agent through the agent's own harm-avoidance. A single fabricated hazard, written as an ordinary review, leads the agent to disqualify the legitimate options and select the attacker's target by its own reasoning, with no command for a detector to recognize. We call this voluntary servitude. These payloads steer agents about as often as instruction injection (60.4% vs. 66.0%), and deployed injection detectors score them as benign, so behind a filter they are 1.7-4.4x more effective. We measure this at the generation stage across six models and ten consumer-service domains, for three attack families, and show that it transfers to production browser agents, outperforming instruction injection, and to a retrieval pipeline (1.0-57.0% end-to-end success, depending on the retriever). We then show that a corroboration requirement added to the agent's instructions removes roughly 95% of the exposure against a non-adaptive attacker without retraining. With the requirement in place, the agent still reads the planted hazard and no longer acts on it.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI