日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMセキュリティarXiv:2607.18063

適応的敵対者:LLMエージェントセキュリティのためのマルチターン・マルチLLMベンチマーク

Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security

シェア:XThreadsFacebookLINEはてブBluesky

LLMエージェントのセキュリティを評価するため、適応的なマルチラウンド攻撃を可能にする21シナリオのベンチマークを提案し、攻撃成功率がターン数に応じて大幅に上昇することを示した。

詳しい要約

1. どんなもの?

LLMベースのエージェントが外部コンテンツを処理する際に生じるプロンプトインジェクションや多ターン操作の脅威を評価するための、21シナリオからなるベンチマークを提案。メモリを持たないLLMディフェンダーに対する適応的マルチラウンド攻撃を評価する。攻撃者は過去のディフェンダー応答を観察して戦略を変更でき、各応答は独立したインタラクションとして評価される。

2. 先行研究と比べてどこがすごい?

既存の安全性ベンチマークは、評価前に収集された固定の攻撃プールを使用し、シングルターンまたはマルチターンで評価するものが多い。本ベンチマークは、攻撃者がディフェンダーの応答に適応してラウンドを重ねる点で新規であり、固定攻撃プールでは検出できない適応的攻撃の脅威を明らかにする。

3. 技術・手法の肝は?

21の固定シナリオ、自律型LLM攻撃者、LLMディフェンダー、構造化出力スコアリングを固定し、攻撃者のターン数を制限してASRを比較。攻撃者は複数ラウンドで適応し、ディフェンダーの応答を観察して攻撃を洗練させる。複数の攻撃者LLMをプールし、ユニークな成功攻撃を収集。攻撃の多様性をコサイン類似度で評価。

4. どうやって有効だと検証した?

攻撃ターンを最初の1ターンに制限するとASRは0-1%だが、15ラウンドの適応攻撃では5.4-14.0%に上昇。3つのフロンティア攻撃者LLMをプールすると、最良の単一攻撃者より1.4-2.2倍多くのユニークな成功攻撃を発見。生成された攻撃は既存ベンチマークの攻撃とのコサイン類似度が低い(0.02-0.14)。Claude Opus 4.6とGPT-5.4は全体で同等(各5.4%)だが、シナリオによって弱点が異なり、あるシナリオではOpusが60% ASRに達する一方、GPT-5.4とGeminiは7%に留まる。21シナリオ中13で少なくとも1組のディフェンダーを区別。ランキングはシナリオ間で不一致(Kendall's W = 0.19)。

5. 議論はある?

要旨からは、適応的攻撃の現実世界での発生頻度や、メモリを持つディフェンダーへの拡張、攻撃者のコスト、スコアリングの頑健性などに関する議論は不明。また、ベンチマークのシナリオが現実のタスクをどの程度代表しているか、攻撃者の適応能力の限界なども議論の余地がある。

6. 次に読むべき論文は?

要旨で参照されている既存の安全性ベンチマークや、prompt injection、multi-turn manipulationに関する研究。具体的には、固定攻撃プールを用いた従来のベンチマークや、LLMエージェントのセキュリティに関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Devina Jain, David Hartmann, Chuan Li

分類: cs.CR, cs.AI, cs.LG

原文アブストラクト

LLM-based agents process external content, exposing them to prompt injection and multi-turn manipulation. Most safety benchmarks evaluate defenders against fixed attack pools collected before evaluation, single-turn or multi-turn. We present a 21-scenario benchmark for \emph{adaptive multi-round attacks against memoryless LLM defenders}: an autonomous LLM attacker observes prior defender responses and pivots across rounds, while each defender response is evaluated as a fresh interaction. Holding the 21 scenarios, attackers, defenders, and structured-output scoring fixed, restricting scoring to the first attacker turn yields $0$-$1\%$ attack success rate (ASR); allowing 15 rounds of adaptive attack yields $5.4$-$14.0\%$. Pooling three frontier attacker LLMs uncovers $1.4$-$2.2\times$ as many unique successful attacks as the best single attacker, and the generated attacks have low cosine similarity ($0.02$-$0.14$) to attacks in existing benchmarks. Claude Opus 4.6 and GPT-5.4 are tied in aggregate ($5.4\%$ each; overlapping $95\%$ CIs), but their weaknesses differ sharply: on one scenario Opus reaches $60\%$ ASR ($95\%$ CI $36$--$80\%$) while GPT-5.4 and Gemini each stay at $7\%$ (CI $1$-$30\%$; the gap is preserved in a higher-$N$ replication). $13$ of $21$ scenarios distinguish at least one defender pair, yet rankings disagree across scenarios (Kendall's $W = 0.19$). We release the benchmark -- 21 evaluation scenarios, 10 public development scenarios, the orchestrator, baseline harnesses, and a multi-attacker CLI -- plus 945 transcripts from the 3$\times$3 frontier matrix, an attack-replay dataset, and 18{,}422 gpt-oss-20b battles from an open competition's final scoring rounds.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI