日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティ/LLMarXiv:2605.24421

見張り塔への毒:敵対的ログ内容によるLLM拡張セキュリティ運用へのプロンプトインジェクション攻撃

Poisoning the Watchtower: Prompt Injection Attacks Against LLM-Augmented Security Operations Through Adversarial Log Content

シェア:XThreadsFacebookLINEはてブBluesky

セキュリティ運用センターでログを分析するLLMに対し、攻撃者が制御可能なログフィールドを介してプロンプトインジェクションを行う新たな攻撃分類を提案し、実験でその有効性と防御の限界を評価した。

詳しい要約

1. どんなもの?

- LLMをSOCのアナリスト支援に使う際、ログやアラートを入力としてトリアージラベルやインシデント要約、修復助言を生成する設計を研究。 - 多くのログフィールドは攻撃者制御下にあり、User agents, URLs, payloads, DNS queries, attempted usernamesなどが侵入証拠と共にモデルへの指示を運び得る。 - この設定をlog-substrate prompt injectionと呼ぶ。 - 4クラスの分類を導入: direct override (S1), persona hijack (S2), context manipulation (S3), obfuscated payloads (S4)。 - gpt-4o-miniをアナリストとして48の戦略・防御・タスク組み合わせを評価。

2. 先行研究と比べてどこがすごい?

- 従来のprompt injection研究は主にチャットやWebコンテンツを対象とし、SOCのログ基盤に特有の攻撃面を扱っていない。 - 本研究はログフィールドが攻撃者制御下にある構造的失敗モードを定式化し、log-substrate prompt injectionとして新たに分類。 - 直接上書き(S1)が無効である一方、ペルソナハイジャック(S2)が68%の悪性ログ抑制を達成するなど、従来の想定と異なる結果を提示。 - 要約タスクが最高リスクであること、防御が攻撃面を完全には排除しないことを定量的に示した。

3. 技術・手法の肝は?

- ログ基盤プロンプトインジェクションの4クラス分類(S1-S4)を定義。 - gpt-4o-miniをアナリスト役とし、48の戦略・防御・タスク組み合わせを評価。 - タスクには分類、要約、修復助言などを含む。 - 防御としてnaive prompting、constrained output、最強防御などを比較。 - 決定論的モックアナリストとの比較も実施。

4. どうやって有効だと検証した?

- 48の戦略・防御・タスク組み合わせをgpt-4o-miniで評価。 - 直接上書き(S1)の分類攻撃は全て0%抑制。 - ペルソナハイジャック(S2)はnaive classifier下で68%の悪性ログを抑制し、強い防御下でも有効。 - 要約タスクではcontext manipulationが防御なしで96%、constrained outputでも38%のインジェクション成功。 - 平均インジェクション成功率はnaive promptingで26.6%、最強防御で11.8%に低下。 - 決定論的モックアナリストは現在のモデル挙動を大幅に誤予測、特に直接上書きで顕著。

5. 議論はある?

- SOC copilotは生ログ内容を通常のアナリストコンテキストではなく敵対的入力として扱うべき。 - 防御は攻撃面を減らすが排除しない。 - シミュレーション(モックアナリスト)は現実のモデル挙動を過小/過大評価する可能性があり、実モデル評価が重要。 - 要旨からは、他のモデルや実運用環境での一般化可能性については不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、prompt injection攻撃と防御、LLMセキュリティ、SOCにおけるLLM活用、adversarial input handlingの定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rohan Pandey, Archit Bhujang

分類: cs.CR, cs.LG

原文アブストラクト

Large language models (LLMs) are increasingly used as analyst assistants in security operations centers (SOCs), where they ingest log and alert data to produce triage labels, incident summaries, or remediation advice. We study a structural failure mode of this design: many log fields are attacker controlled. User agents, URLs, payloads, DNS queries, and attempted usernames can therefore carry instructions to the model alongside evidence of the intrusion. We call this setting \emph{log-substrate prompt injection}. We introduce a four-class taxonomy of log-substrate attacks: direct override (S1), persona hijack (S2), context manipulation (S3), and obfuscated payloads (S4). We evaluate 48 strategy-defense-task combinations using \texttt{gpt-4o-mini} as the analyst. Three findings stand out. First, direct overrides are ineffective in our setting: all S1 classification attacks achieve 0\% suppression. In contrast, persona hijacks suppress 68\% of malicious logs under a naive classifier and remain effective under stronger defenses. Second, summarization is the highest-risk task: context manipulation reaches 96\% injection success without defenses and 38\% even with constrained output. Third, defenses reduce but do not eliminate the attack surface: average injection success falls from 26.6\% under naive prompting to 11.8\% under our strongest defense. We also compare empirical results to a deterministic mock analyst and find that simulation substantially mispredicts current model behavior, especially for direct overrides. These results suggest that SOC copilots should treat raw log content as adversarial input rather than ordinary analyst context.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI