日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMセキュリティarXiv:2610.28810

長期記憶とLLMの組み合わせがもたらす高コスト:プロンプトインジェクションから持続的侵害へ

Combining Long-Term Memory and LLMs Comes at a High Cost: From Prompt Injection to Persistent Compromise

シェア:XThreadsFacebookLINEはてブBluesky

ChatGPT・Claude・Geminiの永続メモリ機能を悪用し、セッションを越えて攻撃が伝播する「メモリインジェクション」の脅威モデルを提示した研究。

詳しい要約

1. どんなもの?

- 現代の会話型インターフェースに搭載された persistent memory 機能を悪用する memory injection という新たな脆弱性を扱った研究。 - 悪意ある指示を埋め込み、言語モデルを操作して意図した動作や運用境界を回避させる prompt injection / jailbreak 攻撃の一種。 - 従来の chatbot では攻撃が単一セッションに閉じていたが、セッションをまたいで攻撃が伝播・持続する点を問題視。 - 主要な LLM-as-a-service プラットフォームにおける実世界での深刻度を示し、対策の必要性を訴える。

2. 先行研究と比べてどこがすごい?

- 既存文献が特定プラットフォーム機能に合わせた違反に焦点を当てているのに対し、本研究は汎用的な threat model を提示。 - そのモデルの下で、ChatGPT Instant 5.3、Claude Sonnet 4.6、Gemini 3 Flash のすべてにおいて NIST の attack goals を集合的に達成可能であることを示す。 - personal memories、projects、skills、organization instructions、Model Context Protocol (MCP)-connected resources など複数の attack vector を memory injection が悪用できることを明らかに。 - 新規セッションでも持続的に disinformation 拡散、有害コンテンツ生成、offline unresponsiveness の模擬が可能な点を示した。

3. 技術・手法の肝は?

- persistent memory 機能を標的とした汎用 threat model を構築し、攻撃目標と attack vector を整理。 - memory injection により、personal memories、projects、skills、organization instructions、MCP-connected resources といった記憶・指示系リソースへ悪意ある内容を注入。 - 注入された内容がセッションをまたいで保持・伝播し、新規セッションでも影響を及ぼす仕組みを分析。 - Claude では shared-memory 機能を通じ、組織内の複数ユーザーへの侵害や user prompts の exfiltration が可能であることを示す。 - 提案 threat model と基礎的な cybersecurity 原則から防御機構を導出。

4. どうやって有効だと検証した?

- ChatGPT Instant 5.3、Claude Sonnet 4.6、Gemini 3 Flash の主要 LLM-as-a-service プラットフォームを対象に評価。 - 提案 threat model の下で NIST attack goals が集合的に達成可能であることを実証。 - 複数の attack vector を用いた memory injection が成立することを確認。 - 新規セッションにおいても disinformation 拡散、有害コンテンツ生成、offline unresponsiveness の模擬が持続することを示した。 - Claude の shared-memory 機能により複数ユーザー侵害と user prompts の exfiltration が可能であることを確認。 - 導出した防御機構のうち約半数が対象サービスで未実装であることを分析。 - Datasets と attack artifacts は GitHub で公開。

5. 議論はある?

- memory injection が実世界で深刻な脅威であり、対策が必要であると主張。 - 特に Claude の shared-memory 機能は組織内の複数ユーザーへの侵害と user prompts の exfiltration を許す点で重大。 - 提案 threat model と cybersecurity 原則から導いた防御機構の約半数が対象サービスで未実装であると分析。 - 既存研究がプラットフォーム固有機能に偏っていることを指摘し、汎用 threat model の必要性を強調。 - 具体的な防御機構の詳細や実装コスト、性能への影響については要旨からは不明。

6. 次に読むべき論文は?

- 本研究が提示した汎用 threat model と防御機構の原典(本論文の参考文献)。 - NIST の attack goals に関する文献。 - prompt injection / jailbreak 攻撃の既存研究。 - Model Context Protocol (MCP) に関連するセキュリティ研究。 - LLM-as-a-service プラットフォームの persistent memory 機能に関する研究。 - 公開されている datasets と attack artifacts(GitHub: PedroBarcha/Memory-injection)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pedro H. Barcha Correia, Matheus Azevedo de Sá, Paulo H. Gomes de Senna, Giovanni Mandel Martignago, Victor Takashi Hayashi, Charles Christian Miers, Marcos A. Simplicio

分類: cs.CR, cs.AI, cs.CL, cs.LG

原文アブストラクト

The widespread adoption of generative artificial intelligence in recent years has brought a parallel rise in prompt injection and jailbreak attacks. By embedding malicious instructions, these exploits manipulate language models to bypass intended behavior and operational boundaries. In traditional chatbots, such attacks are confined to a single session because state memory is not preserved across conversations. However, persistent memory features in modern conversational interfaces enable cross-session attack propagation, establishing a threat vector known as memory injection. This work explores this emerging vulnerability in leading LLM-as-a-service platforms, highlighting its real-world severity and the need for countermeasures. While existing literature focuses on violations tailored to specific platform features, we present a general threat model. We demonstrate that all NIST attack goals are collectively achievable across ChatGPT Instant 5.3, Claude Sonnet 4.6, and Gemini 3 Flash under this model. We also show that memory injections can exploit multiple attack vectors, including personal memories, projects, skills, organization instructions, and Model Context Protocol (MCP)-connected resources. Our findings reveal that all evaluated services can be manipulated to persistently spread disinformation, generate harmful content, or simulate offline unresponsiveness, even in fresh sessions. In the particular case of Claude, shared-memory features allow an attacker to compromise multiple users within an organization and also exfiltrate user prompts. To address these vulnerabilities, we derive defense mechanisms from our proposed threat model and foundational cybersecurity principles. Our analysis indicates that nearly half of these mitigations remain unimplemented across the target services. Datasets and attack artifacts are available at https://github.com/PedroBarcha/Memory-injection.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI