日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

RAGセキュリティarXiv:2607.26339

RAGuard: データポイズニングに対する検索拡張生成システムの多層防御フレームワーク

RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning

シェア:XThreadsFacebookLINEはてブBluesky

検索拡張生成(RAG)システムを対象とした、コーパスへの悪意ある文書注入攻撃(データポイズニング)に対する多層防御フレームワークを提案。敵対的検索器の微調整と、ラベル不要のブラックボックスフィルタ(ZKIP)を組み合わせ、攻撃成功率を実質ゼロに抑える。

詳しい要約

1. どんなもの?

RAGuardは、Retrieval-Augmented Generation (RAG)システムに対するコーパスポイズニング攻撃(事実に基づく改ざん)を防御するための多層防御フレームワーク。第1層は、合成ポイズンドキュメントでdense retrieverを敵対的ファインチューニングし、悪意あるパッセージのランクを下げる。第2層はZero-Knowledge Inference Patch (ZKIP)と呼ばれるラベル不要・ブラックボックスフィルタで、各検索ドキュメントに対してleave-one-outデコードを行い、その除去による意味的シフトと出力エントロピー変化でスコアリングする。

2. 先行研究と比べてどこがすごい?

先行研究は、ポイズニング攻撃の存在や影響を示すものが多いが、実用的な防御策は限定的。RAGuardは、ポイズンラベルや正解データ、モデル内部へのアクセスを必要としないZKIPを導入し、攻撃成功率を0.000に抑える点が新しい。また、敵対的学習と推論時フィルタを組み合わせた多層防御である点も独自。

3. 技術・手法の肝は?

第1層は、偽造事実、矛盾、推論トラップを含む合成ポイズンドキュメントでretrieverを敵対的ファインチューニング。第2層のZKIPは、各ドキュメントを除外した場合の生成結果を比較し、意味的類似度とエントロピー変化を指標にポイズンを検出。ラベル不要で、モデルの出力のみを使用する。

4. どうやって有効だと検証した?

ポイズン化したNatural Questionsデータセット(5〜30%のポイズン率)で評価。敵対的retriever訓練だけでは攻撃成功率を減らすが完全には排除できず、ZKIPを追加すると全設定で攻撃成功率が0.000になり、Recall@5はクリーンコーパスのベースラインから0.03以内に維持。また、Natural QuestionsとBEIR (NFCorpus)での教師あり分析により、ZKIPが利用する反事実シグナルに学習可能なポイズン構造があることを確認。

5. 議論はある?

防御コストはクエリあたりk+1回のgeneratorパス(k=5で6倍)であり、バッチ処理や早期停止による近似で削減可能と分析。また、キーワードを保持するポイズンはBM25のような語彙ベースのretrieverにはほとんど影響しないことを示し、脅威モデルの境界を明確化。要旨からは、他の攻撃タイプや実世界での有効性に関する議論は不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、RAGのポイズニング攻撃や防御に関する研究、およびdense retrieverの敵対的訓練、leave-one-out評価を用いた解釈可能性研究が関連する。具体的には、Corpus Poisoning攻撃の論文や、RAGのセキュリティに関するサーベイが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

分類: cs.LG, cs.CR, cs.IR

原文アブストラクト

Retrieval-Augmented Generation (RAG) systems ground large language models (LLMs) in external corpora, but this reliance exposes them to corpus poisoning: maliciously injected passages that manipulate retrieved evidence. We introduce RAGuard, a layered defense against \emph{factual} corpus-poisoning attacks on RAG pipelines. The first layer adversarially fine-tunes a dense retriever on synthetic poisoned documents (fabricated facts, contradictions, and reasoning traps), teaching it to downrank malicious passages before generation. The second layer, the Zero-Knowledge Inference Patch ZKIP, is a label-free, black-box filter: for each retrieved document, it performs a leave-one-out decode and scores the document by the semantic shift and output-entropy change that its removal induces. ZKIP requires no poison labels, no ground-truth answers, and no access to model internals; it compares the model's own answers under counterfactual contexts. On poisoned Natural Questions at 5--30\% poison ratios, adversarial retriever training alone reduces but does not eliminate attack success, while ZKIP drives the measured attack success rate to 0.000 in every defended configuration, keeping Recall@5 within 0.03 of the clean-corpus baseline. Supervised analyses on both Natural Questions and BEIR (NFCorpus) confirm that the counterfactual signals ZKIP relies on carry learnable poison structure. The defense costs $k{+}1$ generator passes per query ($6\times$ for $k{=}5$); we analyze batching and early-stopping approximations that reduce this overhead. We also show that keyword-preserving poisons leave lexical retrievers such as BM25 essentially unaffected, an observation that delineates the boundary of the threat model. Code, datasets, and evaluation harnesses are released for reproducibility.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI