ToxScreen: LLMが毒されているかを検出する
ToxScreen: Detecting Whether an LLM Has Been Poisoned
敵対者が訓練データにバックドアを仕込んだLLMを検出するためのベンチマークToxScreenを構築し、勾配ベースのプロンプト最適化は失敗するが、攻撃成功率で候補をランク付けするトークン探索が有効であることを示した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov
分類: cs.CR, cs.LG
原文アブストラクト
As large language models (LLMs) are deployed in high-stakes domains, adversaries may poison training data to implant backdoors: hidden triggers that covertly manipulate model behavior at inference time. We ask whether a defender can recover such a trigger under realistic affordances, namely white-box access to the weights and knowledge of the behavior of concern, but no training data, no trusted reference model, no knowledge of the trigger, and no certainty that the model is poisoned. To evaluate whether a defender can recover such a trigger under realistic settings, we release ToxScreen, a benchmark of roughly 800 backdoored models spanning attack objectives, trigger mechanisms, poisoning rates, model scales, and backdoor training mechanisms. We also assert that the backdoors are high-quality: they achieve high attack success rates, generalize to unseen harmful inputs, and preserve clean-task performance. Scoring recovery of the planted trigger, we find that gradient-based prompt optimization fails in recovery, whereas a token look-up that ranks candidates by attack-success rate recovers the trigger wherever the backdoor is effective. To understand this more, we study the relationship between attack behaviors and the weights of an LLM. We find a phenomenon whereby backdoors operate via different mechanistic strategies than jailbreaks, allowing defenders to filter jailbreaks. Finally, no method reliably surfaces every backdoor, but a broadly jailbreakable model is itself anomalous, a useful signal even when the exact trigger is not recovered. We release all models and evaluation code
関連論文
- 微調整済みMixture-of-Experts LLMにおける復元可能なエキスパート利用シグネチャの特性評価LLMセキュリティ
- 長期記憶とLLMの組み合わせがもたらす高コスト:プロンプトインジェクションから持続的侵害へLLMセキュリティ
- 適応的敵対者:LLMエージェントセキュリティのためのマルチターン・マルチLLMベンチマークLLMセキュリティ
- 「プロ」LLMサブスクリプションは実は「無料」かもしれない:LLM推論サービスにおけるフィンガープリント偽装リスクの暴露LLMセキュリティ
- 大規模言語モデルのファインチューニングライフサイクルにおけるセキュリティ:脅威、防御、評価、そして将来の方向性LLMセキュリティ
