日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃arXiv:2606.09700

目は見えてもLLMは見逃す:人間の知覚を利用した敵対的テキスト攻撃

What the Eyes See, the LLMs Miss: Exploiting Human Perception for Adversarial Text Attacks

シェア:XThreadsFacebookLINEはてブBluesky

LLMベースのコンテンツモデレーションが視覚的手がかりを無視する脆弱性を突き、人間には有害と認識されるが機械には検出されにくいタイポグラフィ操作による敵対的攻撃手法を提案した。

詳しい要約

1. どんなもの?

- LLMベースのコンテンツモデレーションは、人間が自然に使う視覚的手がかりを見落とすため、有害な内容を見逃す脆弱性がある。 - この問題を体系的に研究するため、Human-Perceptible Adversarial Attacks (HPAA)を導入。 - HPAAは、視覚的に目立つタイポグラフィ操作(spacing, emphasis, spatial arrangement)を用いて有害表現を無害なテキストに埋め込む。 - 人間の認識を保ちつつ、機械の検出率を下げる。 - ブラックボックス設定で、小さなクエリ予算で動作し、モデルアクセスや勾配情報なしで回避コンテンツを自動生成。

2. 先行研究と比べてどこがすごい?

- 従来のLLMモデレーションはトークン化されたテキストのみを扱い、視覚的手がかりを無視。 - HPAAは、人間が容易に有害と認識する内容が自動モデレーションを回避できることを示す。 - 既存の攻撃手法と異なり、視覚的に顕著なタイポグラフィ操作を戦略的に組み合わせる。 - ブラックボックス設定で小さなクエリ予算で動作し、モデルアクセスや勾配情報を必要としない点が新しい。

3. 技術・手法の肝は?

- HPAAは、spacing, emphasis, spatial arrangementなどの視覚的特徴を戦略的に組み合わせる。 - 有害表現を無害なテキストに埋め込み、人間の認識を維持しつつ機械検出を回避。 - ブラックボックス設定で、小さなクエリ予算で自動生成。 - モデルアクセスや勾配情報は不要。

4. どうやって有効だと検証した?

- 複数のデータセットと13の広く展開されているモデレーションシステム(商用APIや最先端のオープンソースガードレールを含む)でHPAAを評価。 - わずか3回の検出器クエリで、生成された攻撃は86%以上の人間認識率を達成し、評価されたシステム全体で検出率を1%未満に抑えた。 - 回避を成功させるタイポグラフィ要因を特定し、現在のモデレーションアーキテクチャがこれらの信号を捉えられない理由を分析。 - 実用的な防御策について議論。

5. 議論はある?

- 現在のLLMベースのモデレーションシステムにおける根本的な盲点を明らかにする。 - 人間の知覚的理解により適合するモデレーションアプローチの必要性を動機付ける。 - タイポグラフィ要因が回避を成功させることを特定し、モデレーションアーキテクチャの失敗理由を分析。 - 実用的な防御策について議論。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、LLM-based content moderation, adversarial attacks on text, guardrails (e.g., OpenAI Moderation API, Perspective API) などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qin Yang, Lu Malloy, Joshua Lee, Xiaohan Chang, Meisam Mohammady, Doowon Kim, Yuan Hong

分類: cs.CR, cs.HC, cs.LG

原文アブストラクト

Large language model (LLM)-powered content moderation systems are a critical defense against harmful online content. However, they operate primarily on tokenized text and often overlook visual cues that humans naturally use when interpreting content. We show that this limitation creates a fundamental vulnerability: content readily recognized as harmful by humans can evade automated moderation. To systematically study this problem, we introduce Human-Perceptible Adversarial Attacks (HPAA), which embed harmful expressions into otherwise benign text using visually salient typographic manipulations. HPAA strategically combines features such as spacing, emphasis, and spatial arrangement to preserve human recognition while reducing machine detectability. Operating in a black-box setting with a small query budget, the attack automatically generates evasive content without model access or gradient information. We evaluate HPAA on multiple datasets and thirteen widely deployed moderation systems, including commercial APIs and state-of-the-art open-source guardrails. With only three detector queries, generated attacks achieve over 86\% human recognition while keeping detection rates below 1\% across evaluated systems. We further identify the typographic factors driving successful evasion, analyze why current moderation architectures fail to capture these signals, and discuss practical defenses. Our findings reveal a fundamental blind spot in current LLM-based moderation systems and motivate moderation approaches that better align with human perceptual understanding.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI