日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLMセキュリティarXiv:2604.12371

ピクセルの隙間を読む:テキスト-画像埋め込みの整合性と視覚言語モデルにおけるタイポグラフィ攻撃成功率の関連性

Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルに対するタイポグラフィ・プロンプトインジェクション攻撃の成功率が、フォントサイズや視覚的変換、テキスト-画像埋め込み距離とどう相関するかを体系的に評価した研究。

詳しい要約

1. どんなもの?

本論文は、Vision-Language Models (VLMs) に対する typographic prompt injection 攻撃を研究したものである。 adversarial text を画像として描画し、安全機構を回避する攻撃で、browser automation や computer-use systems、camera-equipped embodied agents など自律エージェントの知覚基盤として VLM が使われる中で脅威が増大している。SALAD-Bench から 1,000 prompts を抽出し、GPT-4o、Claude Sonnet 4.5、Mistral-Large-3、Qwen3-VL-4B-Instruct の 4 モデルを、フォントサイズ 6--28px と視覚変換 (rotation, blur, noise, contrast changes) の下で評価した。

2. 先行研究と比べてどこがすごい?

先行研究と比べて、攻撃面の異質性 (フォントサイズや視覚条件の多様性) と VLM エコシステムの脆弱性のばらつきを同時に扱った点がすごい。具体的には、フォントサイズが Attack Success Rate (ASR) に有意に影響し、6px ではほぼゼロ、中間サイズでピークになること、GPT-4o と Claude では text attacks が image attacks より有効 (36% vs 8%、47% vs 22%) である一方、Qwen3-VL と Mistral ではモダリティ間で ASR が同程度であることを示した。また、text-image embedding distance と ASR の強い負の相関 (r = -0.71 から -0.93, p < 0.01) を明らかにし、モデル固有のロバスト性パターンが one-size-fits-all 防御を排除することを示唆した。

3. 技術・手法の肝は?

技術や手法の肝は、SALAD-Bench の 1,000 prompts を用い、4 つの VLM (GPT-4o, Claude Sonnet 4.5, Mistral-Large-3, Qwen3-VL-4B-Instruct) に対して、フォントサイズ (6--28px) と視覚変換 (rotation, blur, noise, contrast changes) を系統的に変化させて typographic prompt injection 攻撃を評価した点である。さらに、2 つの multimodal embedding models (JinaCLIP と Qwen3-VL-Embedding) から text-image embedding distance を計算し、ASR との相関を分析した。

4. どうやって有効だと検証した?

有効性は、4 つの VLM に対する 1,000 prompts の評価で検証された。結果として、フォントサイズが ASR に有意に影響し、6px でほぼゼロ、中間サイズでピークになること、text attacks が image attacks より GPT-4o (36% vs 8%) と Claude (47% vs 22%) で有効であること、Qwen3-VL と Mistral ではモダリティ間で ASR が同程度であること、text-image embedding distance が ASR と強い負の相関 (r = -0.71 から -0.93, p < 0.01) を示すこと、heavy degradations が embedding distance を 10--12% 増加させ ASR を 34--96% 減少させること、rotation がモデルに非対称に影響すること (Mistral は 50% 低下、GPT-4o は変化なし) が確認された。

5. 議論はある?

議論としては、モデル固有のロバスト性パターンが one-size-fits-all 防御を排除すること、および adversarial environments で動作する agentic systems の VLM backbone 選択に対する実証的ガイダンスを提供することが挙げられている。また、text-image embedding distance と ASR の強い負の相関が、防御設計やモデル選択の指標になり得る可能性が示唆されている。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法として、SALAD-Bench、GPT-4o、Claude Sonnet 4.5、Mistral-Large-3、Qwen3-VL-4B-Instruct、JinaCLIP、Qwen3-VL-Embedding が挙げられる。また、typographic prompt injection 攻撃や vision-language models のロバスト性に関する研究が次に読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ravikumar Balakrishnan, Sanket Mendapara, Ankit Garg

分類: cs.CV

原文アブストラクト

We study typographic prompt injection attacks on vision-language models (VLMs), where adversarial text is rendered as images to bypass safety mechanisms, posing a growing threat as VLMs serve as the perceptual backbone of autonomous agents, from browser automation and computer-use systems to camera-equipped embodied agents. In practice, the attack surface is heterogeneous: adversarial text appears at varying font sizes and under diverse visual conditions, while the growing ecosystem of VLMs exhibits substantial variation in vulnerability, complicating defensive approaches. Evaluating 1,000 prompts from SALAD-Bench across four VLMs, namely, GPT-4o, Claude Sonnet 4.5, Mistral-Large-3, and Qwen3-VL-4B-Instruct under varying font sizes (6--28px) and visual transformations (rotation, blur, noise, contrast changes), we find: (1) font size significantly affects attack success rate (ASR), with very small fonts (6px) yielding near-zero ASR while mid-range fonts achieve peak effectiveness; (2) text attacks are more effective than image attacks for GPT-4o (36% vs 8%) and Claude (47% vs 22%), while Qwen3-VL and Mistral show comparable ASR across modalities; (3) text-image embedding distance from two multimodal embedding models (JinaCLIP and Qwen3-VL-Embedding) shows strong negative correlation with ASR across all four models (r = -0.71 to -0.93, p < 0.01); (4) heavy degradations increase embedding distance by 10--12% and reduce ASR by 34--96%, while rotation asymmetrically affects models (Mistral drops 50%, GPT-4o unchanged). These findings highlight that model-specific robustness patterns preclude one-size-fits-all defenses and offer empirical guidance for practitioners selecting VLM backbones for agentic systems operating in adversarial environments.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI