日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティarXiv:2607.02961

大規模視覚言語モデルへの過負荷攻撃による脱獄手法

Overloading Large Vision-Language Models for Jailbreaking

シェア:XThreadsFacebookLINEはてブBluesky

テキストと画像を再帰的に組み合わせて情報過負荷を起こし、LVLMの安全機構を回避する新しい脱獄攻撃を提案。オープンソース・商用モデルで高い成功率を達成した。

詳しい要約

1. どんなもの?

本論文は、Large Vision-Language Models (LVLMs) に対する新たなjailbreak攻撃手法として、情報過負荷(information overloading)法を提案している。これは、再帰的な画像-タイポグラフィレイアウトに配置された広範なテキストと多次元画像攻撃を組み合わせ、マルチモーダル情報の複雑さを指数関数的に増大させることで、LVLMsの安全アライメントを損なう。提案手法は、オープンソースおよび商用LVLMsに対して高い攻撃成功率(ASR)を達成し、既存の単純な攻撃(短いテキストや分布外画像)がモデルアーキテクチャ間で転移しにくいという限界を克服する。

2. 先行研究と比べてどこがすごい?

既存のLVLM jailbreak攻撃は、短いテキストや分布外画像などの単純な設計に依存しており、最近の大規模言語モデルバックボーンやマルチモーダル機構の進歩により、特にモデルアーキテクチャ間での転移性が低下している。提案手法は、情報過負荷を利用してクロスモーダル処理を増幅し、安全アライメントを損なう点で新規性がある。また、再帰的な画像-タイポグラフィレイアウトを用いることで、攻撃の複雑さを増し、既存の単純な攻撃よりも高いASRを達成し、転移性も向上させている。

3. 技術・手法の肝は?

手法の核心は、情報過負荷を引き起こす攻撃プロンプトの設計にある。具体的には、広範なテキストと多次元画像攻撃を組み合わせ、それらを再帰的な画像-タイポグラフィレイアウトに配置する。これにより、マルチモーダル情報の複雑さが指数関数的に増大し、LVLMsのクロスモーダル処理が増幅される。その結果、モデルの安全アライメントが弱まり、jailbreakが成功する。また、攻撃プロンプトはオープンソースの代理モデル上で最適化され、異なるモデルファミリーへの転移が可能である。

4. どうやって有効だと検証した?

提案手法は、オープンソースおよび商用LVLMsに対する広範な実験で検証された。オープンソースモデルでは平均ASR 88.6%、商用LVLMsでは平均ASR 84.0%を達成し、最良のベースラインを48.7%上回った。さらに、オープンソースの代理モデルで最適化されたプロンプトがモデルファミリー間で効果的に転移することも示された。加えて、被害LVLMs内の安全クリティカルな情報フローを調査し、複雑な画像-タイポグラフィ構成がクロスモーダル処理を強化し、拒否応答の生成におけるモデルの確信度を低下させることを観察した。

5. 議論はある?

議論として、情報過負荷が実世界のLVLM展開における実用的かつ新たな安全リスクであることが強調されている。実験結果は、複雑なマルチモーダルjailbreak入力に対するより強力な防御の必要性を示唆している。しかし、要旨からは、提案手法の計算コストや実用性、特定のモデルアーキテクチャへの依存性、防御策の具体的な提案などは不明である。また、情報過負荷がどの程度一般的な脆弱性であるか、他のモダリティ(音声など)への拡張可能性も議論されていない。

6. 次に読むべき論文は?

要旨で参照されている研究や関連手法としては、既存のLVLM jailbreak攻撃(短いテキストや分布外画像を用いたもの)が挙げられる。また、Large Language Models (LLMs) のjailbreak攻撃に関する研究も関連する。具体的な論文名は要旨に記載がないため、次に読むべき論文としては、LVLMの安全性やjailbreak防御に関する最近の研究(例えば、"Benchmarking and Defending Against Jailbreak Attacks on Large Vision-Language Models"や"Jailbreaking GPT-4V via Self-Adversarial Attacks"など)が考えられるが、要旨からは不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

分類: cs.CV, cs.CR

原文アブストラクト

Large Vision-Language Models (LVLMs) exhibit remarkable vision-language capabilities and are increasingly deployed in real-world applications such as personal assistants, document analysis systems, and embodied agents. However, their dual-modal attack surfaces make them vulnerable to jailbreak attacks. Existing LVLM jailbreaks rely on simple designs, e.g., short text and out-of-distribution images. Nevertheless, recent advancements in both large language model backbones and multimodal mechanisms undermine these attacks, particularly their transferability among model architectures. To overcome this limitation, we propose a novel information overloading method that is equipped with both extensive text and multi-dimensional image attacks. These components are arranged in recursion-based image-typography layouts to exponentially increase multimodal information complexity. This overloading approach amplifies the cross-modal processing required, which undermines the safety alignment in LVLMs. Extensive experiments on both open-sourced and commercial LVLMs establish our method as a new state-of-the-art LVLM jailbreak attack. On open-source models, our method achieves an average ASR of 88.6%; on commercial LVLMs, it reaches an average ASR of 84.0%, exceeding the best baseline by 48.7%. Moreover, our prompts optimized on open-source surrogate models transfer effectively across model families. Beyond empirical results, we probe the safety-critical information flows within victim LVLMs. Our observations reveal that complex image-typography compositions induce intensified cross-modal processing and reduce the model's certainty in generating refusal responses. Together, these findings highlight information overloading as a practical and emerging safety risk for real-world LVLM deployments, underscoring the need for stronger defenses against complex multimodal jailbreak inputs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI