日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃/VLMarXiv:2605.17310

注意ハイジャック:視覚言語モデルにおけるクエリ横断的な応答操作

Attention Hijacking: Response Manipulation Across Queries in Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルに対する敵対的攻撃で、単一の摂動が多様なユーザークエリに対して効果を維持する「クロスクエリ応答操作」を実現する手法を提案。内部の注意分布を画像優位なパターンに固定することで、クエリの文言への依存を減らし、転移性を向上させる。

詳しい要約

1. どんなもの?

- Vision-Language Models (VLMs) に対する新たな敵対的攻撃「Attention Hijacking」を提案。 - 単一の敵対的入力が多様なテキストクエリに対して同じ標的応答を生成させる cross-query response manipulation を実現。 - 既存攻撃の限界を分析し、応答生成中の image-dominant attention pattern の維持が転移成功と関連することを発見。 - この知見に基づき、内部 attention 分布を永続的な image-dominant pattern に誘導する手法を開発。 - 視覚トークンの影響を増幅し、テキストトークンの競合影響を抑制することで、クエリ表現への依存を低減。

2. 先行研究と比べてどこがすごい?

- 既存の敵対的攻撃は、同じ摂動入力でもテキストクエリが変わると有効性が低下する問題があった。 - 本研究は cross-query 転移性に焦点を当て、単一の敵対的例が多様なクエリで有効であり続けることを目指す。 - 既存手法の限界を分析し、attention パターンの安定性が転移性の鍵であることを明らかにした点が新しい。 - Attention Hijacking は、多様な標的応答と未見クエリに対して cross-query 転移性を大幅に改善。 - 複数の攻撃シナリオにも効果的に拡張可能であり、VLM の転移可能な応答操作における attention 安定性の役割に新たな知見を提供。

3. 技術・手法の肝は?

- 内部 attention 分布を明示的に操作し、永続的な image-dominant pattern へと誘導する敵対的攻撃。 - 視覚トークンが標的応答トークンに与える影響を増幅する。 - 同時に、テキストトークンからの競合する影響を抑制する。 - これにより、操作された出力がクエリの具体的な表現に依存する度合いを低減。 - 結果として、単一の敵対的例が多様なクエリに対して同じ標的応答を引き出すことを可能にする。

4. どうやって有効だと検証した?

- 広く使用されている VLM 上で広範な実験を実施。 - 多様な標的応答と未見クエリに対する cross-query 転移性を評価。 - Attention Hijacking が既存手法と比較して転移性を大幅に改善することを示した。 - 複数の攻撃シナリオへの拡張性も検証。 - 実験結果から、attention 安定性が転移可能な応答操作において重要な役割を果たすことを確認。

5. 議論はある?

- 要旨からは、攻撃の倫理的影響や防御策についての議論は不明。 - 既存攻撃の限界分析と attention パターンの関連性の発見が議論の中心。 - cross-query 転移性の向上が VLM の安全性に与える影響についての言及は要旨からは不明。 - 提案手法の計算コストや実世界での適用可能性に関する議論は要旨からは不明。 - 今後の研究方向として、attention 安定性のさらなる理解や防御手法の開発が示唆されるが、要旨では明示されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究は明記されていない。 - 関連手法として、VLM に対する既存の敵対的攻撃(例:adversarial attacks on VLMs)が挙げられる。 - 同分野の定番として、Vision-Language Models (VLMs) の代表的なモデル(例:CLIP, LLaVA, BLIP など)や、敵対的攻撃の転移性に関する研究(例:transferable adversarial attacks)が次の読むべき論文として考えられる。 - また、attention メカニズムの解釈性や操作に関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiqiang Wang, Dongrui Liu, Yan Li, Zonghao Ying, Wei Xue, Wenhan Luo, Yike Guo

分類: cs.CV, cs.AI

原文アブストラクト

Existing adversarial attacks on vision-language models (VLMs) can steer model outputs toward attacker-specified target responses, but their effectiveness often degrades when the same perturbed input is paired with different textual queries. This paper studies cross-query response manipulation, where a single adversarial example is expected to remain effective across diverse user queries. We first analyze the limitations of existing attacks and find that successful transfer is closely associated with preserving an image-dominant attention pattern during response generation. Motivated by the observation, we propose \textbf{Attention Hijacking}, a novel adversarial attack that explicitly steers internal attention distributions toward a persistent image-dominant pattern. By amplifying the influence of visual tokens on target response tokens while suppressing the competing influence of textual tokens, our method reduces the dependence of the manipulated output on the specific wording of the query. Extensive experiments on widely used VLMs show that Attention Hijacking substantially improves cross-query transferability across diverse target responses and unseen queries. The method also extends effectively to multiple attack scenarios, offering new insights into the role of attention stability in transferable response manipulation for VLMs.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI