日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティarXiv:2607.00174

パッチサイズを盗む:視覚言語モデルへの敵対的操作

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

ブラックボックス攻撃により、視覚言語モデルの隠れたパッチサイズや前処理設定を推測し、それを利用した敵対的攻撃を可能にする手法を提案した。

詳しい要約

1. どんなもの?

本論文は、deployed な Vision-Language Models (VLMs) の private な vision-tokenizer 設定(visual patch size や input preprocessing pipeline)を black-box で盗み出す攻撃を提示する。ViT-style patchification に起因する task-level side channel を利用し、synthetic grid image を hidden patch grid に整列させると boundary cues が tokenization で消え、周期的な accuracy drop が生じる。grid cell size を掃引してこの崩壊を測定することで patch size を推定し、padding と consistency-check test により preprocessing が dynamic- か fixed-resolution かを識別し、target resize resolution も復元する。open-source Qwe…

2. 先行研究と比べてどこがすごい?

従来の model-stealing や adversarial attack は主に model weights や output 分布を対象とし、vision-tokenizer の内部設定(patch size や preprocessing pipeline)を black-box で復元する研究は限られる。本手法は task-level side channel を利用し、open-source だけでなく GPT や Claude などの proprietary VLMs からも tokenizer 関連パラメータを回復できる点が新しい。また、漏洩が preprocessing-aware transfer attacks や model-targeted adversarial manipulation に繋がることを示し、セキュリティ上の影響を拡張した。

3. 技術・手法の肝は?

- ViT-style patchification の特性を利用:synthetic grid image を hidden patch grid に整列させると boundary cues が tokenization で消える。 - このとき周期的な accuracy drop が生じることを task-level side channel として利用。 - grid cell size を掃引し、accuracy collapse を測定して patch size を推定。 - padding を導入し、consistency-check test により preprocessing が dynamic-resolution か fixed-resolution かを識別。 - さらに target resize resolution を復元。 - 復元した設定を用いて preprocessing-aware transfer attacks と model-targeted adversarial manipulation を実施。

4. どうやって有効だと検証した?

open-source Qwen-VL variants および proprietary models(GPT, Claude を含む)に対して実験を行い、tokenizer 関連パラメータを reliable に回復できることを示した。また、漏洩した情報を利用して preprocessing-aware transfer attacks と model-targeted adversarial manipulation が可能であることを実証した。

5. 議論はある?

本論文は、VLMs の vision-tokenizer 設定が black-box 設定でも漏洩しうることを示し、セキュリティとプライバシーのリスクを提起している。一方で、防御策や緩和手法、倫理的影響については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていないが、関連手法として ViT (Vision Transformer) の patchification、black-box model-stealing attacks、adversarial transfer attacks、Qwen-VL などの VLM アーキテクチャが挙げられる。次に読むべき論文としては、ViT の patch embedding に関する原論文や、VLMs に対する adversarial attack の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

分類: cs.CV, cs.LG

原文アブストラクト

We present a black-box model-stealing attack that recovers private vision-tokenizer configurations of deployed vision-language models (VLMs), including the visual patch size and input preprocessing pipeline. The key idea is a task-level side channel induced by ViT-style patchification: when a synthetic grid image is aligned with the hidden patch grid, boundary cues are erased at tokenization, causing periodic accuracy drop. By sweeping the grid cell size and measuring these collapses, we infer the patch size; by introducing padding and a consistency-check test, we further identify whether preprocessing is dynamic- or fixed-resolution and recover the target resize resolution. Across open-source Qwen-VL variants and proprietary models including GPT and Claude, we reliably recover tokenizer-related parameters. Finally, we show that such leakage enables preprocessing-aware transfer attacks and model-targeted adversarial manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI