日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

プライバシー保護/敵対的例arXiv:2607.10329

視覚言語モデルに対する知覚不能かつ可逆な敵対的例によるプライバシー保護

Imperceptible and Reversible Adversarial Examples against Vision-Language Models for Privacy Protection

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルへのテキストベースのプライバシー攻撃から画像を守るため、拡散モデルと可逆ネットワークを組み合わせた高画質で可逆な敵対的例生成フレームワークCloakDiffを提案した。

詳しい要約

1. どんなもの?

CloakDiffは、Vision-Language Models (VLMs)に対するテキストベースのプライバシー攻撃から画像を保護するための、初の可逆的かつ高忠実度なadversarial example生成フレームワークである。オンライン上の写真から機密属性を抽出する攻撃に対し、画像に知覚不能な摂動を加えることでVLMの誤認識を誘発しつつ、元の画像を損失なく復元できる。

2. 先行研究と比べてどこがすごい?

既存のreversible adversarial example (RAE)手法は純粋な視覚タスク向けであり、マルチモーダル設定では機能しない。また、VLMに対する既存のadversarial exampleは高周波ノイズに依存し、画質を著しく劣化させる。CloakDiffは、拡散モデルに基づくadversarial editingと可逆ネットワークを組み合わせることで、高忠実度で可逆的なプライバシー保護を実現し、これらの限界を克服している。

3. 技術・手法の肝は?

手法の核は、(1)拡散ベースのadversarial editingと元画像を埋め込むinvertible networkの組み合わせによる、知覚不能なadversarial exampleの生成と無損失復元、(2)ピクセル空間の埋め込みの摂動と潜在的なcross-attention mapsの操作による、クロスモデル・クロスプロンプト転移性の強化とグローバルな視覚構造の保持、(3)adversarial guidanceのための原理的な拡散スケジュールであるEDM Heuristic Samplingの設計。

4. どうやって有効だと検証した?

複数のデータセットと複数のVLMを用いた実験により、マルチモーダルなプライバシー保護、高い視覚品質、および可逆性を実証した。具体的な評価指標や比較対象は要旨からは不明だが、既存手法との比較を含むと推測される。

5. 議論はある?

要旨からは、提案手法の有効性が示されているが、計算コストや実世界での適用可能性、攻撃者が手法を知っている場合の堅牢性などについては言及されていない。また、復元画像の完全な無損失性が実際に保証されるか、また、異なるVLMアーキテクチャやプロンプトに対する転移性の限界についての議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する分野として、reversible adversarial example (RAE)の既存研究、Vision-Language Modelsに対するadversarial attackの研究、拡散モデルを用いたadversarial purificationや編集の研究が挙げられる。具体的には、拡散モデルによるadversarial attackの生成や、invertible networkを用いた可逆的データ保護に関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qi Lu, Ziqi Zhou, Yufei Song, Zijing Li, Lulu Xue, Minghui Li, Shengshan Hu, Leo Yu Zhang

分類: cs.CV

原文アブストラクト

Vision Language Models (VLMs) offer powerful multimodal ability but also expose users to text-based privacy attacks where adversaries crawl online photos and query VLMs to extract sensitive attributes. Existing reversible adversarial example (RAE) methods protect images in purely visual tasks but fail in multimodal settings, and current adversarial examples on VLMs rely on high frequency noise that severely degrades visual quality. We propose CloakDiff, the first framework for reversible, high fidelity privacy protection against text-based query attacks in VLMs. CloakDiff produces imperceptible adversarial examples by combining diffusion based adversarial editing with an invertible network that embeds the original image for lossless recovery. It perturbs both pixel space embeddings and manipulates latent cross attention maps to ensure strong cross-model and cross-prompt transferability while preserving global visual structure. To further enhance fidelity, we design EDM Heuristic Sampling, a principled diffusion schedule for adversarial guidance. Experiments on multiple datasets and VLMs demonstrate that CloakDiff delivers multimodal privacy preservation with high visual quality and reversibility.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI