日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.18609

DPOison-VL:視覚言語DPOにおけるクリーンな選好ポイズニング

DPOison-VL: Clean Preference Poisoning in Vision-Language Direct Preference Optimization

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルのDPO学習データに対し、ごく一部の画像に知覚不能な摂動を加えるだけで、プロンプトや応答を改変せずにモデルの選好を攻撃者の意図に誘導できる新たな攻撃手法を提案した。

詳しい要約

1. どんなもの?

- VLM-DPOに対する初のclean preference poisoning攻撃であるDPOison-VLを提案。 - 訓練画像のごく一部に知覚不能な摂動を加えるだけで、prompt・response・preference annotationは意味的に無傷のままモデルアラインメントを操作。 - 二段階最適化として毒構築を定式化し、攻撃者指定のpreferenceへ画像摂動を効率的に誘導するgradient alignment surrogateを導出。 - 固定毒予算下で一階最適性が証明可能なpreference displacement scoreを導入し、preference inversionの十分条件も導出。 - 多様な攻撃タスク、異なるVLMアーキテクチャとスケール、ベースライン比較で最大98% ASRを2%の毒データで達成し、cross-model transferabilityを示す。 - clean accuracyと一般ユーティリティはほぼ維持。

2. 先行研究と比べてどこがすごい?

- 既存のpreference poisoning攻撃は明示的な監督信号を破壊するか、目に見えるtriggerを必要とし、人間の検査で検出可能。 - DPOison-VLは初のclean preference poisoning攻撃であり、知覚不能な画像摂動のみでアラインメントを操作。 - prompt、response、preference annotationを意味的に完全に保つため、人間の検査では検出が難しい。 - 2%の毒データで最大98% ASRを達成し、cross-model transferabilityも示す。 - clean accuracyと一般ユーティリティを大きく損なわない点で先行研究と異なる。

3. 技術・手法の肝は?

- 毒構築をbilevel optimizationとして定式化。 - 攻撃者指定のpreferenceへ画像摂動を効率的に誘導するgradient alignment surrogateを導出。 - 固定毒予算下で一階最適性が証明可能なpreference displacement scoreを導入し、原則に基づく毒選択を実現。 - preference inversionの十分条件を導出。 - 訓練画像のごく一部に知覚不能な摂動を加え、prompt・response・preference annotationは変更しない。

4. どうやって有効だと検証した?

- 多様な攻撃タスク、異なるVLMアーキテクチャとスケール、ベースライン比較を含む広範な実験を実施。 - 2%の毒データで最大98% ASRを達成。 - cross-model transferabilityを示す。 - clean accuracyと一般ユーティリティをほぼ維持することを確認。

5. 議論はある?

- VLM-DPOにおける重大な脆弱性を明らかにし、preference訓練データ中の知覚不能な画像摂動がアラインメントを静かにリダイレクトし得ることを示す。 - 攻撃の検出や防御に関する議論は要旨からは不明。 - 倫理的影響や緩和策については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてDirect Preference Optimization (DPO)、Vision-Language Models (VLMs)、preference poisoning attacksが挙げられる。 - 同分野の定番としてadversarial attacks、backdoor attacks、RLHF、VLM alignmentに関する論文が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengtao Jian, Kai Yang

分類: cs.CR, cs.AI, cs.CV

原文アブストラクト

Direct Preference Optimization (DPO) has become a widely adopted approach for aligning vision-language models (VLMs), yet the security of multimodal preference data remains largely unexplored. Existing preference poisoning attacks either corrupt explicit supervision signals or require visible triggers, making them detectable under human inspection. We introduce DPOison-VL, the first clean preference poisoning attack against VLM-DPO, which manipulates model alignment solely through imperceptible perturbations on a small fraction of training images, while leaving all prompts, responses, and preference annotations semantically intact. We formulate poison construction as a bilevel optimization and derive a gradient alignment surrogate that efficiently steers image perturbations toward the attacker-specified preference. We further introduce a preference displacement score for principled poison selection with provable first-order optimality under a fixed poison budget, and derive a sufficient condition for preference inversion. Extensive experiments across diverse attack tasks, different VLM architectures and scales, and baseline comparisons demonstrate that DPOison-VL achieves up to 98\% ASR with only 2\% poisoned data and exhibits cross-model transferability, while largely preserving clean accuracy and general utility. Our findings reveal a critical vulnerability in VLM-DPO, where imperceptible image perturbations in preference training data can silently redirect alignment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI