日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティarXiv:2607.02819

クラウドエッジ推論における大規模視覚言語モデルへの視覚トークン操作攻撃

Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

エッジとクラウド間で送信される視覚トークンを攻撃者が改ざんし、モデルの精度を大幅に低下させる攻撃手法を提案・評価した論文。

詳しい要約

1. どんなもの?

本論文は、Cloud-edge Large Vision-Language Model (LVLM) 推論における新たな攻撃面として、エッジからクラウドへ送信される中間視覚トークン(vision tokens)の操作攻撃(VTM-Attack)を提案・分析している。Black-box man-in-the-middle 設定で、攻撃者が予算制約下で一部の vision tokens を傍受・改ざんする。

2. 先行研究と比べてどこがすごい?

従来の LVLM 攻撃研究は主にモデル入力(画像やテキスト)への摂動やモデル内部の勾配利用が中心だったが、本論文は分散推論の中間表現である vision tokens の通信経路に着目し、Black-box でトークン選択と操作を行う攻撃を初めて体系的に示した点が新しい。

3. 技術・手法の肝は?

手法の肝は、攻撃者が限られた数の vision tokens しか操作できない予算制約下で、どのトークンを選択しどのように操作するかである。4つのナイーブな攻撃戦略(例:ランダム選択、重要度に基づく選択など)に加え、最適化ベースのトークン選択法を提案している。

4. どうやって有効だと検証した?

6つの最先端 LVLM(3B〜72B)と4つのベンチマークを用いて実験し、わずか10%の vision tokens の操作で最大88.31%の精度低下を引き起こすことを示した。

5. 議論はある?

要旨からは、攻撃の実用性(通信路へのアクセス前提)や防御策の議論は明示されていない。また、操作するトークンの内容(どのような摂動を与えるか)の詳細や、Black-box での実装上の課題については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている先行研究や関連手法は明示されていないため、同分野の定番として、LVLM のセキュリティ・敵対的攻撃に関する研究(例:Adversarial Attacks on Vision-Language Models)や、分散推論のセキュリティに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

分類: cs.CR, cs.AI, cs.CV

原文アブストラクト

Cloud-edge Large Vision-Language Model (LVLM) inference enables efficient deployment by splitting computation between edge devices and cloud servers. In this process, intermediate vision tokens are transmitted from the edge to the cloud over a communication link, thereby exposing a new attack surface. We study vision token manipulation attack (VTM-Attack) under a black-box man-in-the-middle setting, where an adversary intercepts and manipulates a subset of transmitted vision tokens under a budget constraint. We propose four naïve attack strategies and an optimization-based token selection method. Experiments on 6 state-of-the-art LVLMs (3B-72B) across 4 benchmarks show that manipulating only 10\% of vision tokens can reduce accuracy by up to 88.31\%. These results reveal a critical vulnerability in cloud-edge LVLM inference.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI