日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃arXiv:2607.21036

GeoThreat: リモートセンシング画像解釈のための大規模視覚言語モデルに対する転移可能な標的型敵対的攻撃

GeoThreat: Transferable Targeted Adversarial Attacks on Large Vision-Language Models for Remote Sensing Image Interpretation

シェア:XThreadsFacebookLINEはてブBluesky

リモートセンシング画像解釈における大規模視覚言語モデル(LVLM)への転移可能な標的型敵対的攻撃手法GeoThreatを提案。概念レベルと知覚レベルの両方で敵対的表現を調整し、ブラックボックス設定でのセマンティック操作を実現する。

詳しい要約

1. どんなもの?

GeoThreatは、リモートセンシング画像解釈のための大規模視覚言語モデル(LVLM)に対する転移可能な標的型敵対的攻撃手法を提案する。既存研究は主に自然画像の一般的な視覚言語タスクに焦点を当てているが、リモートセンシング分野は未開拓である。GeoThreatは、概念レベルと知覚レベルの両方で敵対的表現を調整し、ブラックボックス設定下で指定された応答への転移可能な意味操作を実現する。

2. 先行研究と比べてどこがすごい?

先行研究は自然画像のLVLMに対する敵対的攻撃に焦点を当てており、リモートセンシング特有の課題(局所的手がかりと大域的シーン文脈の統合推論)を考慮していない。GeoThreatは、リモートセンシング画像解釈に特化し、概念表現と知覚表現を協調的に最適化することで、ブラックボックス設定下での転移可能な標的型攻撃を実現する点が新しい。

3. 技術・手法の肝は?

手法の核は、概念レベルと知覚レベルの二段階で敵対的表現を調整すること。概念表現にはサロゲート画像エンコーダのクラストークンを用い、知覚表現はパッチトークンから協調的重要度推定により蒸留する。さらに、層間のアテンションスコアだけでなく、敵対的ターゲット類似度勾配を組み込んで局所的手がかりの関連性を特徴付け、知覚表現をクロスアテンションでターゲットパッチトークンに動的整列させる。最終的に、概念較正と知覚適応のアンサンブル結合最適化で摂動を反復更新する。

4. どうやって有効だと検証した?

多様なLVLMに対する大規模な実験により、GeoThreatの転移可能性と制御可能性の優位性を実証した。具体的な評価指標や比較対象は要旨からは不明だが、複数のLVLMでの実験結果が示されている。

5. 議論はある?

要旨からは、リモートセンシング特有の課題への対処が議論されているが、計算コストや実世界での適用可能性、防御手法との関係などは明記されていない。また、提案手法の限界や今後の課題についての詳細は不明。

6. 次に読むべき論文は?

要旨で参照されている先行研究は、自然画像のLVLMに対する敵対的攻撃手法(具体的な論文名は不明)であり、リモートセンシング分野の敵対的攻撃に関する研究が挙げられる。次に読むべき論文としては、LVLMの敵対的攻撃に関する一般的な研究(例えば、Adversarial Attacks on Multimodal Models)や、リモートセンシング画像理解のためのLVLMの研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yimin Fu, Yuefeng Bai, Baicheng Pan, Zhunga Liu, Michael K. Ng

分類: cs.CV

原文アブストラクト

Adversarial attacks against large vision-language models (LVLMs) serve as an effective means of assessing their robustness in cross-modal semantic understanding. Existing studies mainly focus on corrupting visual inputs to induce predefined erroneous responses in general vision-language tasks, whereas corresponding investigations in remote sensing fields remain largely underexplored. Compared with natural image understanding, remote sensing image interpretation requires joint reasoning over local discriminative cues and global scene context. This poses additional challenges to achieving transferable semantic manipulation toward specified responses under black-box settings. To tackle these challenges, we propose GeoThreat, a transferable targeted adversarial attack method against LVLMs for remote sensing image interpretation. Specifically, GeoThreat modulates adversarial representations in accordance with the target content at both conceptual and perceptual levels. The class tokens from surrogate image encoders are employed as conceptual representations, while perceptual representations are distilled from patch tokens of the adversarial example through collaborative importance estimation. Beyond merely rolling out attention scores across layers, we incorporate adversarial-target similarity gradients to more faithfully characterize the relevance of local visual cues to the intended semantic manipulation. The perceptual representations are then dynamically aligned with target patch tokens in a cross-attentive manner, facilitating the adaptation of local cues toward designated semantic details. Finally, adversarial perturbations are iteratively updated via ensemble-based joint optimization of conceptual calibration and perceptual adaptation. Extensive experiments across diverse LVLMs demonstrate the superiority of GeoThreat in both transferability and controllability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI