日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLM安全性評価arXiv:2606.23892

REALM: 物理世界VLMのための統合レッドチーミングベンチマーク

REALM: A Unified Red-Teaming Benchmark for Physical-World VLMs

シェア:XThreadsFacebookLINEはてブBluesky

物理世界のVLMの脆弱性を評価するための、攻撃手法・防御・モデルを統一的に比較できる初のベンチマークを提案した。

詳しい要約

1. どんなもの?

- 物理世界のVLM向けred-teamingベンチマーク - 名称はREALM - 物理世界VLMの安全性評価を統一的に扱う初の試みと主張 - 構成要素 - 12のred-teaming手法 - 3つのmodel-agnostic defenses - 13のVLM - 実用的なblack-box脅威モデル - 共有データセットとメトリクス - 目的 - 断片化した評価を統合し直接比較を可能にする - 物理的に根拠づけられた機能不全を体系的に捉える

2. 先行研究と比べてどこがすごい?

- 既存のchatbot中心ベンチマークの限界 - jailbreakやcontent-safety評価が中心 - 物理世界VLMを対象とするred-teaming手法を体系的に扱わない - 物理的に根拠づけられた機能不全を捉えない - REALMの差分 - 物理世界VLMに特化した初の統一red-teamingベンチマークと主張 - データセット・メトリクス・脅威モデルの断片化を解消 - 攻撃手法間で目的を揃え公平比較を可能にする - 攻撃の強さ・モデルの脆弱性・評価設定の非互換による差異の混同を避ける

3. 技術・手法の肝は?

- 統一プロトコル - 12手法・3防御・13VLMを共有データセットとメトリクスで評価 - 実用的black-box脅威モデルを採用 - 攻撃目的の整合 - agentic target-generation pipelineを導入 - 各sceneに対し共有・シナリオ固有・物理的に根拠づけられた攻撃目的を構築 - 攻撃ファミリ間でadversarial objectivesを揃える - これにより多様なred-teaming手法を同一の敵対目標下で比較可能にする

4. どうやって有効だと検証した?

- REALM上で多様な手法を評価 - 主な知見 - textおよびtypographic injection攻撃が最も多くの失敗を誘発 - multimodal co-optimizationが視覚摂動の転移で最強 - single-pass攻撃は反復手法に近い性能を大幅に低コストで達成 - モデル規模だけではadversarial robustnessは得られない - コード公開: https://github.com/UCF-ML-Research/REALM

5. 議論はある?

- 評価の断片化が比較を困難にし、差異の原因を不明瞭にする問題を提起 - chatbot中心ベンチマークでは物理世界VLMの機能不全や対象手法を捉えきれないと指摘 - 統一プロトコルと整合した攻撃目的の必要性を主張 - 個別手法の限界や防御の有効性に関する詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - chatbot-centric red-teaming benchmarks - jailbreak評価 - content-safety評価 - 関連手法 - text injection攻撃 - typographic injection攻撃 - multimodal co-optimization - single-pass攻撃 - iterative攻撃 - model-agnostic defenses - 同分野の定番としてphysical-world VLMのembodied intelligence応用に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifei Zhao, Qian Lou, Mengxin Zheng

分類: cs.CV

原文アブストラクト

Vision-language models (VLMs) are increasingly used as perception-reasoning backbones for embodied intelligence in safety-critical physical systems, where perception or reasoning errors can lead to unsafe decisions or actions. Although many red-teaming methods have been developed to probe VLM vulnerabilities, their evaluation remains fragmented across datasets, metrics, and threat models, making direct comparison difficult and obscuring whether observed differences arise from stronger attacks, more vulnerable models, or incompatible evaluation settings. Existing chatbot-centric red-teaming benchmarks mainly standardize jailbreak and content-safety evaluation, but they do not systematically capture physically grounded functional failures or cover red-teaming methods that target physical-world VLMs. This raises the key challenge of comparing diverse attack methods under a unified protocol while targeting the same scenario-specific failures. We introduce REALM, to our knowledge the first unified red-teaming benchmark for physical-world VLMs. REALM integrates 12 red-teaming methods, 3 model-agnostic defenses, and 13 VLMs under a practical black-box threat model with shared datasets and metrics. To align adversarial objectives across attack families, REALM introduces an agentic target-generation pipeline that constructs shared, scenario-specific, and physically grounded attack objectives for each scene, enabling fair comparison of diverse red-teaming methods under aligned adversarial goals. Our evaluation shows that text and typographic injection attacks induce the most failures, multimodal co-optimization yields the strongest visual-perturbation transfer, single-pass attacks approach iterative methods at much lower cost, and model scale alone does not confer adversarial robustness. Code is available at https://github.com/UCF-ML-Research/REALM.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI