日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティarXiv:2607.01518

LVLM搭載ロボットシステムに対する過剰思考誘発型スローダウン攻撃

Overthink-Triggered Slowdown Attacks on LVLM-Based Robotic Systems

シェア:XThreadsFacebookLINEはてブBluesky

ロボットに搭載された大規模視覚言語モデル(LVLM)の過剰思考(長い推論)を悪意あるシーンテキストで誘発し、意思決定を遅延させる攻撃手法を提案・検証した論文。

詳しい要約

1. どんなもの?

本論文は、Large Vision-Language Models (LVLMs) を搭載したロボットシステムに対する新たなセキュリティ攻撃である「overthinking-induced slowdown attack」を提案・分析している。LVLMsは推論時に過剰に長い推論チェーンを生成する「overthinking」行動を示すことがあり、これが推論時間の増大を招く。攻撃者は、視覚シーンに人間が読めるテキスト(scene text)を埋め込むことで、被害ロボットのLVLMにoverthinkingを誘発させ、意思決定を遅延させる。この攻撃はブラックボックス設定でも有効であり、埋め込まれたテキストが攻撃のトリガーとなる。論文では、overthinkingの転移可能なトリガーを体系的に特定・検証する3段階フレームワークを導入している。

2. 先行研究と比べてどこがすごい?

先行研究では、LVLMの推論遅延や過剰な推論(overthinking)が性能や効率に与える影響は議論されていたが、それを意図的に悪用するセキュリティ攻撃として捉えた研究はほとんどない。本論文は、overthinkingを攻撃ベクトルとして初めて体系的に扱い、ブラックボックス環境下で転移可能なトリガーを発見する点が新しい。また、物理的な印刷テキストでも攻撃が有効であることを示し、実世界のロボットシステムへの脅威を実証している点が先行研究と比べて優れている。

3. 技術・手法の肝は?

手法の核は3段階のフレームワークである。第1段階では、推論を必要とする多様なscene textコーパスを構築し、短い応答プレフィックスからoverthinkingと相関する語彙特徴を抽出する。第2段階では、プレフィックスベースの代理スコアを用いた効率的なブラックボックス探索を行い、少数の上位候補を完全なレイテンシ測定で確認する。第3段階では、固定されたトリガープールを用いて、未見の画像と複数のLVLMに対するブラックボックス転移を評価し、レイテンシ増幅率と攻撃成功率を標準的な閾値で報告する。

4. どうやって有効だと検証した?

3つの代表的なLVLMに対して実験を行い、すべてのトリガーで1.0倍を超えるスローダウン比を達成し、最も強い単一トリガーでは6.96倍の遅延増幅を観測した。さらに、トリガーを物理的に印刷した場合でも最大4.74倍のレイテンシ増幅が発生することを確認した。これらの結果から、発見されたトリガーが複数のLVLM間で転移し、ロボットシステムに有意なスローダウンを一貫して引き起こすことを示した。

5. 議論はある?

要旨からは、攻撃の実世界での影響(例えば、ロボットのタスク実行がどの程度妨害されるか)や、防御策についての議論は明示されていない。また、実験で使用したLVLMの具体的なモデル名や、攻撃成功率の定義(標準的な閾値の詳細)も要旨からは不明である。さらに、トリガーの転移性がモデル間でどの程度一般的であるか、また、より大規模なLVLMや異なるアーキテクチャでの有効性についての議論も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、LVLMの推論遅延やoverthinkingに関する研究、および敵対的攻撃(特にテキスト埋め込みを用いた視覚攻撃)に関する研究が関連する。具体的には、LVLMの推論効率を改善する手法や、視覚言語モデルに対する敵対的例の研究が次の読むべき論文として挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiang Han, Jie Wu, Bo Chen

分類: cs.CR, cs.RO

原文アブストラクト

Large Vision-Language Models (LVLMs) have been increasingly integrated into robotic systems. However, these models may exhibit overthinking behaviors, where they generate excessively long reasoning traces, incurring an excessive inference time. This overthinking behavior poses a serious risk to robotic systems, as the adversary can deliberately trigger overthinking to slow down the decision making of a victim robotic system, causing a variety of safety issues (i.e., an overthinking-induced slowdown attack). To initiate this attack, an adversary can embed carefully crafted, human-readable scene text into the visual scene observed by a victim robotic agent, causing significant inference delays even under a strict black-box setting. Therefore, the embedded scene text serves as a significant "trigger" for the attack. This work systematically identifies and validates transferable triggers of overthinking in robotic systems by introducing a three-stage framework. First, we construct a diverse corpus of reasoning-intensive scene text and extract overthinking-correlated lexical features from short response prefixes. Second, we perform an efficient black-box search guided by a prefix-based proxy score while selectively confirming a small set of top candidates with full latency measurements. Third, we evaluate black-box transfer using a fixed pool of triggers on unseen images and multiple LVLMs, reporting latency amplification and attack success rates under standard thresholds. Across three representative LVLMs, all triggers yield slowdown ratios greater than 1.0x, with the strongest single-trigger case reaching 6.96x. The physical printing of the text trigger still causes up to 4.74x latency amplification. These results demonstrate that our discovered triggers are transferred between multiple LVLM models and consistently cause significant slowdowns in robotic systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI