日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティarXiv:2607.25227

意思決定レベルでの乗っ取り:ビット反転攻撃による大規模言語モデルへの認知バイアス注入

Decision-Level Hijacking: Injecting Cognitive Bias into Large Language Models via Bit-Flip Attacks

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルの重みの一部ビットを反転させるだけで、モデルの認知傾向を操作し、下流の意思決定に影響を与える攻撃手法を提案した論文。

詳しい要約

1. どんなもの?

本論文は、Large Language Models (LLMs) の意思決定を乗っ取る新たな攻撃である decision-level hijacking を定義し、それを実現するフレームワーク CogBias を提案する。攻撃者はモデルの重みの一部のビットを反転させる Bit-Flip Attacks (BFAs) を用いて、モデルの認知バイアスを注入し、下流の意思決定者に影響を与える。

2. 先行研究と比べてどこがすごい?

既存の攻撃は、禁止コンテンツの生成や機能低下を引き起こすことなく、特定の認知操作を達成できない。一方、CogBias は、デプロイ後に最小限のビット反転のみで、ステルス性が高く、低コストで持続的な認知操作を実現する。また、リアルタイムの対話やトレーニングプロセスの制御を必要としない。

3. 技術・手法の肝は?

CogBias は、主観的な選好を微分可能な感情評価器を介して最適化信号に変換し、多目的損失を用いて複数の次元を同時に制約する。さらに、重要なビットを特定する BitScout を構築し、超スパースなフリップ予算内で対象の認知介入を達成する。

4. どうやって有効だと検証した?

Llama-3.2-3B、Mistral-7B、Qwen2.5-14B のモデルと、商用レコメンデーションおよび論争のある事実トピックのシナリオで実験を行った。少数のビットを反転するだけで、対象トピックに対する顕著なスタンスシフトを安定して誘発できることを示し、非対象タスクや全体的な出力分布への影響は限定的であることを確認した。

5. 議論はある?

要旨からは、攻撃の検出可能性や防御策、また、より大規模なモデルや多様なシナリオでの有効性、倫理的な懸念などについての議論は不明である。

6. 次に読むべき論文は?

要旨で参照されている Bit-Flip Attacks (BFAs) に関する研究や、LLM の価値整合性に関する研究が挙げられる。具体的には、Bit-Flip Attacks の元祖である「Bit-Flip Attack: Crushing Neural Network with Progressive Bit Search」や、LLM の安全性・整合性に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Yan, Jiahao Chen, Siqi Lu, Yongjuan Wang, Ziming Zhao, Zhaoxuan Li, Tianyu Du, Qingjun Yuan, Shouling Ji

分類: cs.CR, cs.LG

原文アブストラクト

Large Language Models (LLMs) have been widely applied in high-stakes decision-making scenarios such as corporate strategy, and users are increasingly relying on their outputs. However, the deep integration of open-source model sharing ecosystems with LLM-powered critical decision-making applications also introduces critical risks: if an attacker can manipulate the model's cognitive stance, they can indirectly influence the judgments and actions of downstream decision-makers. This paper defines such threats as decision-level hijacking. Existing attacks fail to achieve targeted cognitive manipulation without triggering prohibited content or degrading model functionality. To fill this gap, this paper reveals that Bit-Flip Attacks (BFAs) can serve as an attack vector for inducing decision-level hijacking, requiring no real-time interaction or control over the training process, and only a minimal number of weight bits need to be flipped after deployment to achieve stealthy, low-cost, and persistent cognitive manipulation. Therefore, we propose CogBias, a cognitive bias injection framework for LLMs. CogBias converts subjective preferences into optimization signals via a differentiable sentiment evaluator, uses a multi-objective loss to jointly constrain multiple dimensions, and constructs BitScout to locate critical bits, achieving targeted cognitive intervention under an ultra-sparse flip budget. Experiments on Llama-3.2-3B, Mistral-7B, and Qwen2.5-14B, as well as on the commercial recommendation and controversial factual topic scenarios, demonstrate that flipping only a small number of bits stably induces significant stance shifts on target topics, while the impact on non-target tasks and overall output distribution is limited. This work demonstrates that minute perturbations to low-level weight data suffice to undermine the high-level value alignment of LLMs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI