日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMエージェント/セキュリティarXiv:2605.29354

無害に見えて有害:エージェントスキルにおけるステルスな幻覚誘導のためのニュートラルプロンプト攻撃

Harmless Yet Harmful: Neutral Prompting Attacks for Stealthy Hallucination Steering in Agent Skills

シェア:XThreadsFacebookLINEはてブBluesky

LLM駆動のコーディングエージェントが幻覚で存在しないパッケージ名を生成する際、攻撃者がその名前を登録して悪用するサプライチェーンリスクを新たに提案し、無害な指示文が幻覚を増加させる攻撃手法を実証した論文。

詳しい要約

1. どんなもの?

- LLM-powered coding agents が software development workflows に参加する中で、agent が存在しない package を hallucinate し、攻撃者がその名前を登録して後でユーザを侵害する software supply chain risk が生じている。 - 本論文では Neutral Prompting Attack (NPA) を導入する。これは「想像力を促す」「網羅性を促す」といった意味的に無害な指示が、明示的な悪意なく package hallucination 傾向を高める、極めてステルス性の高い攻撃パラダイムである。 - NPA は攻撃者が選んだ package を指定する targeted dependency steering とは異なり、モデルの依存関係生成行動をより投機的な package 名へとシフトさせる。 - 複数の coding-oriented LLMs と package hallucination benchmarks で評価し、NPA が Hallucination ASR と…

2. 先行研究と比べてどこがすごい?

- 既存の package hallucination attacks と defenses は主に自然発生する hallucination、targeted dependency steering、post-hoc package validation に焦点を当てている。 - NPA は、明示的な悪意を含まない意味的に無害な指示(例:想像力や網羅性の促進)によって package hallucination 傾向を高める点で、これらの先行研究とは異なる。 - targeted dependency steering とは異なり、NPA は攻撃者が選んだ package を指定せず、モデルの依存関係生成行動をより投機的な package 名へとシフトさせる。 - 既存の static-analysis、LLM-based、agent-based Skill defenses を回避することを示しており、ステルス性の高さが先行研究と比べて優れている点である。

3. 技術・手法の肝は?

- NPA は、意味的に無害な指示(例:想像力や網羅性の促進)をプロンプトに含めることで、明示的な悪意なく package hallucination 傾向を高める。 - 攻撃者が選んだ package を指定するのではなく、モデルの依存関係生成行動をより投機的な package 名へとシフトさせる。 - 具体的なプロンプトの構成や実装の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 複数の coding-oriented LLMs と package hallucination benchmarks で NPA を評価した。 - 結果として、NPA が Hallucination ASR と Pip Install ASR を増加させ、hallucinated package 名の分布を変化させることを示した。 - また、既存の static-analysis、LLM-based、agent-based Skill defenses を回避することを示した。

5. 議論はある?

- 一見無害なプロンプトが hallucination 行動を密かに操作し、下流の software supply chain risks を生み出す可能性があることを明らかにしている。 - 既存の defenses が NPA を回避されることから、新たな防御策の必要性が示唆される。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:package hallucination attacks and defenses、targeted dependency steering、post-hoc package validation、static-analysis、LLM-based、agent-based Skill defenses。 - 関連手法として、package hallucination に関する研究や dependency steering の研究が挙げられる。 - 同分野の定番として、LLM の hallucination 検出や software supply chain security に関する研究が考えられるが、要旨では特定の論文名は挙げられていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chia-Yi Hsu, Chia-Mu Yu, Chun-Ying Huang, Jun Sakuma

分類: cs.CR, cs.LG

原文アブストラクト

LLM-powered coding agents increasingly participate in software development workflows by generating code, selecting dependencies, and producing package installation commands. This creates a new software supply chain risk: when an agent hallucinates a non-existent package, an attacker may register the hallucinated name and later compromise users who install it. Existing package hallucination attacks and defenses primarily focus on naturally occurring hallucinations, targeted dependency steering, or post-hoc package validation. In this paper, we introduce \emph{Neutral Prompting Attack} (NPA), a highly stealthy attack paradigm in which semantically benign instructions, such as encouraging imagination and exhaustiveness, increase package hallucination propensity without containing explicit malicious intent. Unlike targeted dependency steering, NPA does not specify an attacker-chosen package. Instead, it shifts the model's dependency generation behavior toward more speculative package names. We evaluate NPA across multiple coding-oriented LLMs and package hallucination benchmarks. Our results show that NPA increases both \emph{Hallucination ASR} and \emph{Pip Install ASR}, changes the distribution of hallucinated package names, and evades existing static-analysis, LLM-based, and agent-based Skill defenses. These findings reveal that harmless-looking prompts can covertly manipulate hallucination behavior and create downstream software supply chain risks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI