日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティarXiv:2604.03890

プロンプトから物理的行動へ:LLM仲介ロボット制御システムにおける構造化バックドア攻撃

From Prompt to Physical Action: Structured Backdoor Attacks on LLM-Mediated Robotic Control Systems

シェア:XThreadsFacebookLINEはてブBluesky

LLMを組み込んだROS2ロボット制御システムに対し、ファインチューニング時のバックドア攻撃を実験的に調査し、構造化JSONコマンドに整合するバックドアが物理動作を引き起こすことを示した。

詳しい要約

1. どんなもの?

- LLMを組み込んだロボット制御パイプライン(LLM-mediated ROS2 robotic control systems)において、fine-tuning時に埋め込まれるstructured backdoor攻撃を実験的に調査。 - 自然言語プロンプトから実行コマンドへの変換を担うデジタル-物理インターフェースの脆弱性を明らかにする。 - LoRA-based supply-chain backdoorsを対象とし、物理ロボット実行への影響を評価。

2. 先行研究と比べてどこがすごい?

- 従来のbackdoor攻撃研究は主にデジタル出力やテキスト生成に焦点を当てており、物理ロボット制御への波及効果は未解明だった。 - 本研究は、自然言語推論段階のbackdoorは実行可能な制御出力に伝播しにくい一方、structured JSON command形式に直接整合するbackdoorは翻訳を生き残り物理動作を引き起こすというシステムレベルの知見を初めて示した。 - シミュレーションと実世界実験の両方で、平均Attack Success Rate 83%を達成しつつ、Clean Performance Accuracy 93%以上、sub-second latencyを維持する信頼性とステルス性を実証。

3. 技術・手法の肝は?

- LoRA-based supply-chain backdoorsをfine-tuning時に埋め込む2つのpoisoned fine-tuning戦略を構築。 - 一方は自然言語推論段階を標的とし、他方はstructured JSON command形式に直接整合させる。 - コマンド生成パイプラインの異なる段階を標的にし、物理ロボット実行への影響を比較。 - 防御として、secondary LLMによるsemantic consistency checkingを用いたagentic verification defenseを実装。

4. どうやって有効だと検証した?

- シミュレーションと実世界実験の両方で評価。 - backdoored modelsは平均Attack Success Rate 83%、Clean Performance Accuracy 93%以上、sub-second latencyを達成。 - agentic verification defenseによりAttack Success Rateは20%に低減するが、end-to-end latencyが8-9秒に増加することを確認。

5. 議論はある?

- 自然言語推論段階のbackdoorは実行可能な制御出力に伝播しにくいが、structured JSON command形式に整合するbackdoorは物理動作を引き起こすという構造的脆弱性を指摘。 - agentic verification defenseはセキュリティと応答性のトレードオフを露呈し、リアルタイムロボットシステムにおける課題を提起。 - embodied AIシステム向けのrobotics-aware defensesの必要性を強調。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、LoRA-based fine-tuning、ROS2、LLM-mediated robotic control、backdoor attacks、agentic verification defenseが挙げられる。 - 同分野の定番として、LLM-based robotic control(例:SayCan、Code as Policies)やbackdoor detection in LLMsに関する研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingyang Xie, Jin Wei-Kocsis

分類: cs.RO

原文アブストラクト

The integration of large language models (LLMs) into robotic control pipelines enables natural language interfaces that translate user prompts into executable commands. However, this digital-to-physical interface introduces a critical and underexplored vulnerability: structured backdoor attacks embedded during fine-tuning. In this work, we experimentally investigate LoRA-based supply-chain backdoors in LLM-mediated ROS2 robotic control systems and evaluate their impact on physical robot execution. We construct two poisoned fine-tuning strategies targeting different stages of the command generation pipeline and reveal a key systems-level insight: back-doors embedded at the natural-language reasoning stage do not reliably propagate to executable control outputs, whereas backdoors aligned directly with structured JSON command formats successfully survive translation and trigger physical actions. In both simulation and real-world experiments, backdoored models achieve an average Attack Success Rate of 83% while maintaining over 93% Clean Performance Accuracy (CPA) and sub-second latency, demonstrating both reliability and stealth. We further implement an agentic verification defense using a secondary LLM for semantic consistency checking. Although this reduces the Attack Success Rate (ASR) to 20%, it increases end-to-end latency to 8-9 seconds, exposing a significant security-responsiveness trade-off in real-time robotic systems. These results highlight structural vulnerabilities in LLM-mediated robotic control architectures and underscore the need for robotics-aware defenses for embodied AI systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI