日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

群制御arXiv:2608.06830

協調が脅威となるとき:LLM制御マルチロボットシステムにおける通信攻撃

When Coordination Becomes a Threat: Communication Attacks in LLM-Controlled Multi-Robot Systems

シェア:XThreadsFacebookLINEはてブBluesky

LLMをプランナーに用いるマルチロボットシステムの通信攻撃を新たに定義し、異なるアーキテクチャでの影響を評価。さらに、通信内容の検証による防御手法CPVゲートを提案した。

詳しい要約

1. どんなもの?

本論文は、LLMを高レベルプランナーとして用いるマルチロボットシステムにおける通信攻撃のリスクを体系的に分析した研究である。攻撃者のアクセス設定に応じて、External Entry Point AttackとPrivileged In-System Attackの2種類の通信攻撃を定式化し、DMAS、HMAS-1、HMAS-2の3つの通信アーキテクチャ上で、3つのLLMと5つの具現化マルチロボットタスクを用いて評価している。さらに、信頼された情報フローからのリスクを軽減するため、Claim Provenance and Verification (CPV) Gateを提案している。

2. 先行研究と比べてどこがすごい?

先行研究は個々のロボットのセキュリティに焦点を当てており、マルチロボット協調における通信リスクの理解は不十分であった。また、既存のマルチロボット研究はDecentralized Multi-agent System (DMAS)アーキテクチャのみに限定した予備的分析に留まり、他の一般的な通信アーキテクチャでのリスクの持続性や攻撃者アクセス設定の影響は不明であった。本研究は、複数のアーキテクチャと攻撃設定を包括的に扱い、通信攻撃の伝播を明らかにした点が新しい。

3. 技術・手法の肝は?

手法の肝は、攻撃者のアクセス設定に応じて2種類の攻撃を定式化した点と、通信アーキテクチャの違いを考慮した評価フレームワークにある。具体的には、External Entry Point Attackは外部からのエントリーポイントを狙い、Privileged In-System Attackはシステム内部の特権アクセスを利用する。また、提案するCPV Gateは、通信されたクレームの出所と検証を行い、下流での再利用前に安全性を確認することで、リスクを軽減する。

4. どうやって有効だと検証した?

有効性の検証は、DMAS、HMAS-1、HMAS-2の3つのアーキテクチャ上で、3つのLLMと5つの具現化マルチロボットタスクを用いて行われた。結果として、DMASでは96.7%のエントリ承認率と100%の承認後活性化率、HMAS-1では97.8%の不安全行動成功率、HMAS-2ではタスク定義の不安全行動スロットの88.3%がトリガーされた。CPV Gateの導入により、違反率が70.0%から36.6%に低減した。

5. 議論はある?

議論としては、不安全な情報が不安全な行動に変換されることが全アーキテクチャで確認され、通信アーキテクチャの違いが攻撃の伝播に影響することが示された。また、CPV Gateは違反率を低減するが、完全には防げないため、さらなる対策の必要性が示唆される。ただし、要旨からは、攻撃の実世界での実現可能性や、CPV Gateの計算コスト、他の防御手法との比較などは不明である。

6. 次に読むべき論文は?

要旨で参照されている先行研究は、個々のロボットのセキュリティ研究やDMASアーキテクチャに限定したマルチロボット研究である。次に読むべき論文としては、LLMをプランナーとして用いるマルチロボットシステムのセキュリティ全般に関する研究や、通信プロトコルの検証手法、あるいはCPV Gateのような防御機構の拡張に関する研究が考えられる。具体的な論文名は要旨に記載がないため、同分野の定番である「Multi-Agent Reinforcement Learning」や「LLM-based Planning」のセキュリティ研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhen Huang, Zhihuang Liu, Weijia Shi, Yifan Yang, Weishang Wu, Zhiping Cai

分類: cs.RO, cs.CR

原文アブストラクト

Large Language Models (LLMs) are increasingly used as high-level planners in embodied multi-robot systems, enabling robots to interpret natural language instructions and coordinate executable actions. Yet, this growing reliance on LLM planners also raises security concerns. Prior work has focused mainly on individual robots, while communication risks in multi-robot collaboration remain insufficiently understood. Existing multi-robot studies are further limited to preliminary analysis under the Decentralized Multi-agent System (DMAS) architecture, so it remains unclear whether these risks persist across other common communication architectures and how attacker access settings shape their propagation. To fill this gap, we formulate two communication attacks corresponding to distinct attacker access settings: the External Entry Point Attack and the Privileged In-System Attack. We evaluate both attacks across DMAS, HMAS-1, and HMAS-2 using three LLMs and five embodied multi-robot tasks. Results show that unsafe information can turn into unsafe actions across all three architectures: DMAS reaches a 96.7\% entry endorsement rate and a 100\% post endorsement activation rate, HMAS-1 reaches a 97.8\% unsafe action success rate, and HMAS-2 triggers 88.3\% of task defined unsafe action slots. To mitigate risks from trusted information flow, we introduce the Claim Provenance and Verification (CPV) Gate, which verifies communicated claims before downstream reuse and reduces the violation rate from 70.0\% to 36.6\%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI