日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セキュリティ/拡散ポリシーarXiv:2606.10371

テスト時敵対的乗っ取り:ロボット拡散ポリシーに対するリアルタイムハイジャックインターフェース

Test-time Adversarial Takeover: A Real-time Hijacking Interface against Robotic Diffusion Policies

シェア:XThreadsFacebookLINEはてブBluesky

拡散ベースのロボットポリシーを攻撃者がリアルタイムに遠隔操作できるようにする手法TAKOを提案し、複数のタスクと環境で100%の成功率を達成した。

詳しい要約

1. どんなもの?

- 拡散ベースの行動生成はembodied AIの基盤だが、視覚条件付けへの依存が敵対的攻撃に脆弱 - 本研究はTest-time Adversarial Takeover (TAKO) という新たな脅威を提案 - 攻撃者は凍結されたロボット方策に対しリアルタイム操縦インターフェースを獲得し、遠隔操縦可能な道具に変える - 攻撃者はカメラストリーム中のuniversal patchesを切り替え、攻撃者指定の軌道を構成 - 4タスク、2視覚エンコーダ、3生成推論ファミリで人間オペレータが100%の乗っ取り成功を達成

2. 先行研究と比べてどこがすごい?

- 従来の攻撃は主に妨害:観測を摂動させタスク成功率を下げたり異常行動を誘発 - TAKOはより強い脅威:方策をリアルタイムで操縦し、攻撃者指定の目標を達成させる - 自然な標的ベースラインであるtarget-policy matchingは、被害方策が分布外の標的シフトで自己監督できないため失敗 - 従来の妨害攻撃と異なり、攻撃者は再利用可能なuniversal patchesの語彙を学習し、テスト時に切り替えて軌道を構成

3. 技術・手法の肝は?

- 微分可能な拡散推論を通じて、再利用可能なuniversal patchesの小さな語彙を学習 - テスト時、攻撃者はカメラストリーム内でこれらのパッチを切り替え、攻撃者選択の軌道を構成 - 摂動は視覚条件付け経路に作用し、誘導バイアスが反復的生成推論を通じて持続 - 凍結されたロボット方策に対してリアルタイム操縦インターフェースを実現

4. どうやって有効だと検証した?

- 4タスク:2D manipulation、simulated aerial delivery、simulated ground navigation、physical-world ground navigation - 2視覚エンコーダ:ResNet-18、EfficientNet-B0 + Transformer - 3生成推論ファミリ:DDPM、DDIM、flow matching - 人間オペレータが全評価設定で攻撃者定義目標に対し100%の乗っ取り成功を達成

5. 議論はある?

- target-policy matchingが失敗する理由:被害方策が分布外の標的シフトで自己監督できない - 摂動が視覚条件付け経路に作用し、反復的生成推論を通じてバイアスが持続するメカニズム - 要旨からはその他の議論や限界は不明

6. 次に読むべき論文は?

- target-policy matching(要旨で比較されているベースライン) - DDPM、DDIM、flow matching(要旨で言及されている生成推論ファミリ) - ResNet-18、EfficientNet-B0 + Transformer(要旨で言及されている視覚エンコーダ) - 同分野の定番:diffusion policy、adversarial attacks on visuomotor policies

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

分類: cs.RO, cs.AI

原文アブストラクト

Diffusion-based action generation has become a foundational component of embodied AI, but its reliance on visual conditioning leaves deployed visuomotor policies vulnerable to adversarial manipulation. Most prior attacks focus on disruption: they perturb the observation stream to reduce task success or induce erratic behavior. We study a stronger threat, Test-time Adversarial Takeover (TAKO), in which an attacker obtains a real-time steering interface over a frozen robot policy and turns it into a remotely piloted instrument. TAKO learns a small vocabulary of reusable universal patches through differentiable diffusion inference; at test time, the attacker switches among these patches in the camera stream to compose attacker-chosen trajectories. This works because the perturbation acts on the visual conditioning pathway, where the induced bias can persist through iterative generative inference. We further show that the natural targeted baseline, target-policy matching, fails because the victim policy cannot reliably supervise itself on out-of-distribution target shifts. Across four tasks (2D manipulation, simulated aerial delivery, simulated ground navigation, and physical-world ground navigation), two visual encoders (ResNet-18 and EfficientNet-B0 + Transformer), and three generative inference families (DDPM, DDIM, and flow matching), human operators achieve 100\% takeover success on attacker-defined objectives in every evaluated setting. The project page is available at https://tako-attack.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI