日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃/視覚運動ポリシーarXiv:2603.04913

パッチを超えて:視点一貫性のある3D敵対的物体による視覚運動ポリシーの脆弱性探求

Beyond the Patch: Exploring Vulnerabilities of Visuomotor Policies via Viewpoint-Consistent 3D Adversarial Object

シェア:XThreadsFacebookLINEはてブBluesky

動的視点下でも有効な、3D物体への敵対的テクスチャ最適化手法を提案し、視覚運動ポリシーの脆弱性を調査した。

詳しい要約

1. どんなもの?

- 視覚運動ポリシーに対する3Dオブジェクトの敵対的テクスチャ攻撃手法を提案。 - 動的視点(手首カメラなど)でも有効な視点一貫性のある攻撃を実現。 - 微分可能レンダリングを用いてテクスチャを最適化。

2. 先行研究と比べてどこがすごい?

- 従来の2D adversarial patchは固定カメラでは有効だが、動的視点では遠近歪みで効果が低下。 - 提案手法は3Dオブジェクトのテクスチャを最適化し、視点変化に頑健。 - 距離依存の周波数特性を活用し、多様なカメラ・オブジェクト間距離で有効。

3. 技術・手法の肝は?

- 微分可能レンダリングによる視点一貫性のある3D adversarial texture最適化。 - Expectation over Transformation (EOT) と Coarse-to-Fine (C2F) カリキュラムを採用。 - 距離依存の周波数特性を利用。 - saliency-guided perturbationsでポリシーの注意を誘導。 - targeted lossでロボットを敵対的オブジェクトに持続的に誘導。

4. どうやって有効だと検証した?

- 様々な環境条件下での実験で有効性を確認。 - black-box transferabilityを確認。 - 実世界適用可能性を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として2D adversarial patch、Expectation over Transformation (EOT)、微分可能レンダリング、saliency-guided perturbationsが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chanmi Lee, Minsung Yoon, Woojae Kim, Sebin Lee, Sung-eui Yoon

分類: cs.RO, cs.CV

原文アブストラクト

Neural network-based visuomotor policies enable robots to perform manipulation tasks but remain susceptible to perceptual attacks. For example, conventional 2D adversarial patches are effective under fixed-camera setups, where appearance is relatively consistent; however, their efficacy often diminishes under dynamic viewpoints from moving cameras, such as wrist-mounted setups, due to perspective distortions. To proactively investigate potential vulnerabilities beyond 2D patches, this work proposes a viewpoint-consistent adversarial texture optimization method for 3D objects through differentiable rendering. As optimization strategies, we employ Expectation over Transformation (EOT) with a Coarse-to-Fine (C2F) curriculum, exploiting distance-dependent frequency characteristics to induce textures effective across varying camera-object distances. We further integrate saliency-guided perturbations to redirect policy attention and design a targeted loss that persistently drives robots toward adversarial objects. Our comprehensive experiments show that the proposed method is effective under various environmental conditions, while confirming its black-box transferability and real-world applicability.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI