日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

敵対的攻撃arXiv:2611.00427

潜在状態へのなりすまし:知覚不能なゴール画像攻撃がLeWorldModelの計画を破綻させる

Spoofing the Latent State: Imperceptible Goal-Image Attacks Derail Planning in LeWorldModel

シェア:XThreadsFacebookLINEはてブBluesky

視覚ワールドモデルLeWMの潜在計画インターフェースの脆弱性を分析し、ε=4/255の微小な敵対的摂動でブロックの姿勢を攻撃者が任意に操作でき、計画成功率を87%から32%へ低下させることを示した。

詳しい要約

1. どんなもの?

- LeWorldModel (LeWM) は JEPA 系の visual world model で、pixels から end-to-end に学習し、予測 embedding と goal embedding の二乗 Euclidean 距離を最小化して planning する。 - 本論文はこの latent planning interface の test-time robustness を調べる。 - Push-T 上で学習された metric を解析し、task-relevant な object state が latent distance を強く支配することを示す。 - さらに white-box の ℓ∞ perturbation で encoder を欺き、任意の pose を認識させる攻撃を提示する。

2. 先行研究と比べてどこがすごい?

- JEPA 系を汎用 visual world model として制御に用いる研究の流れに対し、本論文は planning の安全性・頑健性の側面を初めて詳細に分析。 - 従来の認識モデルへの adversarial attack と異なり、latent planning interface そのものを標的にしている点が新しい。 - 単なる random noise では影響が小さいのに対し、構造化された攻撃が planning を大きく劣化させることを示した。 - 4 つの標準 benchmark で脆弱性が持続することを確認している点が先行研究との差分。

3. 技術・手法の肝は?

- Push-T 上で latent metric を解析: block の 1 pixel シフトが agent シフトの 3 倍の embedding 変位を生み、block pose の入れ替えが scene 間距離の 99% を占める。 - この pose 情報は curved で high-dimensional な manifold 上に分散しており、fixed linear subspace ではないため post-hoc な encoder 編集では分離・誘導が困難。 - white-box ℓ∞ perturbation (ε=4/255) を単一入力 frame に加え、attacker が選んだ任意の pose を encoder に登録させる。 - goal image または live camera observation のいずれかを摂動し、planning を妨害する。

4. どうやって有効だと検証した?

- Push-T で ε=4/255 の摂動により、73–95% の scene で block を任意 pose に認識させ、agent state は乱さないことを確認。 - goal image または live observation の摂動で Push-T の planning 成功率が 87% から 32% に低下。 - 2 倍の大きさの uniform random noise では影響が無視できる程度であることを比較。 - Push-T, Two-Room, Reacher, OGBench-Cube の 4 benchmark で脆弱性が持続。 - ε=8/255 では全環境で target embedding への二乗 latent 距離の 82–97% を橋渡しし、spoof 対象への依存度に比例した planning 劣化を誘発。

5. 議論はある?

- latent planning interface の幾何が test-time 攻撃に脆弱であることを示唆。 - pose 情報が curved で high-dimensional な manifold に分散しているため、単純な post-hoc 編集では対処しにくい。 - random noise に対する頑健性と構造化攻撃に対する脆弱性のギャップが議論の焦点。 - 防御手法や robust な latent metric の設計については要旨からは不明。

6. 次に読むべき論文は?

- LeWorldModel (LeWM) の原論文 - SIGReg (isotropic Gaussian anti-collapse regularizer) に関する研究 - JEPA 系の visual world model 研究 - Push-T, Two-Room, Reacher, OGBench-Cube の benchmark 論文 - adversarial robustness や certified defense の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kunal Bhosikar, Nicole Meng, Charu Sharma, Yingjie Lao

分類: cs.CV, cs.CR, cs.LG

原文アブストラクト

Joint-embedding predictive architectures (JEPAs) have recently emerged as general-purpose visual world models for control. A prominent example is LeWorldModel (LeWM), which trains end-to-end from pixels using an isotropic Gaussian anti-collapse regularizer (SIGReg) and plans by minimizing the squared Euclidean distance between predicted and goal embeddings. In this work, we investigate the test-time robustness of this latent planning interface. Analyzing the learned metric on Push-T, we first find that task-relevant object state heavily dominates latent distance: shifting the block by a single pixel displaces the embedding $3\times$ further than an equivalent agent shift, and swapping the block pose alone accounts for $99\%$ of the distance between scene pairs. However, because this pose information is distributed across a curved, high-dimensional manifold rather than a fixed linear subspace, the encoder cannot be trivially edited post-hoc to isolate or redirect it. We next demonstrate that this geometry is highly vulnerable at test time. A white-box $\ell_\infty$ perturbation of just $ε{=}4/255$ applied to a single input frame causes the encoder to register the block at an arbitrary, attacker-chosen pose in $73$--$95\%$ of scenes without disturbing the encoded agent state. Perturbing either the goal image or the live camera observation drops Push-T planning success from $87\%$ to $32\%$, whereas uniform random noise at twice the magnitude has negligible impact. This vulnerability persists across all four standard LeWM benchmarks (Push-T, Two-Room, Reacher, and OGBench-Cube). At $ε{=}8/255$, the attack bridges $82$--$97\%$ of the squared latent distance to the target embedding in every environment, inducing planning degradation proportional to each task's reliance on the spoofed entity.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI