日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーション/敵対的攻撃arXiv:2607.11063

AdvNav: 行動誘導型ブラックボックス敵対的攻撃による視覚言語ナビゲーションの妨害

AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語ナビゲーションシステムに対する、勾配情報を使わずにエージェントの行動観測のみで敵対的摂動を生成するブラックボックス攻撃フレームワークを提案した。

詳しい要約

1. どんなもの?

AdvNavは、Vision-and-Language Navigation (VLN) システムに対するブラックボックス敵対的攻撃フレームワークである。エージェントの一人称視点を妨害し、ナビゲーションを失敗させる。勾配を使わず、観測可能な入力と出力のみを用いて、マルチステップの逐次知覚-行動ループを効果的に破壊することを目指す。

2. 先行研究と比べてどこがすごい?

既存の攻撃手法は、ホワイトボックスアクセスを必要とし、再帰的バックプロパゲーションによる計算コストが高い。また、従来のブラックボックス手法は単一ステップの即時決定タスクに焦点を当てており、VLNのような複雑なタスクや時間的依存関係を扱えない。AdvNavは勾配フリーで、行動ベースのフィードバックを用いる点が新しい。

3. 技術・手法の肝は?

手法の肝は、デュアル粒度の行動ベースフィードバックの設計と、ハイブリッド最適化戦略である。フィードバックは、軌跡レベルの性能スコア、行動レベルの報酬スコア、逸脱インジケータを統合し、勾配フリー探索を導く。最適化は、適応更新で摂動強度を調整し、遺伝的アルゴリズムでノイズの空間構造を進化させる。

4. どうやって有効だと検証した?

TransformerベースのHAMTとLLMベースのMapGPT(2種類のバックボーン)をR2Rデータセットで評価し、Attack Success Rate 49.70/65.96/87.30%を達成した。これにより、有効性と汎用性を示した。

5. 議論はある?

要旨からは、攻撃の成功率が高い一方で、防御策や実世界での適用可能性、計算コスト、攻撃の検出可能性などに関する議論は不明。また、評価がR2Rデータセットに限定されており、他のVLNベンチマークでの検証が必要かもしれない。

6. 次に読むべき論文は?

要旨で参照されているのは、HAMTとMapGPTである。また、関連するブラックボックス攻撃手法やVLNの敵対的攻撃に関する研究が考えられる。具体的には、『Black-box Adversarial Attacks on Vision-Language Navigation』や『Adversarial Perturbations on Visual Navigation』などの論文が挙げられるが、要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenyang Li, Kaige Li, Zeyu Jiang, Changhao Chen

分類: cs.AI

原文アブストラクト

Despite progress in Embodied AI, Vision-and-Language Navigation systems remain vulnerable to adversarial visual disturbances. Most existing methods rely on white-box access to target model gradients, which is often unrealistic for real-world deployed systems and computationally exhaustive due to recursive backpropagation for optimization, limiting their applicability. While previous black-box methods predominantly target single-step, instantaneous decision tasks, they struggle to handle the task complexities and temporal dependencies. This highlights the need for a gradient-free attack method that can effectively disrupt the multistep sequential perception-action loop using only observable inputs and outputs. Therefore, we propose AdvNav, a behavior-guided black-box adversarial attack framework that disturbs an agent's first-person views during navigation. To construct an informative surrogate objective for effective optimization guidance in gradient-free search under the black-box setting, we design a dual-granularity behavior-based feedback, aggregating a trajectory-level performance score representing overall navigation degradation, an action-level reward score considering the potential decision risk, and a deviation indicator, all of which are extracted from the agent's self-output behaviors. This feedback guides a hybrid optimization strategy that heuristically tunes perturbation strength via adaptive updates and evolves noise spatial structure genetically, to iteratively discover the most disruptive noise configuration. Evaluated against Transformer-based HAMT and LLM-based MapGPT with two types of backbones on R2R dataset, AdvNav achieves 49.70/65.96/87.30% Attack Success Rate. The result demonstrates the effectiveness and generality of AdvNav, reveals critical perception vulnerabilities and offers insights for the design of future resilient VLN models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI