日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

拡散モデル/敵対的攻撃arXiv:2504.17179

敵対的拡散モデルによる自動運転知覚システムの稀な故障モードの特定

AUTHENTICATION: Identifying Rare Failure Modes in Autonomous Vehicle Perception Systems using Adversarially Guided Diffusion Models

シェア:XThreadsFacebookLINEはてブBluesky

敵対的ノイズで誘導した拡散モデルを使い、物体検出を回避する多様な環境画像を生成して自動運転の稀な故障モードを再現・説明する手法を提案。

詳しい要約

1. どんなもの?

- 自動運転車(AV)の知覚システムにおける稀な失敗モード(Rare Failure Modes, RFMs)を理解・発見するための新手法を提案した研究。 - 生成AIと説明可能AI(explainable AI)を組み合わせ、RFMを可視化・言語化する。 - 下流のモデル訓練やテストと組み合わせることでAVの堅牢性・信頼性向上に寄与しうる。

2. 先行研究と比べてどこがすごい?

- 従来のAVは数百万マイルの実世界データで訓練してもRFMs(いわゆるlong-tail challenge)を検出できない問題があった。 - 本手法は実データ収集に頼らず、生成モデルで多様な環境を合成し検出モデルの脆弱性を能動的に露呈させる点が新しい。 - 生成したRFMに対し自然言語の説明を付与する点も先行研究との差異として挙げられる。

3. 技術・手法の肝は?

- 対象物体(例:車)のsegmentation maskを抽出し、それを反転してenvironmental maskを作成。 - これらのmaskと慎重に設計したtext promptを独自のdiffusion modelに入力。 - Stable Diffusion inpainting modelをadversarial noise optimizationで誘導し、物体検出モデルを回避する多様な環境画像を生成。 - 生成したRFMに対し自然言語記述を生成し、開発者や政策立案者に示す。

4. どうやって有効だと検証した?

- 要旨からは不明(生成画像が物体検出モデルを回避できることを示す評価が示唆されるが、具体的な定量検証は記載なし)。

5. 議論はある?

- 生成したRFMの自然言語記述が開発者・政策立案者の安全性・信頼性向上に資する可能性を議論。 - 下流の訓練・テストと組み合わせた堅牢性向上への応用が示唆される。 - 具体的な限界や倫理的議論は要旨からは不明。

6. 次に読むべき論文は?

- Stable Diffusion inpainting model(関連手法) - adversarial noise optimization(関連手法) - long-tail challengeに関する研究(関連概念) - segmentation maskを用いた生成・評価手法(関連手法)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mohammad Zarei, Melanie A Jutras, Eliana Evans, Mike Tan, Omid Aaramoon

分類: cs.AI, cs.CV, cs.LG, cs.RO

原文アブストラクト

Autonomous Vehicles (AVs) rely on artificial intelligence (AI) to accurately detect objects and interpret their surroundings. However, even when trained using millions of miles of real-world data, AVs are often unable to detect rare failure modes (RFMs). The problem of RFMs is commonly referred to as the "long-tail challenge", due to the distribution of data including many instances that are very rarely seen. In this paper, we present a novel approach that utilizes advanced generative and explainable AI techniques to aid in understanding RFMs. Our methods can be used to enhance the robustness and reliability of AVs when combined with both downstream model training and testing. We extract segmentation masks for objects of interest (e.g., cars) and invert them to create environmental masks. These masks, combined with carefully crafted text prompts, are fed into a custom diffusion model. We leverage the Stable Diffusion inpainting model guided by adversarial noise optimization to generate images containing diverse environments designed to evade object detection models and expose vulnerabilities in AI systems. Finally, we produce natural language descriptions of the generated RFMs that can guide developers and policymakers to improve the safety and reliability of AV systems.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI