日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性モニタリングarXiv:2511.05982

知覚のための深層ニューラルネットワークの実行時安全モニタリング:サーベイ

Runtime Safety Monitoring of Deep Neural Networks for Perception: A Survey

シェア:XThreadsFacebookLINEはてブBluesky

自動運転やロボティクスなど安全が重要な知覚システムにおいて、DNNの推論時に並行して動作し、入力・内部表現・出力を監視することで安全性の懸念を検出する手法を体系的に整理したサーベイ。

詳しい要約

1. どんなもの?

- 対象: safety-critical な perception に用いる DNN の runtime safety monitoring に関する survey - autonomous driving や robotics などが想定応用 - 位置づけ: DNN を変更せず推論時に並行して動作し、危険な失敗を検出する手法群の概観 - 分類: 既存手法を 3 グループに整理 - Monitoring inputs - internal representations - outputs - 内容: 各カテゴリの state-of-the-art を分析し、strengths と limitations を整理 - 各手法が対処する safety concerns へのマッピングも提示 - 課題: open challenges と future research directions を示す

2. 先行研究と比べてどこがすごい?

- 本 survey の主張: DNN 自体を変更せず、推論時に並行して動く runtime safety monitoring に焦点を絞った包括的概観 - 対象とする safety concerns を明示 - generalization errors - out-of-distribution (OOD) inputs - adversarial attacks - 先行 survey との具体的な差分・優位性の比較は要旨からは不明 - 特徴づけられる点: 手法を inputs / internal representations / outputs の 3 分類で整理 - 各カテゴリの strengths と limitations を分析 - 手法と safety concerns の対応をマッピング - 上記の整理枠組みとマッピングが本 survey の位置づけとして示される

3. 技術・手法の肝は?

- 本稿は survey であり、新規手法の提案ではない - 技術整理の肝: runtime safety monitoring を DNN の外側で並行動作する仕組みとして捉える - DNN を変更しない点を前提に置く - 分類軸: 監視対象を 3 グループに分ける - Monitoring inputs - internal representations - outputs - 分析軸: 各カテゴリで state-of-the-art を整理 - strengths と limitations を比較 - 各手法が対処する safety concerns へマッピング - 具体的な個別アルゴリズムや実装の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 本稿は survey のため、提案手法の有効性を実験で検証した構成ではない - 検証に相当する作業: 既存研究の state-of-the-art を 3 カテゴリで分析 - strengths と limitations を整理 - safety concerns との対応をマッピング - 定量的な benchmark 比較や実験結果は要旨からは不明 - 個々の手法の有効性評価の詳細は要旨からは不明

5. 議論はある?

- 要旨で明示される議論: open challenges と future research directions の提示 - 分析で扱う観点: 各カテゴリの strengths と limitations - 対象とする safety concerns - generalization errors - out-of-distribution (OOD) inputs - adversarial attacks - 具体的な課題の中身や議論の詳細は要旨からは不明 - 個別手法間の優劣や適用限界の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 本 survey が参照・比較する個別研究は要旨に列挙されていないため特定不可 - 次に読む候補として、本 survey が整理する 3 カテゴリの代表的研究を挙げる - Monitoring inputs に関する研究 - internal representations の monitoring に関する研究 - outputs の monitoring に関する研究 - 対処対象として関連する研究領域 - out-of-distribution (OOD) detection - adversarial attack detection - DNN の generalization errors に関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Albert Schotschneider, Svetlana Pavlitska, J. Marius Zöllner

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Deep neural networks (DNNs) are widely used in perception systems for safety-critical applications, such as autonomous driving and robotics. However, DNNs remain vulnerable to various safety concerns, including generalization errors, out-of-distribution (OOD) inputs, and adversarial attacks, which can lead to hazardous failures. This survey provides a comprehensive overview of runtime safety monitoring approaches, which operate in parallel to DNNs during inference to detect these safety concerns without modifying the DNN itself. We categorize existing methods into three main groups: Monitoring inputs, internal representations, and outputs. We analyze the state-of-the-art for each category, identify strengths and limitations, and map methods to the safety concerns they address. In addition, we highlight open challenges and future research directions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI