信頼性と説明可能性を備えたAI知覚モデルへ：概念からプロトタイプ車両への展開
Towards Trustworthy and Explainable AI for Perception Models: From Concept to Prototype Vehicle Deployment
自動運転の3D知覚モデルに、説明可能性・不確実性推定・ロバスト性を統合し、実車両でリアルタイムに可視化するシステムを構築した論文。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Till Beemelmanns, Shayan Sharifi, Manas Mehrotra, Ayushman Choudhuri, Lutz Eckstein
分類: cs.RO, cs.AI
原文アブストラクト
Deep Neural Networks have become the dominant solution for Autonomous Driving perception, but their opacity conflicts with emerging Trustworthy AI guidelines and complicates safety assurance, debugging, and human oversight. While theoretical frameworks for safe and Explainable AI (XAI) exist, concrete implementations of Trustworthy AI for 3D scene understanding remain scarce. We address this gap by proposing a Trustworthy AI perception module that is remarkably robust, integrates faithful explainability, and calibrated uncertainty estimates. Building on a transformer-based detector, we derive explanation from the attention mechanism at inference time and validate their faithfulness using perturbation-based consistency tests. We further integrate an uncertainty estimation and calibration module, and apply robustness-enhancing training methods. Experiments show faithful saliency behavior, improved robustness, and well-calibrated uncertainty estimates. Finally, we deploy these Trustworthy AI elements in a prototype vehicle and provide an XAI Interface that visualizes documentation artifacts, model uncertainty state, and saliency maps, demonstrating the feasibility of trustworthy perception monitoring in real time. Supplementary materials are available at https://tillbeemelmanns.github.io/trustworthy_ai/ .
関連論文
- 説明可能な深層学習が自動運転車に対する人間のメンタルモデルを改善する自動運転/説明可能AI
- 自動運転車における信頼と状況認識のための説明可能なヒューマンマシンインターフェース自動運転/説明可能AI
- 説明可能な自動運転システムの高度化：包括的レビューと研究ロードマップ自動運転/説明可能AI
- 自動運転シーン解釈のための定性的説明可能グラフの獲得自動運転/説明可能AI
- ドメイン知識に基づく関係推論による説明可能な自動運転自動運転/説明可能AI
