モデル監査/LLMエージェント2025/9/1arXiv:2509.08638

AutoODD: ブラックボックスモデルにおけるベイズ赤チーム演習によるエージェント監査

AutoODD: Agentic Audits via Bayesian Red Teaming in Black-Box Models

LLMエージェントを活用し、ブラックボックスモデルの失敗モードを探索するテストケースを自動生成して運用設計領域（ODD）を監査するフレームワークを提案。MNISTと航空機の侵入者検知で有効性を実証。

詳しい要約

1. どんなもの？

- 特殊化された機械学習モデルの運用設計領域(ODD: operational design domain)を監査するためのフレームワーク「AutoODD」 - LLM-Agentを中心に据え、black-boxモデルのfailure modeを探索する意味的に関連するテストケースを自動生成 - 高次元入力空間を低次元のtext-embedding潜在空間へ射影し、不確実性を考慮したfailure分布モデルを当てはめる - MNISTの欠損数字モデルと、航空機向けvision-based intruder detectionという実世界設定で実証

2. 先行研究と比べてどこがすごい？

- 従来のODD決定・監査は高次元入力空間のため多大な人的資源とドメイン専門知識を要していた - 本研究はLLM-Agentによる自動化でこの負担軽減を狙う点が特徴 - 具体的な先行研究名や定量的比較は要旨からは不明

3. 技術・手法の肝は？

- LLM-Agentをtool orchestratorとして活用し、テストケース生成ツールでmodel-under-test (MUT)を探索 - 高次元入力を低次元text-embedding latent spaceへ射影し、そのmanifold上でfailure landscapeを反復的に構築 - Agentは低次元manifold上のuncertainty estimateをprobeするツールで探索を誘導 - 不確実性を考慮したfailure分布モデルを学習

4. どうやって有効だと検証した？

- MNISTで欠損数字(missing digits)を用いて学習したモデルによる簡易ケースで実証 - 航空機のvision-based intruder detectionという実世界設定でも実証 - 定量的な評価指標や比較結果は要旨からは不明

5. 議論はある？

- 要旨からは不明(限界・失敗事例・計算コスト等の議論は明示されていない) - 実世界設定への適用可能性を示す一方、詳細な議論は本文参照が必要

6. 次に読むべき論文は？

- MNISTを用いたfailure mode探索・ODD監査の関連研究 - vision-based intruder detection for aerial vehicles の関連研究 - LLM-Agentによるred teaming/自動テスト生成の関連手法 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rebecca Martin, Jay Patrikar, Sebastian Scherer

分類: cs.RO

原文アブストラクト

Specialized machine learning models, regardless of architecture and training, are susceptible to failures in deployment. With their increasing use in high risk situations, the ability to audit these models by determining their operational design domain (ODD) is crucial in ensuring safety and compliance. However, given the high-dimensional input spaces, this process often requires significant human resources and domain expertise. To alleviate this, we introduce \coolname, an LLM-Agent centric framework for automated generation of semantically relevant test cases to search for failure modes in specialized black-box models. By leveraging LLM-Agents as tool orchestrators, we aim to fit a uncertainty-aware failure distribution model on a learned text-embedding manifold by projecting the high-dimension input space to low-dimension text-embedding latent space. The LLM-Agent is tasked with iteratively building the failure landscape by leveraging tools for generating test-cases to probe the model-under-test (MUT) and recording the response. The agent also guides the search using tools to probe uncertainty estimate on the low dimensional manifold. We demonstrate this process in a simple case using models trained with missing digits on the MNIST dataset and in the real world setting of vision-based intruder detection for aerial vehicles.

arXivで原文を読む →arXiv概要ページ

← 論文一覧