Aegis: マルチエージェントシステムのための自動エラー生成と帰属
Aegis: Automated Error Generation and Attribution for Multi-Agent Systems
LLMベースのマルチエージェントシステムにおいて、成功軌道に文脈依存のエラーを注入して大規模なエラー帰属データセットを自動生成し、教師あり・強化学習・対照学習でエラー原因エージェントを特定する手法を提案。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Fanqi Kong, Ruijie Zhang, Huaxiao Yin, Guibin Zhang, Xiaofei Zhang, Ziang Chen, Zhaowei Zhang, Xiaoyuan Zhang, Song-Chun Zhu, Xue Feng
分類: cs.RO, cs.MA
原文アブストラクト
Large language model based multi-agent systems (MAS) have unlocked significant advancements in tackling complex problems, but their increasing capability introduces a structural fragility that makes them difficult to debug. A key obstacle to improving their reliability is the severe scarcity of large-scale, diverse datasets for error attribution, as existing resources rely on costly and unscalable manual annotation. To address this bottleneck, we introduce Aegis, a novel framework for Automated error generation and attribution for multi-agent systems. Aegis constructs a large dataset of 9,533 trajectories with annotated faulty agents and error modes, covering diverse MAS architectures and task domains. This is achieved using a LLM-based manipulator that can adaptively inject context-aware errors into successful execution trajectories. Leveraging fine-grained labels and the structured arrangement of positive-negative sample pairs, Aegis supports three different learning paradigms: Supervised Fine-Tuning, Reinforcement Learning, and Contrastive Learning. We develop learning methods for each paradigm. Comprehensive experiments show that trained models consistently achieve substantial improvements in error attribution. Notably, several of our fine-tuned LLMs demonstrate performance competitive with or superior to proprietary models an order of magnitude larger, validating our automated data generation framework as a crucial resource for developing more robust and interpretable multi-agent systems. Our project website is available at https://kfq20.github.io/Aegis-Website/.
関連論文
- MaRiO: 共有観測によるマルチエージェント協調推論ベンチマークマルチエージェント
- スペクトル固定で長期マルチエージェントAIのドリフトを解消マルチエージェント
- 進化するエージェントチームマルチエージェント
- 言語エージェントと非言語エージェントの協調の探求マルチエージェント
- LLMはナッシュ均衡を超えられるか?自己対戦型マルチエージェントゲームにおける分散協調の検証マルチエージェント
- 言語モデルエージェントは標準的な行動監査では見えない集団内信頼バイアスを示すマルチエージェント
