日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMエージェントarXiv:2605.06334

MANTRA: ツール使用LLMエージェント向けSMT検証済みコンプライアンスベンチマークの合成

MANTRA: Synthesizing SMT-Validated Compliance Benchmarks for Tool-Using LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

自然言語の手順書とツールスキーマから、SMTソルバーで検証されたコンプライアンスベンチマークを自動生成するフレームワークMANTRAを提案。

詳しい要約

1. どんなもの?

自然言語の手順マニュアルと tool schema から、tool-using LLM agent の compliance を機械検証可能な形で自動合成するフレームワーク MANTRA を提案。 - 対象は手順マニュアルに従うべき agent の実行 trace。 - 6 ドメイン・285 タスク・50 ページ超のマニュアルにスケールする benchmark suite を構築。

2. 先行研究と比べてどこがすごい?

既存評価は手作業 benchmark か LLM-based judge に依存し、スケールしない/複雑で長い手順では信頼性が低い。 - MANTRA は自動合成と SMT による形式的検証を組み合わせる。 - 人手は fallback のみで、任意ドメインと長い手順マニュアルに対応。 - 既存 benchmark より制約強度が高くリッチな compliance check を実現。

3. 技術・手法の肝は?

自然言語マニュアルと tool schema から次を独立生成。 - 手続き依存を表す symbolic world model。 - タスクごとの trace-level compliance check。 - SMT solving で両者の整合性を検証。 - 不整合は structured repair loop で解消し、人手は fallback。 - 調整可能な task complexity から難しいタスクと check を自動導出。

4. どうやって有効だと検証した?

MANTRA で 6 ドメイン 285 タスクの benchmark suite を構築し評価。 - compliance check が既存 benchmark よりリッチで制約強度が高いことを経験的に示す。 - check の粒度が agent の failure mode の debugging に使えることを示す。 - 自動生成と形式的検証の組合せがスケーラブルで信頼できる benchmarking を可能にすると主張。

5. 議論はある?

SMT 検証と structured repair loop により人手を最小化しつつ形式的に妥当な benchmark を生成できる点を強調。 - 任意ドメイン・長い手順・調整可能な複雑度に対応。 - 制約の粒度が failure mode 分析に有用。 - 限界や失敗事例、計算コスト、SMT で扱えない制約などは要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている既存研究は明示されていない。 - 関連手法として LLM-based judge、手作業 benchmark、SMT solving、symbolic world model、tool-using LLM agent の compliance evaluation を挙げる。 - 同分野の定番として tool-use benchmark や agent evaluation の研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ashwani Anand, Ivi Chatzi, Ritam Raha, Anne-Kathrin Schmuck

分類: cs.CL, cs.LG, cs.LO

原文アブストラクト

Tool-using large language model (LLM) agents are increasingly deployed in settings where their reliable behavior is governed by strict procedural manuals. Ensuring that such agents comply with the rules from these manuals is challenging, as they are typically written for humans in natural language while agent behavior manifests as an execution trace of tool calls. Existing evaluations of LLM agents rely on manually constructed benchmarks or LLM-based judges, which either do not scale or lack reliability for complex, long-horizon manuals. To overcome these limitations, we present MANTRA, a framework for automatically synthesizing machine-checkable compliance benchmarks from natural-language manuals and tool schemas. MANTRA independently generates (i) a symbolic world model capturing procedural dependencies, and (ii) a set of trace-level compliance checks for a given task, and validates their consistency using SMT solving. A structured repair loop resolves inconsistencies, requiring human intervention only as a fallback. %This yields benchmarks that are formally validated. Importantly, MANTRA supports arbitrary domains and long procedural manuals, and provides a tunable notion of task complexity which is utilized to automatically derive challenging tasks accompanying compliance checks. Using MANTRA, we build a new benchmark suite with 285 tasks across 6 domains scaling to 50+ page manuals with minimal human effort. Empirically, we show that the compliance checks are richer with stronger constraint enforcement compared to existing benchmarks. Additionally, the granularity of the checks can be used for debugging the agents' failure modes. These results demonstrate that combining automated benchmark generation with formally grounded validation methods enables scalable and reliable benchmarking of tool-using agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI