LLM検証2026/7/1arXiv:2607.05391

LLMを検証器として使う：汎用検証フレームワーク

LLM-as-a-Verifier: A General-Purpose Verification Framework

LLMの検証能力を新たなスケーリング軸として捉え、追加学習なしでエージェントタスクにきめ細かいフィードバックを与える汎用検証フレームワークを提案した。スコアの粒度拡大や繰り返し評価、基準分解により検証精度を向上させ、複数のベンチマークで最高性能を達成した。

詳しい要約

1. どんなもの？

- LLM-as-a-Verifierは、LLMの能力向上の新たな軸として「verification」を位置づけ、追加学習なしでエージェントタスクの正しさを判定する汎用検証フレームワーク。 - 従来のLM judgeが離散スコアを出力するのに対し、スコアリングトークンのlogits分布の期待値を計算し連続スコアを生成。 - これによりスコア粒度、繰り返し評価、基準分解の多次元で検証をスケール可能。 - Terminal-Bench V2、SWE-Bench Verified、RoboRewardBench、MedAgentBenchでSOTA性能を達成。 - 検証以外にタスク進捗推定やRLの密なフィードバックにも応用可能。

2. 先行研究と比べてどこがすごい？

- 従来のLM judgeは離散スコアをプロンプトで出力させるが、本手法はlogitsの期待値で連続スコアを算出。 - これによりスコア粒度のスケーリングが可能になり、正例と負例の分離が向上し、よりキャリブレーションされた比較を実現。 - 繰り返し評価と基準分解のスケーリングで検証精度が一貫して向上。 - 追加学習不要で汎用性が高く、SOTA性能を達成。

3. 技術・手法の肝は？

- スコアリングトークンのlogits分布の期待値を計算し、連続スコアを生成する確率的定式化。 - 検証を(1)スコア粒度、(2)繰り返し評価、(3)基準分解の3次元でスケール。 - 連続スコアを用いて候補の中から最良解を選ぶコスト効率の良いランキングアルゴリズムを導入。 - 細粒度信号はタスク進捗推定のプロキシやRLの密なフィードバックとしても利用可能。

4. どうやって有効だと検証した？

- Terminal-Bench V2で86.5%、SWE-Bench Verifiedで78.2%、RoboRewardBenchで87.4%、MedAgentBenchで73.3%のSOTA性能を達成。 - スコア粒度のスケーリングが正負解の分離を改善し、比較のキャリブレーションが向上することを示した。 - 繰り返し評価と基準分解のスケーリングが検証精度を一貫して向上させることを確認。 - Claude Code拡張を構築し、開発者がエージェントシステムを監視・改善できることを実証。 - RLの密なフィードバックとしてSACとGRPOのサンプル効率をロボティクスと数学推論ベンチマークで改善。

5. 議論はある？

- 検証を新たなスケーリング軸として特定し、その有効性を実証。 - 連続スコアの確率的定式化により、離散スコアよりも細粒度のフィードバックが可能。 - スコア粒度、繰り返し評価、基準分解の各次元でのスケーリングが検証精度に寄与することを議論。 - コスト効率の良いランキングアルゴリズムの導入。 - タスク進捗推定やRLへの応用可能性を議論。 - 具体的な限界や課題については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：LM judges、SAC、GRPO、Terminal-Bench V2、SWE-Bench Verified、RoboRewardBench、MedAgentBench、Claude Code。 - 関連手法：LLM-as-a-Judge、verification framework、reinforcement learning from human feedback (RLHF)。 - 同分野の定番：Chain-of-Thought、Self-Consistency、ReAct、Toolformer。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

分類: cs.AI, cs.CL, cs.LG, cs.MA, cs.RO

原文アブストラクト

Scaling pre-training, post-training, and test-time compute have become the central paradigms for improving the capabilities of LLMs. In this work, we identify verification, the ability to determine the correctness of a solution, as a new scaling axis. To unlock this and demonstrate its effectiveness, we introduce LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback for agentic tasks without requiring additional training. Unlike standard LM judges that prompt LLMs to produce discrete scores for candidate solutions, LLM-as-a-Verifier computes the expectation over the distribution of scoring token logits to generate continuous scores. This probabilistic formulation enables verification to scale along multiple dimensions: (1) score granularity, (2) repeated evaluation, and (3) criteria decomposition. In particular, we show that scaling the scoring granularity leads to better separation between positive and negative solutions, resulting in more calibrated comparisons. Moreover, scaling repeated evaluation and criteria decomposition consistently lead to additional gains in verification accuracy through variance and complexity reduction. We further introduce a cost-efficient ranking algorithm for selecting the best solution among candidates using the verifier's continuous scores. LLM-as-a-Verifier achieves state-of-the-art performance on Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), and MedAgentBench (73.3%). Beyond verification, the fine-grained signals from LLM-as-a-Verifier can also serve as a proxy for estimating task progress. We build an extension for Claude Code, enabling developers to monitor and improve their own agentic systems. Finally, we show that LLM-as-a-Verifier can provide dense feedback for RL, improving the sample efficiency of SAC and GRPO on robotics and mathematical reasoning benchmarks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧