日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMエージェント評価arXiv:2606.05558

LLMエージェントのオフ方策評価のための自己回帰拡散ワールドモデル

Autoregressive Diffusion World Models for Off-Policy Evaluation of LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

事前収集した軌跡のみから、新しいLLMエージェント方策の性能を推定する評価フレームワークADWMを提案。各遷移を独立した拡散過程としてモデル化し、方策条件付きスコア関数でエージェントの意思決定を反映したシミュレーションを実現する。

詳しい要約

1. どんなもの?

- LLM agentの性能を、オンライン環境と対話せずに事前収集済みtrajectoryのみから推定する評価フレームワークADWM (Autoregressive Diffusion World Model)を提案。 - 評価対象の新policyを実環境で実行せず、latent diffusion world modelで環境応答を模擬する。 - multi-turn interactive環境でのLLM agent評価の高コスト・リスクを回避することを狙う。

2. 先行研究と比べてどこがすごい?

- 既存のdiffusion-based OPEはstateとactionを同時に拡散しtrajectory全体を1パスで誘導するが、actionが離散textで環境観測後にpolicyからサンプルされるLLM agentではこの仮定が崩れる。 - 複合誤差(compounding errors)に悩むautoregressive world modelとも異なる。 - ADWMは各transitionを独立したdenoising processとして扱い、world modelとagentが因果順に交互に進む信頼性の高いstep-by-step rolloutを可能にする。

3. 技術・手法の肝は?

- latent diffusion world modelを学習し、評価policyへの環境応答をシミュレートする。 - 各transitionを独立したdenoising processとしてモデル化し、world modelとagentが因果順で交互にrolloutする。 - 評価対象のLLM agentが各stepでpolicy-conditioned score functionを通じてdiffusion生成を直接誘導し、シミュレーションtrajectoryがその意思決定パターンを反映するようにする。

4. どうやって有効だと検証した?

- 多様なmulti-turn agentタスクにおいて、ADWMが正確なvalue推定と評価信頼性を達成することを実証的に示した。 - 具体的なデータセット名やベースライン、指標の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、off-policy evaluationの精度・信頼性、離散text actionへの対応、compounding errorsの抑制が挙げられるが、要旨に明示的な議論の記載はない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存のdiffusion-based OPE手法。 - autoregressive world model。 - LLM agentのoff-policy evaluationに関する研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaixuan Liu, Guojun Xiong, Weinan Zhang, Shengpu Tang

分類: cs.LG

原文アブストラクト

Evaluating large language model (LLM) agents in multi-turn interactive environments is expensive and risky, as it requires online environment interaction. We propose ADWM (Autoregressive Diffusion World Model), an evaluation framework that estimates the performance of a new LLM agent policy purely from pre-collected trajectories. The core idea is to learn a latent diffusion world model that simulates how the environment responds to the evaluation policy, without ever executing it in the real environment. Existing diffusion-based OPE methods guide full trajectories in a single pass by jointly diffusing states and actions, an assumption that breaks down for LLM agents whose actions are discrete text that must be sampled from the policy after observing the environment. Unlike autoregressive world models that suffer from compounding errors, ADWM models each transition as an independent denoising process, enabling reliable step-by-step rollouts where the world model and agent alternate in causal order. Crucially, the LLM agent under evaluation directly guides the diffusion generation at each step via a policy-conditioned score function, ensuring that simulated trajectories accurately reflect its decision-making patterns. Empirically, ADWM achieves accurate value estimates and evaluation reliability across diverse multi-turn agent tasks, demonstrating its promise as a practical framework for offline LLM agent evaluation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI