エージェント強化学習2026/2/10arXiv:2602.10090

エージェント世界モデル：エージェント強化学習のための無限合成環境

Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning

LLMエージェントの強化学習用に、コード駆動でデータベースに裏打ちされた1000の合成環境を自動生成するパイプラインを提案し、ベンチマーク外への汎化性能を実証した。

詳しい要約

1. どんなもの？

- LLM ベースの自律エージェント向けに、多様で信頼できる環境を合成生成するパイプライン Agent World Model (AWM) を提案。 - 日常シナリオをカバーする 1,000 環境までスケールし、エージェントは豊富なツールセットと対話し高品質な観測を得る。 - 環境は code-driven で database に裏打ちされ、LLM シミュレーションより信頼性・一貫性の高い状態遷移を提供。 - 実環境からの trajectory 収集より効率的なエージェント相互作用を可能にする。

2. 先行研究と比べてどこがすごい？

- 従来は多様で信頼できる環境の不足がエージェント訓練のスケーリングを制限していた。 - AWM は完全合成パイプラインで 1,000 環境にスケール。 - LLM がシミュレートする環境より信頼性・一貫性の高い状態遷移を実現。 - 実環境からの trajectory 収集より効率的な相互作用を可能にする。 - 合成環境のみでの訓練が benchmark-specific な環境より強い out-of-distribution generalization を示す。

3. 技術・手法の肝は？

- 完全合成の環境生成パイプライン。 - 環境は code-driven かつ database に裏打ちされ、実行可能で状態にアクセス可能。 - これにより信頼できる reward 関数を設計可能。 - 多ターンの tool-use エージェントに対する大規模 reinforcement learning を実施。

4. どうやって有効だと検証した？

- 3 つの benchmark で実験。 - 合成環境のみで訓練し、benchmark-specific な環境ではなくても強い out-of-distribution generalization が得られることを示す。 - 具体的な benchmark 名は要旨からは不明。

5. 議論はある？

- 要旨からは不明。 - 合成環境の限界や実環境とのギャップ、reward 設計の詳細な議論は要旨に記載なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、LLM による環境シミュレーション、multi-turn tool-use agent、reinforcement learning for agents などが挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaoyang Wang, Canwen Xu, Boyi Liu, Yite Wang, Siwei Han, Zhewei Yao, Huaxiu Yao, Yuxiong He

分類: cs.AI, cs.CL, cs.LG

原文アブストラクト

Recent advances in large language model (LLM) have empowered autonomous agents to perform multi-turn interactions with tools and environments. However, scaling such agent training is limited by the lack of diverse and reliable environments. In this paper, we propose Agent World Model (AWM), a fully synthetic environment generation pipeline. Using this pipeline, we scale to 1,000 environments covering everyday scenarios, in which agents can interact with rich toolsets and obtain high-quality observations. Notably, these environments are code-driven and backed by databases, providing more reliable and consistent state transitions than environments simulated by LLMs. Moreover, they enable more efficient agent interaction compared with collecting trajectories from realistic environments. To demonstrate the effectiveness of this resource, we perform large-scale reinforcement learning for multi-turn tool-use agents. Thanks to the fully executable environments and accessible database states, we can also design reliable reward functions. Experiments on three benchmarks show that training exclusively in synthetic environments, rather than benchmark-specific ones, yields strong out-of-distribution generalization. The code is available at https://github.com/Snowflake-Labs/agent-world-model.

arXivで原文を読む →arXiv概要ページ

← 論文一覧