日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMエージェントarXiv:2606.12780

ProPlay: 自己進化型LLMエージェントのための手続き的世界モデル

ProPlay: Procedural World Models for Self-Evolving LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

LLMエージェントが環境の手続き的知識をグラフ構造で学習し、事前シミュレーションとフィードバックによる自己進化を実現する手法を提案した。

詳しい要約

1. どんなもの?

ProPlayは、部分的観測環境で自己進化するLLMエージェントのためのprocedural world model。経験をprocedureとして抽象化し、procedure graphでタスク段階間の因果遷移を表現する。各遷移にはreliability record embeddingを付与し、過去の結果からタスク固有の貢献度を推定する。エピソード前に既知のgraph構造上で将来のprocedural trajectoryをシミュレートし、structured soft guidanceとして利用する。実行後は環境フィードバックでgraphを洗練する。

2. 先行研究と比べてどこがすごい?

既存のLLMエージェント手法はmemoryやplanningモジュールに依存するが、両者を閉ループで結び、環境動態の内部理解を継続的に洗練することは稀である。ProPlayは経験を孤立したルールや低レベル行動制約ではなくprocedureとして抽象化し、procedure graphとreliability record embeddingで因果遷移と信頼性を統合する点が異なる。

3. 技術・手法の肝は?

成功したtrajectoryをprocedureに抽象化し、タスク段階間の因果遷移を捉えるprocedure graphを構築する。各遷移にreliability record embeddingを関連付け、過去の結果からタスク固有の貢献度を推定する。各エピソード前に既知のgraph構造上で将来のprocedural trajectoryをシミュレートし、structured soft guidanceとして活用する。実行後は環境フィードバックを用いてgraphを洗練する。

4. どうやって有効だと検証した?

公開ベンチマークでの実験により、ProPlayが強いbaselineと比較して環境理解と自己進化能力を一貫して改善することを示した。コードはhttps://github.com/antman9914/proplayで公開されている。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている具体的な研究は不明。関連手法としてmemoryモジュールやplanningモジュールを用いるLLMエージェント、world model、procedure graph、self-evolving agentの研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye

分類: cs.LG, cs.CL

原文アブストラクト

Self-evolving agents are expected to improve through interaction without external supervision, but this remains difficult in partially observable environments where agents must explore actively, learn from limited feedback, and decide when to trust prior experience. Existing LLM-agent methods often rely on memory or planning modules, yet they rarely close the loop between them to continually refine an internal understanding of environment dynamics. We introduce ProPlay, a procedural world model that supports procedure-level preplay, where agents can rehearse future procedural paths using the learned world knowledge. Rather than representing experience as isolated rules or low-level action constraints, ProPlay abstracts successful trajectories into procedures and organizes them in a procedure graph that captures causal transitions among task stages. Each transition is associated with a reliability record embedding to estimate its task-specific contribution from past outcomes. Before each episode, ProPlay simulates future procedural trajectories over known graph structures as structured soft guidance; after execution, it refines the graph using environment feedback. Experiments on public benchmarks show that ProPlay consistently improves environment understanding and self-evolution capability over strong baselines. Our code has been released in https://github.com/antman9914/proplay.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI