日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMエージェントarXiv:2606.02372

COMAP: 世界モデルとエージェント方策の共進化によるLLMエージェント

COMAP: Co-Evolving World Models and Agent Policies for LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

言語エージェントのためのテキスト世界モデルと方策を、閉ループ相互作用を通じて共進化させるフレームワークCOMAPを提案。世界モデルが将来の状態を予測し、エージェントがその信頼性を評価して行動を改善し、得られた軌跡で世界モデルを自己蒸留により更新する。

詳しい要約

1. どんなもの?

- 言語エージェントに世界モデルを組み込み、実行前に環境の動きを予測し候補行動を評価する枠組み。 - 既存のテキスト世界モデルは訓練後固定され、エージェントの進化に伴うon-policy分布に適応できない問題がある。 - COMAPはテキスト世界モデルとエージェントポリシーを閉ループ相互作用で共進化させる。 - 各決定ステップで世界モデルが候補行動の将来状態フィードバックを予測し、エージェントはその信頼性を推定して行動を洗練するfuture-aware reflectionを行う。 - 得られたon-policy軌跡で世界モデルを自己蒸留更新し、エージェントの進化する相互作用分布に適合させる。

2. 先行研究と比べてどこがすごい?

- 既存のテキスト世界モデルは訓練後固定で、エージェントのon-policy分布変化に適応できない。 - 既存のエージェント改善手法は外部報酬やverifierに依存し、現実的な対話環境での適用が限られる。 - COMAPは外部報酬やverifierなしで、閉ループ相互作用による共進化を実現。 - 世界モデルとポリシーを同時に進化させ、長期的な意思決定を改善する点が新しい。

3. 技術・手法の肝は?

- 閉ループ相互作用:世界モデルが候補行動の将来状態フィードバックを予測。 - エージェントはfuture-aware reflectionでフィードバックの信頼性を推定し、行動を洗練。 - 得られたon-policy軌跡を用いて世界モデルを自己蒸留で更新。 - これにより世界モデルがエージェントの進化する相互作用分布に適合。 - 外部報酬やverifierに依存しない。

4. どうやって有効だと検証した?

- embodied task planning、Web navigation、tool-useベンチマークで評価。 - 競合ベースラインを一貫して上回る。 - 例:Qwen3-4Bで相対改善+16.75%。 - 共進化ループが世界モデルの予測精度を時間とともに向上させ、長期的意思決定をより効果的にすることを分析で示す。

5. 議論はある?

- 共進化ループが世界モデルの予測精度を経時的に改善し、長期的意思決定をより効果的にすることを示す。 - 外部報酬やverifierに依存しない点が利点。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:既存のテキスト世界モデル、外部報酬やverifierを用いるエージェント改善手法。 - 関連手法:Qwen3-4B(ベースモデル)、embodied task planning、Web navigation、tool-useベンチマーク。 - 同分野の定番:model-based reinforcement learning、world models、LLM agents。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youwei Liu, Jian Wang, Hanlin Wang, Wenjie Li

分類: cs.AI, cs.CL

原文アブストラクト

Equipping language agents with world models enables them to anticipate environment dynamics and evaluate candidate actions before execution. However, existing textual world models are typically fixed after training, preventing them from adapting to the on-policy state-action distributions induced by an evolving agent. Meanwhile, agent-improvement methods often rely on external rewards or verifiers, limiting their applicability in realistic interactive environments. In this paper, we propose COMAP, a novel framework that co-evolves textual world models and agent policies through closed-loop interaction. At each decision step, the world model predicts future state feedback for candidate actions, and the agent performs future-aware reflection by estimating the reliability of this feedback and refining its action accordingly. The resulting on-policy trajectories are then used to update the world model via self-distillation, allowing it to better match the agent's evolving interaction distribution. Across embodied task planning, Web navigation, and tool-use benchmarks, COMAP consistently outperforms competitive baselines, e.g., +16.75% relative improvement with Qwen3-4B. Further analyses show that the co-evolutionary loop improves the world model's prediction accuracy over time and leads to more effective long-horizon decision-making. Our code is available at: https://github.com/loyiv/CoMAP.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI