日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

コンピュータ操作エージェントarXiv:2610.26828

実世界向けエージェントワールドモデル:コンピュータ操作エージェント用環境の自動合成

Agent World Model in the Wild: Computer-Use Agent Environment Synthesis

シェア:XThreadsFacebookLINEはてブBluesky

GUI・MCPサービス・CLIを統合した実行可能な環境とタスクをオープンソースモデルのみで自動合成するパイプラインWildAWMを提案し、長期的なコンピュータ操作エージェントの学習を可能にした。

詳しい要約

1. どんなもの?

- 計算機利用エージェント(CUA)を訓練するための、制御可能な環境とタスクを合成するスケーラブルなパイプライン「Agent World Model in the Wild(WildAWM)」の提案。 - 実世界のコンピュータシステム上での学習はセキュリティリスクが大きくスケール困難であるため、合成環境で学習させることを狙う。 - GUI、model context protocol services、command-line interfaces を同時にサポートする実行可能環境を構築する。 - 341個の long-horizon な環境-タスクペアを合成し、8つの out-of-distribution ベンチマークで汎化を検証する。

2. 先行研究と比べてどこがすごい?

- 既存手法は通常、単一のエージェント相互作用インターフェースに特化しているのに対し、GUI・model context protocol services・command-line interfaces を併せて支持する実行可能環境を構築する点が異なる。 - 環境生成を完全に open-source models で行い、proprietary frontier models なしでも高品質な環境が生成できることを示す。 - タスク合成における solvability・難易度・verifier の信頼性という3つの課題に対し、execution-based quality gates を導入する点が新しい。 - 合成タスクは frontier models でも難しく、GPT-6-Astra でも60%しか解けない水準を達成。

3. 技術・手法の肝は?

- 実行可能な環境を合成し、GUI・model context protocol services・command-line interfaces を組み合わせた柔軟な相互作用を可能にする。 - 環境生成とタスク生成を open-source models のみで駆動するパイプラインを構築。 - タスク合成の品質管理として execution-based quality gates を導入し、次の3要素を組み合わせる。 - heterogeneous agent rollouts による solvability の担保。 - cross-judge consistency checks による verifier の信頼性向上。 - counterfactual probes による judgment robustness の検証。 - 100ステップ超を要し得る long-horizon な環境-タスクペアを341個生成。

4. どうやって有効だと検証した?

- 合成した341個の long-horizon 環境-タスクペアに対し、frontier model の GPT-6-Astra が60%しか解けないことを示し、難易度を実証。 - 異なるサイズの Qwen モデル2つを合成ワールドのみで訓練。 - web、claw、computer-use agents にまたがる8つの out-of-distribution ベンチマークで、両モデルが大幅な性能向上を達成。 - 合成ワールドでの学習が未見の computer-use タスクへ広く汎化することを示す。

5. 議論はある?

- 実世界システムでの学習のセキュリティリスクを回避しつつ、合成環境でスケール可能な学習を実現する意義が示唆される。 - open-source models のみで高品質な環境生成が可能である点が議論の焦点となり得る。 - solvability・難易度・verifier 信頼性の3課題に対する execution-based quality gates の有効性が論点。 - 具体的な限界や失敗事例、計算コスト、環境の多様性に関する詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として、computer-use agents(CUA)の学習、model context protocol services、command-line interfaces を用いたエージェント研究、open-source models による環境・タスク合成、execution-based quality gates を用いたタスク検証に関する研究を次に読むべき候補として挙げる。 - 公開コード(https://github.com/MSR-Orchard/WildAWM)および Qwen モデルを用いた学習手法の関連論文も参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhaoyang Wang, Qianhui Wu, Haorui Wang, Simon Yu, Baolin Peng, Canwen Xu, Hao Cheng, Wenlin Yao, Boyi Liu, Yite Wang, Jianfeng Gao, Huaxiu Yao

分類: cs.AI, cs.CL, cs.LG

原文アブストラクト

Agent learning is shifting from learning from human data toward learning through interaction with the world. However, scaling such learning directly in real-world computer systems is challenging and can introduce substantial security risks. We therefore propose Agent World Model in the Wild (WildAWM), a scalable pipeline for synthesizing controllable environments and tasks for training general computer-use agents (CUAs). Whereas existing approaches typically specialize in a single agent interaction interface, we construct executable environments that jointly support graphical user interfaces, model context protocol services, and command-line interfaces, allowing agents to flexibly combine visual interaction, tool use, and code execution. WildAWM is entirely powered by open-source models, demonstrating that high-quality computer-use environments can be generated without proprietary frontier models. Beyond environments, we address three recurring challenges in task synthesis: ensuring solvability, maintaining sufficient difficulty, and producing reliable verifiers, by introducing execution-based quality gates that combine heterogeneous agent rollouts, cross-judge consistency checks, and counterfactual probes of judgment robustness. The resulting pipeline synthesizes 341 long-horizon environment-task pairs that can require over 100 agent steps to solve and remain challenging even for frontier models, with GPT-6-Astra solving only 60% of them. We train two Qwen models of different sizes exclusively in these synthetic worlds. Both models achieve substantial gains across 8 out-of-distribution benchmarks spanning web, claw, and computer-use agents, demonstrating that learning in WildAWM's synthesized worlds generalizes broadly to unseen computer-use tasks. The code is publicly available at https://github.com/MSR-Orchard/WildAWM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI